2019年11月_时间静止不是简史

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 Hive整合HBase实现数据同步

在整合时需要注意Avro 数据存储在Hive列Hive 0.90整合Hbase至少要求Hbase版本为0.92 ,更早版本的Hive要工作在 Hbase 0.98/0.90Hive 1.x 整合Hbase要求

2019-11-25 18:51:45 2999

原创 Sqoop——将关系数据库数据与hadoop数据进行转换的工具

Sqoop 第一章是什么介绍架构第二章安装第三章 sqoop操作连接操作连接参数导入操作导入参数操作操作导出参数第一章是什么介绍Apache Sqoop（TM）是一种旨在Apache Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据的工具 (将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具)。Sqoop于...

2019-11-24 11:28:46 3127 1

原创 Sqoop导入数据时异常java.net.ConnectException: Connection refused

异常信息java.net.ConnectException: Call From node4/192.168.179.143 to node4:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.o...

2019-11-23 17:03:28 3442

原创 Flume——高可用的、高可靠的、分布式日志收集系统

flume 第一章是什么介绍架构第二章安装简单案例实现(单节点实现)设置多Agent流设置多Agent流的拓展企业常见架构模式流复用模式第三章 Flume 常见的源netcat源avro源exec源利用exec源监控某个文件JMS源Spooling Directory Source 利用Spooling Directory源监控目录第一章是什么介绍Flume是Clou...

2019-11-17 19:43:10 3749 2

原创 Hadoop技术(四)分布式、面向列的开源数据库HBase

面向列的据库HBase 第一章 Hbase介绍Hadoop生态系统图非关系型数据库知识面扩展HBase简介HBase数据模型HBase架构第一章 Hbase介绍本阶段介绍HBase 是一个分布式的、面向列的开源数据库。是基于Google 开源的bigtable的实现，面向列的非关系性数据库。Hadoop生态系统图非关系型数据库知识面扩展cassandra （开源分布式NoSQL...

2019-11-09 14:10:35 6173 5

原创 Hadoop技术(三)数据仓库工具Hive

hive介绍hive架构hive搭建模式及搭建hive的hiveserver2hive的beelinehive的JDBC操作hive的分区hive的数据库操作hive的表操作hive的外部表和内部表hive的视图hive的lateral viewhive的函数hive的自定义函数第一章 hive是什么一 hive简介 hive是基于Hadoop的一个数据仓库工具...

2019-11-07 14:02:29 2721 1

原创 Hive建表异常cannot recognize input near ')' 'row' 'format' in column specification

有问题的建表语句hive> create table tb_emp0 > ( > id int, > name string, > ) > row format delimited > fields terminated by ',';错误信息NoViableAltException(307@[])...

2019-11-05 10:33:10 37293 1

原创 Hadoop技术(二)资源管理器YARN和分布式计算框架MapReduce

Hadoop技术之分布式文件系统MapReduce 第一章 Hadoop MapReduce 是什么一 MapReduce 介绍1. 基本介绍 2. MR数据流程方向 3. MR 原语/ 核心思想( 重点记忆 ) 4. MR运行原理 5. 块 ,切片 , map ,reduce ,组 ,分区 ,输出文件之间的关系6. 计算框架MR7.计算框架 Map8.计算框架Reduce二 Ha...

2019-11-03 09:54:19 2414 4

软件生命周期下GPT的应用.pptx

软件生命周期下GPT的应用内部课程培训配套课件

2024-08-21

Windows安装Redis(配置开机自启+配置密码)

redis安装包以及图形化界面

2023-07-21

Jdk1.8.0_231+Gradle4.9 (用于Spring 5.0.x基础环境搭建使用)

用于Spring 5.0.x基础环境搭建使用的java环境和打包编译环境, 配套使用, 出现错误几率更小

2021-10-26

逆向工程插件Mybatis CodeHelper以及使用教程.zip

逆向工程插件Mybatis CodeHelper最新版, 以及idea 安装, 连接数据库, 使用逆向工程教程

2021-07-22

pom.xml(Idea中用于整合Scala实现Spark代码编写的配置文件)

这个文件是用来在Idea中用于整合Scala实现Spark代码编写的pom配置文件. 内置 JDK规定, Spark-core, SparkSQL, mysql依赖的jar包,SparkStreaming, SparkStreaming + Kafka, 向kafka 生产数据需要包, 连接 Redis 需要的包,Scala 包. 以及使我们能在idea中创建scala类的插件

2019-12-12