大数据
jeffrey_ding
java开发攻城狮
展开
-
sqoop数据迁移 mysql导入Hive hive导出到mysql
导入模板sqoop import \--connect jdbc:mysql://ip:3306/test \--username root \--password 123456\--table users\--fields-terminated-by '\t' \--delete-target-dir \--num-mappers 1 \--hive-import \--h...原创 2019-03-15 15:21:10 · 1053 阅读 · 0 评论 -
sqoop使用以及常见问题
1、hdfs文件的权限问题问题分析与解决:根据报错信息是hdfs文件的权限问题,命令进入集群执行的用户为null,而hdfs文件所有者为hdfs。要么以用户hdfs执行命令,要么调整hdfs文件的权限,因为我只是使用hdfs文件的其中之一,暂时考虑:以hdfs用户执行命令。在~/.bash_profile文件增加:export HADOOP_USER_NAME=hdfs...原创 2019-03-13 11:13:10 · 5327 阅读 · 1 评论 -
flume环境部署和配置案例详解
安装配置 1、将下载的flume包,解压到/usr/local/flume目录中 2、修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置 3、验证是否安装成功 flume-ng version常见的几种Flume日志收集案例案例1:Avro Avro可以发送一个给定的文件给Flume,Avro 源使用AVRO R...原创 2019-03-26 16:53:24 · 454 阅读 · 0 评论 -
flume原理解析
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。 但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发...转载 2019-04-02 18:12:16 · 336 阅读 · 0 评论 -
sqoop使用与原理
简介sqoop:sql-to-hadoop。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。sqoop架构图Sqoop原理(以import为例)Sqoop在import时,需要制定split-by参数。Sqoop根据不同的split-by参数值...原创 2019-05-09 11:14:23 · 371 阅读 · 0 评论