Sqoop
Sqoop数据库,HDFS,HIVE,HBASE之间的导入导出
struggle@徐磊
知识重要,态度更重要!
展开
-
Sqoop采集数据的时候出现数据倾斜解决方法(--split-by --num-mappers)
注意:–split-by 后面要是int类型,并且是连续递增的,那么sqpli-by 会平分的很均匀,要是不是自增的那么有的maptask还是很忙,而有的maptask则不是很忙–num-mappers 后面设置的maptask数目大于1的话,那么–split-by 后面必须跟字段,因为–num-mappers 后面要是1的话,那么–split-mappers 后面跟不跟字段都没有意义,因...原创 2020-04-12 11:55:34 · 1846 阅读 · 3 评论 -
Sqoop入门指南
测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password rootsqoop create-hive-table --connect jdbc:mysql://hdp20-04:3306/app --table uv_info --usernam...原创 2020-03-29 19:03:37 · 267 阅读 · 0 评论 -
Sqoop从关系型数据库(mysql)往Hbase上导入数据
前提(配置环境)一、/opt/sofware/sqoop/sqoop/conf 目录下 nano ./sqoop-env.sh (sqoop-env.sh 是由 cp ./sqoop-env-template.sh ./sqoop-env.sh 复制过来的)设置 HBASE_HOME和HIVE_HOME的路径二、sqoop版本需要是1.4.6以上一、Sqoop从关系型数据...原创 2020-02-05 11:05:14 · 1534 阅读 · 0 评论 -
Sqoop从关系型数据库(mysql)往Hive上导入数据,从Hive导出数据到mysql数据库
一、Sqoop从关系型数据库(mysql)往Hive上导入数据指令 导入数据还可以到诶./sqoop import --connect jdbc:mysql://node132:3306/company --username root --password root --table staff --delete-target-dir --num-mappers 1 --fields-term...原创 2020-02-05 09:45:06 · 862 阅读 · 1 评论 -
用Sqoop从HDFS往mysql导数据,出现乱码,最后通过更改Linux上mysql的编码(设置成utf-8)解决问题
查找mysql中my.conf 所在位置查找mysql中 my.conf 所在位置(查找其他软件中的其他东西,应该也适用)mysql --help | grep 'my.cnf'然后编辑并修改编码 nano /etc/my.cnf 把这两句话加入到最后 character-set-server=utf8 collation-server=ut...原创 2020-01-23 14:25:28 · 319 阅读 · 0 评论 -
Sqoop安装
1、上传sqoop压缩包,并解压2、将sqoop/conf 中的sqoop-env-template.sh复制出来一份,名字叫 sqoop-env.sh3、编辑sqoop-ev.sh 配置hadoop两个环境(后期需要的话,还可以添加havie环境) ZOOCFGDIR(高可用)一个环境4、将连接mysq...原创 2020-01-23 14:38:47 · 155 阅读 · 0 评论 -
Sqoop从关系型数据库往HDFS上导入及导出文件
将关系型数据库(RDBMS)导入到HDFS 关系型数据库(RDBMS)导入到Hive sqoop参数笔记没有 (pdf格式的)安装的时候需要在lib下面放mysql的jar包,才能跟mysql有关联sqoop连接mysql命令(只有防火墙关闭之后才能连接上mysql)导入 关系型数据库导入到非关系型数据库1.1、将mysql数据库的内容传...原创 2020-01-23 14:19:17 · 972 阅读 · 0 评论