![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
A_ChunUnique
大数据爱好者
展开
-
SQOOP部署及简单使用
前言㈠Sqoop官网释义Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases.⑴Sqoop分Sqoop1(1.4.X)和Sqoop2(1.99.X原创 2017-10-10 11:13:06 · 644 阅读 · 0 评论 -
SQOOP从MySQL导入数据到HDFS
一、Sqoop导入的参数是import可以通过sqoop import –help查看import的具体用法[root@hadoop001 conf]# sqoop import --help参数太多就不列举了,大家可以自己去测试看看。二、导入数据 1、执行以下命令 sqoop import –connect jdbc:mysql://hadoop001:3306/sqoo原创 2017-10-10 13:25:43 · 4585 阅读 · 1 评论 -
SQOOP Job使用
一、SQOOP Job 使用方法查看sqoop job --helpusage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [] [TOOL-ARGS]]Job management arguments: --create Create a new saved job --delete原创 2017-10-10 23:31:21 · 4290 阅读 · 0 评论 -
SQOOP从HDFS导出数据到MySQL
一、HDFS上的数据查看[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt1250 yangyamei doctor1251 zhangzhenxing doctor1261 zhangjun nurse1265 Bob doctor二、MySQL数据库创建接收数原创 2017-10-22 21:01:30 · 3871 阅读 · 0 评论 -
SQOOP从MySQL导入数据到Hive
一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \--connect jdbc:mysql://hadoop001:3306/sqoop \--username root \--password 123456 \--table emp_etl \-m 1 \--hive-import \--create-hive-table \--hive-tab原创 2017-10-22 22:31:15 · 9775 阅读 · 0 评论 -
MySQL(Data)->Hive (Analyze&Statistics)->MySQL
目标将MySQL的数据拿到Hive进行分析统计,将统计结果返回到MySQL。分析: 1) 在hive中创建一个emp_etl对应的表 2) 使用sqoop将mysql中的emp_etl表导入到hive表中 3) 在hive中进行统计分析(每个部门多少人),然后结果写入到hive结果表中 4) 将hive结果表通过sqoop导出到mysql表中 5)shell封装整个过程,通过调度工具定时调原创 2017-10-23 16:44:11 · 486 阅读 · 0 评论