6.1.0Sqoop使用

原创 2018年04月17日 16:34:10

Sqoop使用

一、       Mysql导入HDFS

            1.   在MySQL上新建测试表

            2.   使用命令导出

sqoop import
--connectjdbc:mysql://10.10.34.36:3306/sqoop_mysql
--username root
--password123456 
--table people
--target-dir/hadooptest/MysqlToHdfs
-m 1

            3.   导出成功

            4.   查看导出数据

            5.   增加where条件导入

                    条件必须用引号引起来

sqoop import--connect  \
jdbc:mysql://10.10.34.36:3306/sqoop_mysql  \
--username root--password 123456  --table people \
--where'id>3'  \
--target-dir'/hadooptest/MysqlToHdfs2'  \
--fields-terminated-by'\001' -m 1

                运行成功:

                查看HDFS:

            6.   增加Query语句

sqoop import --connect\
jdbc:mysql://10.10.34.36:3306/sqoop_mysql\
--username root--password 123456 \
--query 'SELECTid,name FROM people where id > 2 AND $CONDITIONS' \
--split-bypeople.id  \
--target-dir'/hadooptest/MysqlToHdfs3'

 

        注意:

            1)使用--query这个命令的时候, where后面的参数,必须加上AND $CONDITIONS这个参数

            2)存在单引号与双引号的区别,如果--query后面使用的是双引号,那么需要在$CONDITIONS前加上\ \$CONDITIONS

            3)如果设置map数量为1个时即-m 1,不用加上--split-by ${tablename.column},否则需要加上

        运行成功:

        查看运行结果:

二、       HDFS导入Mysql

            1.     在HDFS上建立文件

                    文本txt信息,以,分开

                    上传:

                查看:

            2.     在Mysql上键一张空表


            3.     使用命令导入

                命令:

sqoop export--connect \
jdbc:mysql://localhost:3306/sqoop_mysql\
--username root\
--password123456 \
--export-dir'/sqooptest/hdfsToMysql' \
--table user \
--fields-terminated-by',' \
-m 1

                运行:

                卡在Job                   

                    原因:slave节点上的NodeManager没有启动

                解决:参考1.3.0

                重新导入:

                报错:

                原因:网络通讯的原因。

                解决:将localhost改为本机ip

            导出完成。但依然报错:

            查看导出的MySQL表:

                导出成功。

三、      Mysql导入到Hive中(默认Hive库)

                1.   启动hive元数据服务

            2.   命令

                    和Mysql导入HDFS类似,只需加上 --hive-import

sqoop import \
--hive-import --connect \
jdbc:mysql://10.10.34.36:3306/sqoop_mysql \
--username root --password 123456 \
--table people \
-m 1

            3.   导入成功:

                    过程也是将mysql表导入到HDFS中,再将HDFS文件load进hive。

            4.   查看

四、      MySQL导入Hive中(自定义Hive库和表)

            1.   命令

sqoop import --hive-import \
--connect jdbc:mysql://10.10.34.36:3306/sqoop_mysql \
--username root --password 123456  \
--table people \
--hive-table test01.people \
-m 1

            2.   导入成功

             3.   查看

 

本次参考链接:

http://blog.csdn.net/dwld_3090271/article/details/50747639


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Simon_09010817/article/details/79976328

使用使用使用

  • 2013年02月26日 14:36
  • 48KB
  • 下载

使用klsdfgsdlkfjlskd

  • 2009年06月30日 10:30
  • 45KB
  • 下载

not()的使用

$obj.children(':not(".msgBtn-last")').size()
  • u011500781
  • u011500781
  • 2016-01-18 14:21:01
  • 123

for的使用

代码如下:/* * 使用foreach来遍历数组并寻找负数 * User: www.51code.net * Date: 2009-6-30 * */using System;namespace c...
  • nethole
  • nethole
  • 2009-06-30 16:38:00
  • 83

”##“ 和 "#" 的使用

http://blog.csdn.net/blue_dream_/article/details/5860058 关于记号粘贴操作符(token paste operator): ## ...
  • ganggexiongqi
  • ganggexiongqi
  • 2011-10-30 22:19:16
  • 403

or、and的使用

local i = 0 local a = 10 local b = 9 if (a > b) or (i == 1) then    print("或运算为 真") -- else   prin...
  • lianghui0811
  • lianghui0811
  • 2017-08-29 09:19:53
  • 68

This的使用

一、this的使用       •Java关键字this只能用于方法体内。       •当一个对象创建后,Java虚拟机(JVM)就会给这个对象分配一个引用自身的指针,这个指针的名字就是 ...
  • ruixue_z
  • ruixue_z
  • 2017-07-12 13:26:45
  • 86

+、-、*、/、%的使用

local intResult = 1 + 2 print(intResult) --3 intResult = intResult - 1 print(intResult) --2 intR...
  • lianghui0811
  • lianghui0811
  • 2017-08-29 09:20:05
  • 72

In的使用

ln是linux中又一个非常重要命令,它的功能是为某一个文件在另外一个位置建立一个同不的链接,这个命令最常用的参数是-s,具体用法是:ln –s 源文件 目标文件。   当我们需要在不同的目录,用到...
  • Scofy0
  • Scofy0
  • 2015-05-18 15:38:07
  • 207

for in的使用

function fn(){ this.aa = "obj1"; this.bb = "obj2"; } var json = {"aa":"json1","bb":"json2"};...
  • nceliy
  • nceliy
  • 2016-01-06 22:55:38
  • 164
收藏助手
不良信息举报
您举报文章:6.1.0Sqoop使用
举报原因:
原因补充:

(最多只允许输入30个字)