数据迁移sqoop学习心得

       sqoop是Apache基金会下的数据迁移工具。主要功能是能将数据库中的数据导入到hdfs中，同时也能使hdfs中的数据导出至数据库中。

sqoop的安装只需在hadoop集群中的任意一台机器上即可。因为sqoop自动配置了搜寻NameNode和ResourceManage的功能，运行时能访问到hadoop的core-site.xml，hdfs-site.xml，yarn-site.xml等配置文件。

1.上传sqoop

2.安装和配置
   在添加sqoop到环境变量
  将数据库连接驱动拷贝到$SQOOP_HOME/lib里

3.使用
 第一类：数据库中的数据导入到HDFS上（以博主的ip  mysql的3308端口  数据库名:feitian  表名:goodinfo 为例）

  sqoop import --connect  jdbc:mysql://192.168.56.1:3308/feitian  --username root --password 123 --table goodinfo                 //基础结构

  1.--target-dir '/sqoop/test'                      //指明hdfs的路径。 默认是/user/root目录。

  2. -m  2                                                    //指明启动两个Map。

  3.--fields-terminated-by  '\t'                  //指明导入到hdfs中的数据表中每列以'\t'的分隔。

  4.--columns ’id,account,income'         // 指明数据库表中某些列导入hdfs。

  5.--where  'id>2 and id <=9'                //添加where 条件语句。

  6.sqoop import --connect jdbc:mysql://192.168.56.1:3308/feitian --username root --password 123 --query 'select * from 表一 where ... and $CONDITIONS'

    //多表查询。query语句后必须包含$CONDITIONS。

    //如果在query中指明-m>1 必须写明分割字段 '--split-by 表.id' Map将按照id来分割数据（每个map分得多少数据）。

 

第二类：HDFS中的数据导入到数据库表中

  注意：数据库表中必须和HDFS中数据相同的数据类型。

  sqoop export --connect jdbc:mysql://192.168.56.1:3308/feitian --username root --password 123 --export-dir '/sqoop/test/' --table 表 -m 1

 

4.可能错误

1.电脑防火墙未关闭。

2.数据库必须以权限root登录。

3.给root用户添加远程访问数据库权限(默认只能访问localhost。不能通过远程ip访问)

方法一：GRANT ALL PRIVILEGES ON itcast.* TO 'root'@'192.168.56.1’ IDENTIFIED BY '123' WITH GRANT OPTION;
 FLUSH PRIVILEGES; 
 
 方法二：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
 FLUSH PRIVILEGES