sqoop 数据集成

############ mysql 数据集成 到 hdfs 中
创建一个 .conf 文件 将参数 放进去 直接 sqoop --options-file 文件名.conf 就可以执行了
import
–connect
jdbc:mysql://master:3306/user //mysql 地址
–username // 用户
root
–password //密码
123456
–table //表名
student
–m
2
–split-by //以什么进行切分
age
–target-dir // hdfs 上的地址 目录 没有会自动创建
/sqoop/data/student
–fields-terminated-by //以什么切分
‘,’

############## hdfsToMysql
export
–connect
jdbc:mysql://master:3306/student?useUnicode=true&characterEncoding=UTF-8
–username
root
–password
123456
-m
1
–columns
id,name,age,gender,clazz
–export-dir
/sqoop/data/student/
–fields-terminated-by
‘,’
–table
student

#############################mysqlToHive

import
–connect
jdbc:mysql://master:3306/student
–username
root
–password
123456
–table
score
–fields-terminated-by //字段分割方式
“\t”
–lines-terminated-by //行分割方式
“\n”
–m
2
–split-by
student_id //以什么切分
–hive-import
–target-dir
/data/score //存入的 hive路径
–hive-table
score //指定 hive 中的表

#################################### mysqlToHbase
import
–connect
jdbc:mysql://master:3306/student
–username
root
–password
123456
–table
student
–hbase-table
student
–hbase-create-table
–hbase-row-key
id
–m
1
–column-family
info