使用sqoop
sqoop import -m 1 --------m 1 使用一个MapReduce,默认4个。
--connect jdbc:mysql://主机IP:3306/数据库名
--username 用户名
--password 用户密码
--table 表名
--columns "name,age"
--where "age>18"
--target-dir 存在HDFS上的表名
--delete-target-dir
- -m 说明使用多少个map进行数据迁移,如果表比较大的话,建议使用多个map,默认的map为4个
- –table 是要导入HDFS中的表
- –columns 选择要导入的列,这里选择把name与age两列导入的HDFS中。
- –where 对数据进行过滤,只有满足条件的才保存到HDFS中。
- –target-dri 指定存储在HDFS上的表名
- –delete-target-dir 表示如果HDFS表存在,则把他删除。