sqoop从mysql导入hdfs_sqoop从mysql导入到hdfs

1、mysql

-- 创建数据库

create database logs;

-- 使用

use logs;

-- 创建表

create table weblogs(

md5 varchar(32),

url varchar(64),

request_date date,

request_time time,

ip varchar(15)

);

-- 从外部文本文件加载数据

load data infile '/path/weblogs_entries.txt' into table weblogs fields terminated by '\t' lines terminated by '\r\n';

-- 查询

select * from weblogs;

-- 将mysql数据导出到hdfs

sqoop import -m 1 --connect jdbc:mysql://hadoop:3306/logs --username root --password root --table weblogs --target-dir /data/weblogs/import

--target-dir 决定了数据将存储在hdfs的哪个目录下

默认情况下，sqoop导入的数据将会按主键进行分割， 有多少个主键，就会有多少个输出文件(一定要控制好)。若不包含主键，必须指定-m 或者--split-by参数决定导入的数据如何分割。每个mapper将产生一个独立的文件。导入文件的默认分割符号“,”,

，可以通过--fields-terminated-by '\t' 指定其他的分割符号

s