大数据--sqoop/hive搭建

安装sqoop、hive之前需要先安装hadoop、hbase环境，参考上面两篇文章

 

sqoop：数据迁移工具，可以很方便的将数据在 mysql等数据库 与hadoop、hbase、hive之间迁移。

hive：数据分析挖掘工具，原理是将sql转换成hadoop的map reduce，只要你会sql，就会hive。

sqoop和hive官方还没有提供集群安装，一般也不需要，所以都采用单节点安装，比较简单。

 

 

sqoop：

解压即可

tar -zxvf sqoop.gz

我用的mysql，将mysql驱动jar放到sqoop的lib目录即可。

启动： 

cd bin;

./sqoop

使用：

第一类：数据库中的数据导入到HDFS上
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade_detail --columns 'id, account, income, expenses'
   
   指定输出路径、指定数据分隔符
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade_detail --target-dir '/sqoop/td' --fields-terminated-by '\t'
   
   指定Map数量 -m 
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade_detail --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2
   
   增加where条件, 注意：条件必须用引号引起来
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123  --table trade_detail --where 'id>3' --target-dir '/sqoop/td2' 
   
   增加query语句(使用 \ 将语句换行)
   sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 \
   --query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3'

   注意：如果使用--query这个命令的时候，需要注意的是where后面的参数，AND $CONDITIONS这个参数必须加上
   而且存在单引号与双引号的区别，如果--query后面使用的是双引号，那么需要在$CONDITIONS前加上\即\$CONDITIONS
   如果设置map数量为1个时即-m 1，不用加上--split-by ${tablename.column}，否则需要加上

第二类：将HDFS上的数据导出到数据库中(不要忘记指定分隔符)
   sqoop export --connect jdbc:mysql://192.168.8.120:3306/test --username root --password 123 --export-dir '/td3' --table td_bak -m 1 --fields-terminated-by ','

 

hive：

解压，tar -zxvf hive.gz

hive默认使用derby数据库，只支持单连接，我们改为mysql数据库

cd conf;

cp hive-default.xml.template hive-site.xml 
修改hive-site.xml（删除所有内容，只留一个<property></property>）
添加如下内容：
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://ip:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123</value>
  <description>password to use against metastore database</description>
</property>

 

同样，将驱动包放到hive/lib下

启动：   ./hive/bin/hive

使用：

创建表
create table trade_detail (id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';
create table user_info (id bigint, account string, name  string, age int) row format delimited fields terminated by '\t';
 

将mysq当中的数据直接导入到hive当中
sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table trade_detail --hive-import --hive-overwrite --hive-table trade_detail --fields-terminated-by '\t'
sqoop import --connect jdbc:mysql://192.168.1.10:3306/test --username root --password 123 --table user_info --hive-import --hive-overwrite --hive-table user_info --fields-terminated-by '\t'

创建一个result表保存前一个sql执行的结果
create table result row format delimited fields terminated by '\t' as select t2.account, t2.name, t1.income, t1.expenses, t1.surplus from user_info t2 join (select account, sum(income) as income, sum(expenses) as expenses, sum(income-expenses) as surplus from trade_detail group by account) t1 on (t1.account = t2.account);

create table user (id int, name string) row format delimited fields terminated by '\t'
将本地文件系统上的数据导入到HIVE当中
load data local inpath '/root/user.txt' into table user;

创建外部表
create external table stubak (id int, name string) row format delimited fields terminated by '\t' location '/stubak';

创建分区表
普通表和分区表区别：有大量数据增加的需要建分区表
create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\t'; 

分区表加载数据
load data local inpath './book.txt' overwrite into table book partition (pubdate='2010-08-22');