安装hive和sqoop

安装hive
一：到官网下载好后上传到centos，同时把mysql驱动也上传
（我使用的是apache-hive-2.1.0.bin.tar.gz和mysql-connector-java-5.1.28-bin.jar）
二：解压hive，tar zxvf apache-hive-2.1.0-bin.tar
三：将mysql驱动剪切到hive的lib目录下，我的是/home/hadoop/modules/hive/lib
三：添加环境变量
vim /etc/profile
#hive
export HIVE_HOME=/home/hadoop/modules/hive
export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH  
export CLASSPATH_PATH=$CLASSPATH:$HIVE_HOME/bin
使配置文件生效：source /etc/profile
四：进入hive的conf目录，复制hive-env.sh.template为hive-env.sh
cp hive-env.sh.template hive-env.sh
五：修改hive-env.sh,分别设置HADOOP_HOME和HIVE_CONF_DIR两个值：
# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/home/hadoop/modules/hadoop

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/modules/hive/conf

六：添加hive-site.xml文件
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.26.1/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>xxxx</value>
</property>
</configuration>

七：输入hive启动即会在mysql中生成相关的表格
注意事项：
1.安装的hive版本要与hadoop匹配，第一次安装时我没注意这个问题，安装了hive2.0版本，导致最后失败。hive2.0仅仅支持hadoop2.0以上版本。
2.注意DHFS文件系统的可写性，我安装时遇到了这个问题，需要修改/tmp/hive为可写性
命令：hadoop fs -chmod 777 /tmp/hive
3.要注意修改mysql的用户必须可以远程登录，否则会无法启动生成基本信息。

安装sqoop

一.上传tar包到centos的相应目录并解压
二.配置环境变量：
vim /etc/profile
#sqoop
export SQOOP_HOME=/home/hadoop/modules/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile 是配置生效

三.拷贝mysql驱动到sqoop的lib目录下（如果是要在oracle中导入数据则需要导入oracle的驱动）

四.进入sqoop的conf目录将sqoop-env.template.sh 文件复制一份为sqoop-env.sh并修改一下内容
#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/home/hadoop/modules/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/modules/hadoop

#set the path to where bin/hbase is available 如果安装了则配
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/modules/hive

#Set the path for where zookeper config dir is 如果安装了则配
#export ZOOCFGDIR=

五.测试是否成功安装
执行sqoop help
如果成功输入信息则安装成功

使用sqoop导入mysql数据到hdfs

sqoop list-tables --connect jdbc:mysql://192.168.26.1/hive --username root --password xxxx
sqoop list-tables --connect jdbc:mysql://119.29.67.86/hive --username cboy --password xxxx

sqoop import --connect jdbc:mysql://192.168.26.1:3306/rlzyms --username root --password Hellocboy12345_ --table employees --columns 'empId,fileNumb,empName,empAge,empGender,empEmail' -m 1 --target-dir '/tmp/emp'

sqoop import --connect jdbc:mysql://119.29.67.86:3306/rentcar --username cboy --password xxx--table wt_user --columns 'uid,username,uEmail,accessToken,uStatus,uCreateTime' -m 1 --target-dir '/rentcar/wt_user'

create table htest(id bigint,username string,password string,age int) row format delimited fields terminated by '\t';

load data local inpath '/usr/hadoop/test.txt' into table htest;