sqoop安装及初体验（hive配置mysql服务器）

先要安装mysql服务

centos6.5可以直接用yum下载具体可参考https://mp.csdn.net/postedit/80139841这篇文章

---------------------------------------------------------------------------------------------------------------------------------

//在这里顺便配置一下hive里面的mysql。这样hive用的是mysql而不是自带的derby来存储文件信息

.配置hive
（a）配置HIVE_HOME环境变量  vi conf/hive-env.sh 配置其中的$hadoop_home



（b）配置元数据库信息   vi  hive-site.xml 
添加如下内容：
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>


<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>


<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>


<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>

---------------------------------------------------------------------------------------------------------------------------------

下面的命令是用sqoop将 关系型数据库的东西导入到hdfs上面

bin/sqoop import   \

--connect jdbc:mysql://192.168.235.128:3306/test   \

--username root  \

--password wxawxa   \

--table emp \

--m 1   

也可以直接写到hive中去

bin/sqoop import --connect jdbc:mysql://192.168.235.128:3306/test --username root --password wxawxa --table emp --hive-import --m 1

先要保存到本地上才能保存到hive中去

所以遇到这个 hdfs://hadoop01:9000/user/root/emp already exists 错误是之前的实验已经创建了这个文件夹只要删除即可

下面的命令是用来导入emp_add表数据到'/queryresult'目录。

bin/sqoop import \ --connect jdbc:mysql://hdp-node-01:3306/test \ --username root \ --password root \ --target-dir /queryresult \ --table emp --m 1

当报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.的时候

解决：
在hdfs用户下添加环境变量HADOOP_CLASSPATH
# vi ~/.bash_profile
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/export/servers/apache-hive-1.2.2-bin/lib/*

# source ~/.bash_profile