系统环境
Linux Ubuntu 16.04
jdk-7u75-linux-x64
hadoop-2.6.0-cdh5.4.5
mysql-5.5.53
相关知识
Hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以Hive-client进行处理。若需要开发应用程序,则需要使用Hive的JDBC驱动进行连接。
Hive JDBC驱动连接分为两种,早期的是HiveServer,最新的是HiveServer2,前者本身存在很多的问题,如安全性、并发性等,后者很好的解决了诸如安全性和并发性等问题。
任务内容
练习使用JDBC方式连接Hive,通过java代码操作Hive。
任务步骤
1.首先在Linux本地,新建/data/hive6目录,用于存放所需文件。
mkdir -p /data/hive6
2.切换到/data/hive6目录下,下载依赖包
cd /data/hive6
wget http://192.168.1.100:60000/allfiles/hive6/lib.tar.gz
3.解压lib.tar.gz文件至当前文件夹
tar zxvf lib.tar.gz
4.切换到/apps/hive/conf目录下,修改hive-site.xml文件,将以下配置写入
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>127.0.0.1</value>
</property>
5.切换到/apps/hadoop/sbin目录下,开启Hadoop相关进程
cd /apps/hadoop/sbin
./start-all.sh
6.开启mysql服务