大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!!
本次为师傅们带来的是“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析系列的第②期,是“配置Hive并开启相关服务”篇章哦!
第①期完整赛题的链接在下面,师傅们想看完整赛题的请安心享用:
【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客
目录
配置Hive并开启相关服务(40.00 / 40分)
配置Hadoop代理(8.00 / 8分)
对应文件路径:/root/software/hadoop-2.7.7/etc/hadoop/core-site.xml
考核条件如下:
1.修改core-site.xml,配置root用户可以在任何主机中执行代理
操作环境: python-hive
vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml #修改对应配置文件
#添加以下内容
<configuration>
<!-- 用于hiveserver2连接10000端口 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hive.hosts</name>
<value>*</value>
</property>
……………………………
</configuration>
2.修改core-site.xml,配置root用户可以在代理任意任务组的用户
操作环境: python-hive
vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml #修改对应配置文件
#添加以下内容
<configuration>
……………………………
<property>
<name>hadoop.proxyuser.hive.groups</name>
<value>*</value>
</property>
</configuration>
配置Hiveserver2服务信息(8.00 / 8分)
文件路径为:/root/software/apache-hive-2.3.4-bin/conf/hive-site.xml
考核条件如下:
1.设置TCP的监听端口为10000
操作环境: python-hive
vim /root/software/apache-hive-2.3.4-bin/conf/hive-site.xml #修改对应配置文件
#添加以下内容
<configuration>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<!-- hiveserver2 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
……………………………
</configuration>
2.设置TCP绑定的主机为localhost
操作环境: python-hive
vim /root/software/apache-hive-2.3.4-bin/conf/hive-site.xml #修改对应配置文件
#添加以下内容
<configuration>
……………………………
<property>
<name>hive.server2.thrift.bind.host</name>
<value>localhost</value>
</property>
</configuration>
开启相关服务(24.00 / 24分)
本次使用环境为单节点集群,对应主机名为Hadoop
,使用工具连接对应主机并进行相关操作。
考核条件如下:
1.修改云主机host文件,添加内网IP,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登陆
操作环境: python-hive
vim /etc/hosts #修改对应配置文件
#添加以下内容
hadoop000_IP hadoop000
ssh hadoop000 #ssh免密登录
exit #退出ssh免密登录
2.格式化HDFS文件系统
操作环境: python-hive
hadoop namenode -format #格式化Hadoop集群
3.启动Hadoop集群
操作环境: python-hive
start-all.sh #启动Hadoop集群
4.开启mysql服务,并初始化数据库
操作环境: python-hive
systemctl start mysqld.service #开启mysql服务
schematool -dbType mysql -initSchema #格式化Hive元数据库
5.开启hiveserver2服务,查看端口是否正常开启
操作环境: python-hive
hive --service hiveserver2 #开启hiveserver2服务
6.查看hiveserver2对应的UI界面是否正常打开
操作环境: python-hive
http://hadoop000_IP:10000/