【hadoop】hadoop上hive的安装和spark的引擎安装

最新推荐文章于 2024-11-06 20:40:06 发布

SmallScorpion

最新推荐文章于 2024-11-06 20:40:06 发布

阅读量862

点赞数

分类专栏： Hadoop模块化学习文章标签： hive spark

本文链接：https://blog.csdn.net/qq_40180229/article/details/100938154

版权

本文详细介绍了如何在已有的Hadoop集群上安装和配置Hive，包括关闭集群、修改配置文件、安装Mysql、解压Hive压缩包、配置Hive环境、启动Hive等步骤。接着，文章讲述了Spark的安装配置过程，涉及配置YARN、设置环境变量、配置Spark-env.sh、连接Hive等。最后，作者分享了一些配置过程中可能遇到的问题及解决经验，如配置文件的细节处理和错误排查。

摘要由CSDN通过智能技术生成

一、hive的安装与配置

确保自己的hadoop集群没有问题

可以看到我的集群hadoop1和hadoop3为NN，hadoop2为RM
关闭集群(hdfs和yarn，zookeper可以不用管)

hadoop1:sbin/stop-dfs.sh
hadoop2:sbin/stop-yarn.sh
在hadoop集群的每一个节点的core-site.xml增加如下代码

<property>
			<name>hadoop.proxyuser.root.hosts</name>
			<value>*</value>
	</property>
	<property>
			<name>hadoop.proxyuser.root.groups</name>
			<value>*</value>
	</property>

总配置为()：

<configuration>
<property>
                        <name>hadoop.proxyuser.root.hosts</name>
                        <value>*</value>
        </property>
        <property>
                        <name>hadoop.proxyuser.root.groups</name>
                        <value>*</value>
        </property>
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
</property>
<property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
</property>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
</property>
<property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/programs/hadoop-2.6.0/data/tmp</value>
</property>

</configuration>

在这里插入图片描述
4. 在集群中的每个节点的yarn-site.xml增加如下代码：

<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/opt/programs/hadoop-2.6.0/data/tmp</value>
</property>

总配置如下(spark的配置也在里面)：

<configuration>
<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_sh

最低0.47元/天解锁文章