hadoop安装配置和问题处理（部分转载）

最新推荐文章于 2024-10-13 15:54:09 发布

ghx123456ghx

最新推荐文章于 2024-10-13 15:54:09 发布

阅读量128

点赞数

文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/ghx123456ghx/article/details/108175609

版权

本文详细介绍了Hadoop的安装配置过程，包括环境准备、依赖安装、配置文件编辑等步骤。同时，针对安装过程中可能遇到的问题1和问题2，提供了具体的解决办法，包括修改启动脚本和调整日志配置。此外，还提到了集群UI页面的访问方式以及如何删除文件夹和停用防火墙。

摘要由CSDN通过智能技术生成

安装hadoop前的准备工作

1：安装jdk，配置ip，ssh，防火墙，映射
2：安装maven
配置maven环境变量，存储路径，阿里映射等
3 安装findbugs,解压后配置findbugs环境变量
4 在线安装一些依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-develyum
yum install lzo-devel zlib-devel gcc gcc-c++
bzip2压缩需要的依赖包
yum install -y bzip2-devel
5 安装protobuf
解压后进行make和make install
6 安装snappy
7 编译hadoop源码
8 得到编译后的hadoop压缩包

上述步骤是规范的操作，可以不操作在如下配置后进行问题处理

下载地址：http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-3.2.1/
上传到Linux后解压：tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz
解压后删除压缩包rm -rf hadoop-3.2.1. tar.gz
查看java路径which java
配置Hadoop
第一个 hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171   #JAVA_HOME写上自己jdk 的

安装路径

第二个：core-site.xml，
vi core-site.xml
在文件中的<configuration></configuration>之间写如下代码

<!-- 指定Hadoop所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node-1:9000</value>
</property>
<!-- 定Hadoop运行是产生文件的存储目录。默认 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/data/hddata</value>
</property>

第三个： hdfs-site.xml 分布式系统相关的文件配置
vi hdfs-site.xml
还是在文件中之间写如下代码

<!-- 指定HDFS副本的数量，不修改默认为3个 -->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<!-- dfs的SecondaryNameNode在哪台主机上 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node-2:50090</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/home/gao/java/hadoopData/nameNode</value>
</property>
&