CentOS7云服务器搭建伪分布式hadoop-3.0.3

Eleina_

已于 2022-08-25 09:13:30 修改

阅读量507

点赞数

文章标签： hadoop 分布式大数据

于 2022-08-25 01:21:44 首次发布

本文链接：https://blog.csdn.net/qq_47905013/article/details/126515299

版权

hadoop-3.0.3下载发送到服务器下

hadoop下载官网：

https://hadoop.apache.org/releases.html

上传hadoop到文件夹 /opt/frames

解压安装到 /opt/app/

配置好JDK环境变量，以jdk1.8为例

未安装jdk的请查看这篇文章

CentOS7 安装JDK1.8_Eleina_的博客-CSDN博客

进入hadoop安装目录，打开/opt/app/hadoop-3.0.3/etc/hadoop/hadoop-env.sh文件

添加java路径

禁用防火墙（dead 指以杀死）

配置免密登录

输入命令 ssh-keygen -t rsa 再按三次回车，生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

接着输入命令 ssh-copy-id 服务器公网ip ；输入yes，再输入root用户的密码确认

再尝试使用ssh免密登录

如图就是配置成功！

配置hadoop环境变量

使变量生效

修改hadoop配置文件

core-site.xml 添加下面内容

<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/app/hadoop-3.0.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

修改hdfs-site.xml ,添加下面内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/app/hadoop-3.0.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/app/hadoop-3.0.3/tmp/dfs/data</value>
</property>

   <property>
       <description>only cofig in clients</description>
              <name>dfs.client.use.datanode.hostname</name>
               <value>true</value>
   </property>