hadoop伪分布是详细部署

hadoop集群 单机版配置

	1.配置准备一台虚拟据(centos.7系统)
	2.相关文件安装包(注:可以去清华大学开源软件里找到镜像文件并下载)
	3.准备xftp与xshell 用于导入文件和编写命令软件。

我调整了已经发表的hadoo的分布式文档和现在遇到的一些问题原因,简化了配置文件等。

关闭防火墙

 $ | sudo systemctl stop firewalld 临时关闭防火墙
 $ | sudo systemctl disable firewalld 开机时禁止自动开启防火墙
 $ | reboot 重启虚拟机

获取centos系统的本机的ip地址

 $ | ip a

设置本机名

 $ | vim /etc/hosts

这里是 你本机的ip地址和你要设置的主机名

设置ip映射和用户名的连接关系

 $ | vim /etc/hostname

 
 
 

安装SSH、配置SSH无密码登陆

$ | sudo yum install openssh*

安装后，可以使用如下命令登录本机:

$ | ssh hadoop*

修改ssh的配置文件:

$ | vim /etc/ssh/sshd_comfing* 打开文件

将以上的PermitRootLogin，RSAAuthentication， PubkeyAuthentication的设置打开。

启动ssh的服务:

$ | systemctl start sshd.service 启动
$ | sercvice sshd restart 重启

使用xshell和xftp将hadoop、jdk导入 虚拟机中

解压 hadoop与jdk的安装包

$ | tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local/src 解压hadoop
$ | tar -zxvf jdk-8u231-linux-x64.tar.gz. -C /usr/local/src	解压jdk

修改hadoop与jdk的名字

$ | cd /usr/local/src 移动到此文件夹
$ | mv hadoop-2.8.5 / hadoop
$ | mv jdk1.8.0_231 / java

 
配置环境变量

$ | vim /etc/profile 打开配置文件


$ | export PATH=$PATH:$HOME/bin
$ | export HADOOP_HOME=/usr/local/src/hadoop
$ | export JAVA_HOME=/usr/local/src/java
$ | export PATH=$HADOOP_HOME/bin:$PATH
$ | export PATH=$HADOOP_HOME/sbin:$PATH
$ | export PATH=$JAVA_HOME/bin:$PATH 

更新配置环境

$ | source /etc/profile

验证

$ | hadoop version
$ | java -version

 

配置hadoop(伪分布式)部署

移动到hadoop的配置文件列中

$ | cd /usr/local/src/hadoop/etc/hadoop 

配置 hadoop-env.sh

$ |  vim hadoop-env.sh
$ | 找到下面的指令并修改为
$ |  export JAVA_HOME=/usr/local/src/java

配置 core-site.xml

$ | <configuration>
$ |	<property>
$ |	<name>hadoop.tmp.dir</name>
$ |	<value>file:/usr/local/src/hadoop/tmp</value>
$ |	</property>
$ |	<property>
$ |	<name>fs.defaultFS</name>
$ |	<value>hdfs://hadoop(注：这里可以ip地址和用户名):9000</value>
$ |	</property>
$ | </configuration>

同样，修改配置文件hdfs-site.xml

$ |	<configuration>
$ |	<property>
$ |	<name>dfs.replication</name>
$ |	<value>1</value>
$ |	</property>
$ |	<property>
$ |	<name>dfs.namenode.name.dir</name>
$ |	<value>file:/usr/local/src/hadoop/tmp/dfs/name</value>
$ |	</property>
$ |	<property>
$ |	<name>dfs.datanode.data.dit</name>
$ |	<value>file:/usr/local/src/hadoop/tmp/dfs/data</value>
$ |	</property>
$ |	</configuration>

Hadoop配置文件说明
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

---

配置完成后，执行NAMENODE的格式化:

$ |	hdfs namenode -format

成功的话，会看到 “successfully formatted” 的提示，具体返回信息类似如下:
2020-01-08 15:31:31,560 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************

STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hadoop/127.0.1.1
STARTUP_MSG: args = [-format] STARTUP_MSG: version = 3.1.3
*************************************************************/

… 2020-01-08 15:31:35,677 INFO common.Storage: Storage directory
/usr/local/hadoop/tmp/dfs/name has been successfully formatted.
2020-01-08 15:31:35,700 INFO namenode.FSImageFormatProtobuf: Saving
image file
/usr/local/hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000
using no compression 2020-01-08 15:31:35,770 INFO
namenode.FSImageFormatProtobuf: Image file
/usr/local/hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000
of size 393 bytes saved in 0 seconds . 2020-01-08 15:31:35,810 INFO
namenode.NNStorageRetentionManager: Going to retain 1 images with txid
= 0 2020-01-08 15:31:35,816 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown. 2020-01-08 15:31:35,816 INFO
namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop/127.0.1.1
*************************************************************/

接着开启 NameNode 和 DataNode 守护进程。

$ |	start-dfs.sh	 #start-dfs.sh是一个完整的可执行文件，中间没有空格

若出现如下SSH提示，输入yes即可。

启动Hadoop时的SSH提示:
启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

hadoop 的单机版就配置完成了

这里是hadoop集群中需要配置插件如果对你有帮助，点赞收藏留言哦

1.YARN的配置部署
2. Zookeeper的配置
3. HIVE的配置
4.Flume的配置
5.Sqoop的配置
6.Kafka的配置
7.Spark的配置