单机hadoop

https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html

 

安装jdk

https://www.cnblogs.com/skyessay/p/6401653.html

解压缩jdk8

配置环境变量

输入大写的G定位到最后一行

export JAVA_HOME=/home/mwt/software/jdk1.8.0_171

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JRE_HOME=$JAVA_HOME/jre

安装hadoop

第一个配置文件hadoop-env.sh

export JAVA_HOME=/home/mwt/software/jdk1.8.0_171

 

第二个配置文件core-site.xml

<configuration>

          <property>

<name>fs.default.name</name>

<value>hdfs://192.168.218.128:9000</value>

          </property>

          <!-- 配置hdfs的中间数据存储目录 -->

          <property>

                  <name>hadoop.tmp.dir</name>

                  <value>/home/mwt/software/hadoop_tmp_dir</value>

          </property>

</configuration>

第三个配置文件hdfs-site.xml

<configuration>

<!-- 每份数据存储副本数量，由于目前是单机环境，一台机器只能存一份数据 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.http.address</name>

<value>hadoop.edu360.cn:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop.edu360.cn:50090</value>

</property>

</configuration>

第四个配置文件mapred-site.xml

<configuration>

<!-- 指定mapreduce变成模型运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

第五个配置文件yarn-site.xml

<configuration>

<!-- 指定yarn的老大resourcemanager的地址 -->

<property>

<name>yaran.resourcemanager.hostname</name>

<value>hadoop.edu360.cn</value>

</property>

<!-- mapreduce执行shuffle时获取数据的方式 -->

<property>

<name>yaran.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

对hdfs进行初始化，就是格式化namenode

如果运行./hdfs namenode -format后出现下面情况

找不到hadoop.edu360.cn，永久修改主机名hostname

sudo vim /etc/hostname

sudo vim /etc/hosts

修改前：，修改后

重新运行./hdfs namenode -format

再次运行./hdfs namenode -format如果出现下面两幅图的情况就说明格式化namenode成功

运行./start-dfs.sh

提示Permission denied(publickey,password)

https://stackoverflow.com/questions/15211848/hadoop-start-dfs-sh-permission-denied

运行ssh-keygen

运行cp /home/mwt/.ssh/id_rsa.pub /home/mwt/.ssh/authorized_keys

再次运行./start-dfs.sh

HDFS管理界面：http://192.168.218.128:50070/

运行./start-yarn.sh

yarn的管理界面：http://192.168.218.128:8088/

使用 lsof 命令来查看某一端口是否开放，如果有显示说明已经开放了，如果没有显示说明没有开放

查看防火墙状态sudo ufw status  

---> Status: inactive

 

键入以下命令卸载防火墙，并在启动时禁用防火墙sudo ufw disable

重启sudo reboot -h now

https://www.cnblogs.com/EasonJim/p/7595213.html

netstat -nltp

修改配置文件hdfs-site.xml

<!-- 配置hdfs的namenode的ip地址和端口 -->

<property>

<name>dfs.namenode.http-address</name>

<value>hadoop.edu360.cn:50070</value>

</property>

 

重启hdfs和yarn后再次运行netstat -nltp

sudo vim /etc/hosts

https://blog.csdn.net/kouryoushine/article/details/78401976

https://www.cnblogs.com/Springmoon-venn/p/8727275.html

执行systemctl set-default multi-user.target

https://www.jb51.net/article/118426.htm

安装CentOS-7-x86_64-DVD-1804.iso

sudo vim /etc/profile

最后一行export PATH=$path:/sbin

sudo reboot -h now