hadoop学习笔记整理(一)

• 安vm和centos

1. 安vm15蓝屏(版本和电脑补兼容) 解决：下载vm16
2. 安装centos单独放一个文件夹

• 修改主机名，映射。

1. vi/etc/hostname(重启) / hostnamectl set-hostname 主机名 bash

1. Hadoop1000

1. 修改ip

1. Vi/etc/sysconfig/network-scripts/ifcfg-ens33

1. 修改映射-vi/etc/hosts

• 网络配置。

问题 ： 遇到电脑上没有vmnet8，下载cccleaner，清理注册表充值网络，重置虚拟机的网络。

1. 虚拟机网络配置

1. 电脑网络配置

1. 调整防火墙

查看防火墙状态：Sysctemctl status firewalld

关闭防火墙：sysctemctl stop firewalld

开机不启动：sysctemctl disable firewalld

建议关闭防火墙

1. Ping ip地址验证

1. ping 外部ip地址
2. ping 百度网址

1. 重启网络

Service network restart

• 连接moba
• Jdk，hadoop部署
  1. 创建两个文件，在opt下面创建software，module文件夹
  2. 安装jdk和hadoop
  3. 本地部署
  4. 伪分布式部署
     1. 克隆两台虚拟机
  5. 完全分布式部署
     1. 免密
     2. 修改配置文件
        1. Hadoop-env.sh
        2. Hdfs-site.xml
        3. Yarn-site.xml
        4. Mapred-site.xml
     3. 集群分发

Scp – r 谁 用户名@主机名:地址

iiii . 删除logs、data文件夹

注意所在位置，在hadoop-3.1.3目录下

iiiii，格式化namenode

hdfs –format namenode

iiiiii,启动集群

1,单启

Hdfs --daemnon start namenode

Hdfs --daemon start datanode

Yarn --daemon start resourcemanager

Yarn –daemon start nodemanager

2,群起

Start-all.sh

Start-dfs.sh

Start-yarn.sh