Hadoop实战小知识点总结

一、配置网络ip

1. 如果是虚拟机，则需首先配置虚拟机的“虚拟网络配置”：VMWare——编辑——虚拟网络编辑器——修改ip、子网掩码——保存。
2. 修改主机名称：sudo(非root用户需要加上sudo) vim /etc/sysconfig/network，修改里面的hostname(不能有下划线)
3. 修改主机ip：sudo(非root用户) vim /etc/sysconfig/network-scripts/ifcfg=eth0，修改内容：ONBOOT=yes、BOOTPROTO=static、IPADDR=192.168.xxx.xxx、GATEWAT=192.168.xxx.xxx、DNS1和DNS2需要看主机所在的网络属性，另外需要删除mac地址
4. 重启网络：service network restart，若有问题，则直接重启机器：reboot
5. 修改网卡脚本文件：vim /etc/udev/rules.d/70-persistent-net.rules

二、添加主机名和IP的映射

• Linux系统：sudo(非 root 用户) vim /etc/hosts，添加如：192.168.1.100 Hadoop100
• Windows系统：C:\Windows\System32\drivers\etc\hosts 添加如上
• 两个系统最好都弄，日后操作很方便

三、SSH免密登录配置

大集群配置：

1. 根目录下：ssh-keygen -t rsa，连续三个回车即可
2. 进入 .ssh 文件夹，ssh-copy-id localhost
3. 将生成的 .ssh 文件分发到各个节点 xsync .ssh
4. 缺点是安全性差，在集群内部还行，若涉及到外部通讯则需谨慎

安全配置：

1. 在各个机器的根目录下：ssh-keygen -t rsa，连续三个回车
2. 进入 .ssh 文件夹，ssh-copy-id hadoop102、ssh-copy-id hadoop103、ssh-copy-id hadoop103、.....有多少机器就写多少