linux 配置jdk+ssh免密登录+hadoop集群配置

1.jdk配置

下载：jdk-10_linux-x64_bin.rpm

安装：# rpm -ivh jdk-10_linux-x64_bin.rpm

注：bin包：

#chmod +x .........bin

#./.......bin

tar.gz:

解压缩：# tar -xzvf .........tar.gz

移到某个文件夹：# mv ......../  /usr/local/

配置环境变量：

# vi /etc/profile

i 插入模式

ESC 退出插入模式

：wq 回车，存盘并退出

：q! 回车，不存盘强制退出

JAVA_HOME=/usr/java/jdk-10

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME PATH CALSSPATH

验证：

#java 

# javac

注：jdk-10 与后来下载的hadoop-2.8.0 不匹配，之后的hadoop格式化时报错，后换成jdk-8

GNOME桌面切换至root自动登录：

vi /etc/gdm/custom.conf

[daemon]

AutomaticLoginEnable=True

AutomaticLogin=root

2.配置SSH

把各个节点的id_rsa.pub文件复制到authorized_keys中，然后各个节点再拷贝一份，实现免密登录

生成密钥对：ssh-keygen -t rsa

默认保存在 .ssh/id_rsa中

把每个机器的id_rsa.pub复制到authorized_keys中，再把包含每个机器公钥的authorized_keys重新赋值给各个机器。

最后进去所有机器的.ssh目录中，改变authorized_keys文件的许可权限

chmod 644 authorized_keys

权限代码：

 7（所有者权限）6（组用户权限）4（其他用户权限）

 r 读取权 4；   w 写入权 2；   x 执行权 1；   rwx（读、写、执行）   rw-（读、写）

若要rwx：4+2+1=7； 若要rw-：4+2=6； 若要r-x：4+1=5

600：只有所有者有读和写的权限

644：所有者有读和写的权限，组用户只有读的权限

700：只有所有者有读和写以及执行的权限

666：每个人都有读和写的权限

777：每个人都有读和写以及执行的权限

3. hadoop配置

下载：2.8.0

配置文件：core-site.xml

dhfs-site.xml

mapred-site.xml

slaves

 启动  sbin/ ./start-all.sh

jps验证

详情参考：https://blog.csdn.net/pucao_cug/article/details/71698903

注：namenode:

datanode:

没有JobTracker 和TaskTracker 进程，因为hadoop2.x 以后用了Yarn架构

详情参考：http://www.aboutyun.com/thread-7678-1-1.html