完全分布式集群的搭建

1.进程规划
原则:

   ①核心进程尽量分散
   ②同质进程尽量分散

2.集群间复制
①scp

	scp -r  源文件的用户名@主机名:源文件路径   目标文件的用户名@主机名:目标文件路径  
	
	特点: 全量复制

②rsync

	rsync -rvlt  源文件路径  目标文件的用户名@主机名:目标文件路径
	
	
	源文件路径是个目录,源文件路径/,只会同步源文件目录中的内容!
	源文件路径,不仅会同步源文件目录中的内容,包括目录本身也会进行同步!

3.配置ssh免密登录

	如果A机器的a用户,希望使用b用户的身份,免密登录到B机器!
	
	操作步骤:①a用户在A机器生成一对密钥(私钥+公钥)
						ssh-keygen -t rsa
	          ②将公钥的内容,配置到b用户家目录/.ssh/authoxxx_keys
						ssh-copy-id b@B
			  ③a用户在A机器,就可以使用 ssh  b@B
			  
	如果在配置时,省略了用户名,那么默认使用当前操作的用户名作为目标机器的用户名!
			[a@A] ssh  B 等价于  [a@A] ssh  a@B 

4.两种ssh的使用方式

①登录到目标主机,再执行命令

		[a@A] ssh  B
		[a@B] jps
			
	属于Login-shell,默认读取/etc/profile文件!

②在A机器,执行命令

		[a@A] ssh  B jps
	属于non-Login-shell,不会读取/etc/profile文件!
	只会读取 ~/.bashrc
			
	解决: 在a@B的~/.bashrc中配置 source /etc/profile
		
	注意:当前主机也要配置自己到自己的SSH免密登录!

配置SSH的作用 :

	①执行scp,rsync命令时,不需要输入密码,方便
	②在执行start-all.sh群起脚本时,需要输入密码

5. 执行群起

	①start-dfs.sh 可以在任意一台机器执行
	②start-yarn.sh 如果不在RM所配置的机器执行,那么不会启动RM
	
	建议: 在RM所在的机器执行群起脚本!
		只需要配置RM所在机器到集群其他机器的SSH免密登录!

	③在执行群起时,默认读取当前机器 $HADOOP_HOME/etc/hadoop/slaves文件中,
	当前集群配置的主机名

6.集群的时间同步

      一个集群中,每台机器的时间必须保证是同步的!

      主要借助linux的ntp服务执行和远程时间服务器的时间同步!

      保证当前机器的ntp服务是开机自启动!
		 chkconfig --list ntpd
		
      使用 ntpdate  -u 时间服务器的地址
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黑色的小德牧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值