hadoop配置独立模式,伪分布模式,完全分布模式

1.standalone(local)
nothing !
不需要启用单独的hadoop进程。

2.Pseudodistributed mode
伪分布模式。
a)进入${HADOOP_HOME}/etc/hadoop目录
b)编辑core-site.xml

            <?xml version="1.0"?>
			<configuration>
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://localhost/</value>
				</property>
			</configuration>
	c)编辑hdfs-site.xml
            <?xml version="1.0"?>
			<configuration>
				<property>
					<name>dfs.replication</name>
					<value>1</value>
				</property>
			</configuration>
	d)编辑mapred-site.xml
		***注意:cp mapred-site.xml.template mapred-site.xml***
            <?xml version="1.0"?>
			<configuration>
				<property>
					<name>mapreduce.framework.name</name>
					<value>yarn</value>
				</property>
			</configuration>
	e)编辑yarn-site.xml
            <?xml version="1.0"?>
			<configuration>
				<property>
					<name>yarn.resourcemanager.hostname</name>
					<value>localhost</value>
				</property>
				<property>
					<name>yarn.nodemanager.aux-services</name>
					<value>mapreduce_shuffle</value>
				</property>
			</configuration>
	f)配置SSH
		1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
            yum list installed | grep ssh
            安装wget
            yum -y install wget
            安装openssh-client
            yum install openssh-clients
            
		2)检查是否启动了sshd进程
			$>ps -Af | grep sshd
		
		3)在client侧生成公私秘钥对。
		   ssh -al查看有没有.ssh文件
		   rm -rf .ssh
			$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
		
		4)生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)

		5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
			$>cd ~/.ssh
			$>cat id_rsa.pub >> authorized_keys
		
		6)修改authorized_keys的权限为644.
			$>chmod 644 authorized_keys
		
		7)测试
			$>ssh localhost

3.full distributed(完全分布式)
1.克隆3台client(centos7)
右键centos-7–>管理->克隆-> … -> 完整克隆
2.启动client
3.启用客户机共享文件夹。
4.修改hostname和ip地址文件
/etc/hostname修改主机名
/etc/sysconfig/network修改主机名
/etc/sysconfig/network-scripts/ifcfg-ethxxxx修改
ip addr查看mac地址
HWADDR修改成跟mac地址一样
IPADDR=…
5.修改/etc/resolv.conf文件
nameserver 192.168.231.2
6.删除/etc/udev/rules.d/70-persistent-net.rules文件,重启虚拟机后会重新生成
7.reboot重启虚拟机
8.重启网络服务
$>sudo service network restart
9.ifconfig查看是否有IP地址和mac地址
10.ping 主机看是否能成功

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值