Hadoop的伪分布的配置

 

1、jdk的安装

把jdk移动到/user/local目录下,通过“.”来解压文件,并重命名为简单名称jdk

 

 

2、配置环境变量

用vi编辑器修改/etc/profile 文件,添加两句话

export JAVA_HOME=/usr/local/jdk

export PATH=.:$PATH:$JAVA_HOME/bin

保存关闭,执行source/etc/profile

export” 是关键字, 用于设置环境变量。 需要设置了两个环境变量, 一个是 JAVA_HOME,一个是 PATH。对于环境变量的引用,使用“$” ,多个环境变量之间的连接,使用“:” 。

命令“source” 是为了让文件中的设置立刻生效

并使用java -version,来检测。

3、关闭防火墙以及修改网卡

1)查询防火墙状态 :service iptables status

2)关闭防火墙 :service iptables stop

3)关闭防火墙自动运行chkconfig iptables off(验证:执行命令chkconfig --list|grep iptables)

 

 

在linux桌面的右上角图标,右击,选择Edit Connections...

选择ipv4的手工方式设置ip为192.168.80.100,掩码255.255.255.0,网管是192.168.80.1

 

#另一种方式

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"      ###

HWADDR="00:0C:29:BF:45:8B"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="99339c27-0884-46c0-85d5-2612e5c1f149"

IPADDR="192.168.80.100" ###

NETMASK="255.255.255.0" ###

GATEWAY="192.168.80.1"  ###

 

备注:最好将本机的防火墙也关闭,以免有不必要的麻烦

4、设置DNS解析

hadoop 集群之间通过主机名互相访问,所以必须设置 dns 解析

编辑 /etc/hosts 文件

添加 192.168.80.100 hadoop0

集群主机IP     主机名

 

重启机器:reboot

5、SSH免密码登录

远程管理其他机器,一般使用远程桌面或者 telnet。linxu 服务器几乎都是命令行,所以只能使用 telnet 了。telnet 的缺点是通信不加密,非常不安全,只适合于

内网访问。为解决这个问题,推出了加密的通信协议,即 SSH。SSH 的全称是 Secure Shell,使用非对称加密方式,传输内容使用 rsa 或者 dsa 加密,可以有效避免网络窃听。

hadoop 的进程之间通信使用 ssh 方式,需要每次都要输入密码。

配置 SSH 的免密码登录方式。

 

在主目录 ~ 下,ls -a 会有隐藏文件 .ssh 用于存放密钥的。

 

执行命令生成密钥 :ssh-keygen  -t  rsa

一直enter即可。进入密钥文件夹 .ssh , 生成授权文件:cp id_rsa.pub authorized_keys

注意:文件夹“.ssh”中的三个文件的权限,是有要求的, “自己之外的任何人对每个文件都没有写权限” 。另外, “.ssh”文件夹是 700 权限。如果权限有问题,会造成 SSH 访问失败。

 

登录:ssh localhost

 ssh hadoop0

 

注意:使用命令 ssh 时,一定要观察主机名的变化。很多同学在操作 ssh 时,由于大量

的使用 ssh 登录退出,忘记自己目前在哪台机器了,执行了大量错误的操作。

 

错误处理:

1)绝招: 删除/etc/udev/rules.d/70-persistent-net.rules 文件,重启系统。

 

2)配置出错,可以查看/var/log/secure 日志文件,找原因。

至此,搭建成功

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值