hadoop系列之一环境准备

1、使用xshell登录模板操作系统

2、执行以下命令关闭防火墙

     #systemctl stop firewalld.service

     #systemctl disable firewalld.service

     #firewall-cmd -state

3、关闭ip6

     #vi /etc/sysctl.conf  

     在该文件中增加如下内容

     net.ipv6.conf.all.disable_ipv6 = 1
    net.ipv6.conf.default.disable_ipv6 = 1
    net.ipv6.conf.lo.disable_ipv6 = 1

4、修改机器名(备注:此处只修改了模板机器的名字,后续需要根据集群规划重新修改每台机器的机器名)

     

    分别在每台机器上编辑/etc/hostname文件

     

     

5、创建hadoop:hadoop用户和组

   

    


6、设置JAVA_HOME

     #echo "export JAVA_HOME=/opt/hadoop/jdk1.8.0_121">>/etc/profile

     #echo "export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$java_home/lib/dt.jar:$java_home/lib/tools.jar">>/etc/profile

    #echo "export PATH=$PATH:$JAVA_HOME/bin">>/etc/profile

    #source /etc/profile

    提示以下信息显示配置java成功

     

7、设置HADOOP路径

     #echo "export HADOOP_HOME=/opt/hadoop/hadoop-2.8.1">>/etc/profile

     #echo "export PATH=.:$HADOOP_HOME:$PATH">>/etc/profile

    #source /etc/profile

8、修改目录权限

    #chown hadoop:hadoop /opt/ -R

9、通过虚拟机镜像生成剩余操作系统

     

     


    

    根据以上步骤,依次完成剩余四台机器的创建。


10、依次修改每台机器的主机名、IP地址,并重启服务器

11、 配置集群间无密码SSH登陆

       配置集群各个节点之间的ssh无密码互信,也就是从master开始,sshmasterlocalhost)、slave01slave02上都不需要密码,反向sshmaster

       #su - hadoop

       

      注意登录将.ssh的权限修改成700,把authorized_keys的权限修改成644

在每台机器生成公钥,然后将每台机器的公钥写入到authorized_keys文件中。同时将authorized_keys拷贝到每台机器


             当普通用户无法建立ssh信任关系时,请参考此博文进行修改

http://www.cnblogs.com/qcly/archive/2013/07/27/3219535.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!为了准备Hadoop环境,您需要执行以下步骤: 1. 安装Java:Hadoop是用Java编写的,因此您需要安装Java Development Kit(JDK)。您可以从Oracle官方网站下载并安装适合您操作系统的JDK版本。 2. 下载Hadoop:您可以从Apache Hadoop官方网站下载最新的稳定版本。选择适合您操作系统的二进制版本。 3. 解压Hadoop压缩文件:将下载的Hadoop二进制文件解压到您选择的目录。 4. 配置环境变量:打开您的bash配置文件(例如.bashrc或.bash_profile)并添加以下行: ``` export HADOOP_HOME=/path/to/your/hadoop/directory export PATH=$PATH:$HADOOP_HOME/bin ``` 保存更改后,执行`source`命令以使更改生效,或者重新启动终端。 5. 配置Hadoop:进入Hadoop目录,并编辑`etc/hadoop/hadoop-env.sh`文件。设置`JAVA_HOME`为您安装的JDK路径。 6. 配置核心Hadoop文件:编辑`etc/hadoop/core-site.xml`文件,设置Hadoop的核心配置参数,如文件系统URL和Hadoop临时目录。 7. 配置HDFS:编辑`etc/hadoop/hdfs-site.xml`文件,设置HDFS相关配置参数,如副本数量和数据块大小。 8. 启动Hadoop集群:通过运行以下命令启动Hadoop集群: ``` $HADOOP_HOME/sbin/start-dfs.sh $HADOOP_HOME/sbin/start-yarn.sh ``` 这将启动HDFS和YARN。 这些步骤将帮助您准备Hadoop环境。请根据您的具体需求进行适当的配置和调整。祝您成功搭建Hadoop环境!如果您有任何疑问,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值