十分钟学会hadoop史上最详细安装教程!

1、集群部署规划

注意:NameNode和SecondaryNameNode不要安装在同一台服务器
注意:ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。

2、将hadoop安装包从Xftp上传到/opt/software

3、解压安装文件到/opt/module下面

[xiaobuding@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4、配置环境变量,打开/etc/profile.d/my_env.sh文件

[xiaobuding@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

添加如下代码:

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

5、分发环境变量文件

[xiaobuding@hadoop102 hadoop-3.1.3]$ sudo xsync /etc/profile.d/my_env.sh

6、source生效(3台节点)

[xiaobuding@hadoop102 module]$ source /etc/profile.d/my_env.sh
[xiaobuding@hadoop103 module]$ source /etc/profile.d/my_env.sh
[xiaobuding@hadoop104 module]$ source /etc/profile.d/my_env.sh

7、配置集群

1)核心配置文件

配置core-site.xml

[xiaobuding@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[xiaobuding@hadoop102 hadoop]$ vim core-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为xiaobuding -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>xiaobuding</value>
</property>

<!-- 配置该xiaobuding(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.xiaobuding.hosts</name>
        <value>*<
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值