CentOS6.5搭建hadoop伪分布式集群

搭建伪分布式集群:  1.ssh无密登录    a.在家目录下创建.ssh文件夹,修改文件夹权限为700      $>mkdir ~/.ssh      $>chmod 700 ~/.ssh    b.生成公钥      $>ssh-keygen -t rsa -P '' -f ~/.ssh    c.将公钥添加至认证库,修改authorized_keys的权限为600    ...
摘要由CSDN通过智能技术生成
搭建伪分布式集群:
  1.ssh无密登录
    a.在家目录下创建.ssh文件夹,修改文件夹权限为700
      $>mkdir ~/.ssh
      $>chmod 700 ~/.ssh
    b.生成公钥
      $>ssh-keygen -t rsa -P '' -f ~/.ssh
    c.将公钥添加至认证库,修改authorized_keys的权限为600
      $>cat ~/.ssh/id_rsa.pub >> authorized_keys
      $>chmod 600 ~/.ssh/authorized_keys
    d.验证无密登录自己是否成功
      $>ssh localhost
  2.安装jdk
    a.准备工作:把jdk的**.tar.gz压缩包放在~/soft文件夹下.
      确保系统中没有安装jdk,可以用rpm -qa|grep jdk查看,
      如果有,先将jdk卸载(rpm -e --nodeps jdk**)。
    b.解压jdk
      $>tar -zxf jdk-8u171-linux-x64.tar.gz
    c.创建jdk的软连接
      $>ln -s jdk1.8.0_171/ jdk
    d.配置环境变量 ~/.bash_profile
      $>vim ~/.bash_profile
      添加:
# jdk install
export JAVA_HOME=/home/hadoop/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
    e.使配置文件生效
      $>source ~/.bash_profile
    f.验证java是否配置成功
      $>java -version
      $>javac -version
  3.安装hadoop
    a.准备工作,将hadoop的tar.gz压缩文件放在~/soft文件夹下
    b.解压hadoop,创建软连接
      $>tar -zxf hadoop-2.7.3.tar.gz
      $>ln -s hadoop-2.7.3/ hadoop
    c.配置hadoop的环境变量
      $>vim ~/.bash_profile
      添加:
# hadoop install
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
1. 首先安装Java环境,Hadoop需要Java环境支持,可以使用yum命令安装: ``` yum install java-1.8.0-openjdk-devel.x86_64 ``` 2. 下载Hadoop安装包,可以从官网下载最新版本: ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz ``` 3. 解压Hadoop安装包: ``` tar -zxvf hadoop-3.3.0.tar.gz ``` 4. 配置Hadoop环境变量,在/etc/profile文件中添加以下内容: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使环境变量生效: ``` source /etc/profile ``` 5. 配置Hadoop分布式模式,修改以下配置文件: - /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64 ``` - /usr/local/hadoop/etc/hadoop/core-site.xml ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/mapred-site.xml ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/yarn-site.xml ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration> ``` 6. 格式化Hadoop文件系统,执行以下命令: ``` hdfs namenode -format ``` 7. 启动Hadoop服务,执行以下命令: ``` start-all.sh ``` 8. 查看Hadoop服务状态,执行以下命令: ``` jps ``` 如果输出以下内容,则表示Hadoop服务已经启动成功: ``` 12345 NameNode 23456 DataNode 34567 ResourceManager 45678 NodeManager 56789 Jps ``` 9. 访问Hadoop Web界面,打开浏览器,输入以下地址: ``` http://localhost:9870/ ``` 如果能够正常访问,则表示Hadoop分布式安装成功。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值