hadoop2.0的基本配置(修正)

最新推荐文章于 2022-05-02 08:47:57 发布
最新推荐文章于 2022-05-02 08:47:57 发布
阅读量465 收藏
点赞数
分类专栏： 分布式系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/binlixia/article/details/48319335
版权

1、      准备配置hadoop需要的软件

（1）    centos 6.5操作系统

（2）    jdk-7u79-linux-i586.tar.gz

（3）    hadoop-2.2.0-64bit.tar.gz


2、      安装jdk

(1)  解压缩jdk-7u79-linux-i586.tar.gz

执行命令  tar    -zxvf jdk-7u79-linux-i586.tar.gz

 

(2)重命名jdk1.7.0_79为jdk

执行命令  mv  jdk1.7.0_79    jdk

(3)配置环境变量，修改/etc/profile文件，增加以下信息

export  JAVA_HOME=/usr/local/jdk

export  PATH=$PATH:$JAVA_HOME/bin

 

执行命令 vi /etc/profile

(4)让配置立即生效

执行命令  source   /etc/profile


(5)查看是否安装成功

     执行命令    java    -version

3、      修改主机名

执行命令  vi   /etc/sysconfig/network   把文件里面的内容

 NETWORKING=yes                              改为  NETWORKING=yes   

 HOSTNAME=localhost.localdomain                HOSTNAME=hadoop13


4、配置/etc/hosts文件，使域名和ip对应起来

执行命令 vi   /etc/hosts   把文件的内容改为192.168.40.112     hadoop13


5、关闭防火墙，并且不允许防火墙再自动启动

（1）执行命令  service    iptables   stop  关闭防火墙


（2）执行命令  chkconfig   iptables  off    设置防火墙不能自启动



6、设置SSH免密码登录

（1）进入   ~/.ssh 目录，生成密钥和公钥

     执行命令   cd  ~/.ssh


  执行命令  ssh-keygen   -t   rsa  (默认的生成密钥方式是dsa)

     注意：要连续按下几下Enter键，直到出现一个图片的方框为止


（2）把  ~/.ssh/id_rsa.pub  文件放到   ~/.ssh/authorized_keys文件中

  执行命令 cp  ~/.ssh/id_rsa.pub      ~/.ssh/authorized_keys


(3)验证ssh免登录是否配置成功

   执行命令 ssh   hadoop13

7、安装hadoop

（1）进入 /usr/local/目录，解压缩文件hadoop-2.2.0-64bit.tar.gz

  执行命令 tar  -zxvf    hadoop-2.2.0-64bit.tar.gz


(2)重命名hadoop-2.2.0为hadoop

执行命令  mv    hadoop-2.2.0  hadoop


(3)配置环境变量，修改文件/etc/profile,添加hadoop的bin路径和sbin路径

修改的内容如下

  export   JAVA_HOME =/usr/local/jdk

  export   HADOOP_HOME=/usr/local/hadoop

  export    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(4)  让配置立即生效

执行命令  source   /etc/profile

(5)  修改/usr/local/hadoop/etc/hadoop目录下的六个文件夹

       ①修改hadoop-env.sh，这个文件只是修改JAVA_HOME的路径

        即export   JAVA_HOME=/usr/local/jdk

      

         ②修改core-site.xml文件,修改的内容如下

<configuration>

        <!-- 指定HDFS的地址-->

         <property>

             <name>fs.defaultFS</name>

             <value>hdfs://hadoop13:9000</value> 

         </property>

 

         <!-- 指定Hadoop的临时文件-->

         <property>

             <name>hadoop.tmp.dir</name>

             <value>file:/usr/local/hadoop/tmp</value>                 

         </property>

    

         <!-- 指定文件缓冲区的大小-->

         <property>

             <name>io.file.buffer.size</name>

             <value>131072</value>

         </property>

 

         <!-- 配置可以访问的用户名-->

         <property>

             <name>hadoop.proxyuser.local.hosts</name>

              <value>*</value>

         </property>

 

         <!-- 配置可以访问的组-->

         <property>

        <name>hadoop.proxyuser.local.groups</name>

         <value>*</value>

         </property>

</configuration>


            ③修改hdfs-site.xml文件，修改的内容如下

<configuration>

 

         <!--分布式文件系统中的文件冗余数-->

          <property>

            <name>dfs.replication</name>

            <value>1</value>

          </property>

 

           <!--配置secondNameNode的地址-->

             <property>

                    <name>dfs.namenode.secondary.http-address</name>

                    <value>hadoop13:9001</value>

             </property>     

              

           <!--设置namenode存储的位置-->

              <property>

                     <name>dfs.namenode.name.dir</name>

                     <value>file:/usr/local/hadoop/dfs/name</value>

             </property>

 

            <!--设置datanode存储的位置-->

              <property>

                  <name>dfs.datanode.data.dir</name>

                  <value>file:/usr/local/hadoop/dfs/data</value>

              </property> 

 

              <!--设置是否可以用网页来查看hdfs系统-->

              <property>

                   <name>dfs.webhdfs.enabled</name>

                  <value>true</value>

              </property>

 

</configuration>




           ④把mapred-site.xml.template重命名为mapred-site.xml，然后修改里面的内容如下：

<configuration>

       <!--设置用yarn来运行mapreduce程序-->

           <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

          </property>  

 

       <!--mapreduce中job的地址-->

           <property>

              <name>mapreduce.jobhistory.address</name>

              <value>hadoop13:10020</value>

           </property>

         

         <!--网页jobhistory的地址-->

           <property>

             <name>mapreduce.jobhistory.webapp.address</name>

             <value>hadoop13:19888</value>

          </property>

 

</configuration>


             ⑤修改yarn-site.xml文件，修改的内容如下

<configuration>

 

<!-- Site specific YARN configuration properties -->

     <!-- reducer取数据的方式是mapreduce_shuffle -->

      <property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

 

      </property>

 

   <!-- shuffle的类路径 -->

<property>

      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

  <!-- resourcemanager的地址 -->

<property>

      <name>yarn.resourcemanager.address</name>

       <value>hadoop13:8032</value>

</property>

 

    <!-- scheduler的地址 --> 

<property>

      <name>yarn.resourcemanager.scheduler.address</name>

        <value>hadoop13:8030</value>

</property>

 

  <!-- resource-tracker的地址 -->

<property>

      <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>hadoop13:8035</value>

</property>

 

 

<property>

      <name>yarn.resourcemanager.admin.address</name>

       <value>hadoop13:8033</value>

</property>

 

<property>

      <name>yarn.resourcemanager.webapp.address</name>

       <value>hadoop2:8088</value>

</property>

 

 

</configuration>



 

⑥修改slaves文件，这里主要就是datanode的地址，因为配置的是单节点的，所以可以把本机的ip放进去，如果没有的话，将不能存储数据，

                添加的内容如下：

                 hadoop13

                执行vi    slaves


8、格式化分布式文件系统

执行命令    hdfs  namenode  -format(hadoop    namenode  -format已经过时了)


9、启动hadoop

执行命令   start-all.sh

可以先启动start-dfs.sh  ，然后启动start-yarn.sh


10、查看是否启动成功

执行命令  jps，如果出现如下图所示的几个进程，则说明启动成功


总结：

1、安装jdk的时候一定要选择与linux系统相匹配的版本进行安装；

（1）查看linux是多少位的命令如下：

getconf     LONG_BIT


也可以通过uname  -a

如上图所示，没有出现64bit,所以他是32位的系统



（2）查看jdk是32位还是64位

 执行命令   java  -version

如上图，没有出现64bit，所以jdk是32位的



2、如果你使用的jdk版本是1.7,则会出现以下的错误

M: ssh: Could not resolve hostname VM: Nameor service not known

Client: ssh: Could not resolve hostnameClient: Name or service not known

warning:: ssh: Could not resolve hostnamewarning:: Name or service not known

library: ssh: Could not resolve hostnamelibrary: Name or service not known

Java: ssh: Could not resolve hostname Java:Name or service not known

have: ssh: Could not resolve hostname have:Name or service not known

loaded: ssh: Could not resolve hostnameloaded: Name or service not known

You: ssh: Could not resolve hostname You:Name or service not known

have: ssh: Could not resolve hostname have:Name or service not known

might: ssh: Could not resolve hostnamemight: Name or service not known

which: ssh: Could not resolve hostnamewhich: Name or service not known

 

解决的办法：

（1）/etc/profile文件夹中添加一些额外的环境变量：如以下所示

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native （额外添加）

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"（额外添加）

（2）上述问题还可能是由于/usr/local/hadoop/etc/hadoop/slaves里面配置的域名引起的，因为所配置的域名找不到与之对应的ip(默认的配置是localhost,即默认的存储数据的节点只有本地)


3、 如何添加多个datanode节点

Datanode节点主要是在/usr/local/hadoop/etc/hadoop/slaves里面配置的，在该文件可以配置datanode的域名或者ip地址，然后把/usr/local/hadoop整个文件夹发给各个datanode,然后再配置相关的环境变量，在启动hadoop之前，确保datanode节点是出于开机状态，这样才可以存储数据











binlixia
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop简介之望见数据湖
JustinMars的博客
09-28 2578
1 Hadoop概述 随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。 在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
手动搭建Hadoop环境
casepk的专栏
02-02 967
  环境 namenode有2个，datanode有3个。   基础配置 环境变量 .bashrc(怕配覆盖就放.bash_profile中) ============= export PS1="[\u@\h|\w]\\$ "   #alias alias l='ls --group-directories-first --time-style=long-iso -l' a...
Hadoop 2.0 详细配置教程
weixin_33872566的博客
08-02 148
为什么80%的码农都做不了架构师？>>> ...
hadoop2.2.0、HDFS的java访问接口
Baldy_qiang的博客
05-02 180
4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开 发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。 要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点： 确保宿主机与客户机的网络是互通的 确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置
hadoop全分布式搭建5(修改hadoop配置文件）
m0_46220986的博客
04-11 243
hadoop全分布式搭建5(修改hadoop配置文件） 1.创建相关目录 # mkdir /var/hadoop # mkdir /var/hadoop/namenode # mkdir /var/hadoop/disk1 # mkdir /var/hadoop/disk2 # mkdir /var/hadoop/tmp # mkdir /var/hadoop/logs # chmod...
Hadoop 2.2.0 配置文件
03-10
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
解决hadoop：未找到命令；hadoop：未找到命令问题
叶鹤的博客
09-26 1万+
解决hadoop：未找到命令；hadoop：未找到命令问题 做用户指定是追加到原有文件末尾还是覆盖原有的文件这个实验的时候，使用hdfs命令后提示我未找到命令，那我就改成hadoop命令，也未找到命令，最后发现竟然是没有添加Hadoop的环境变量（无语.jpg） 接下来说一下怎么配置Hadoop的环境变量吧 首先无论在哪个目录下在什么时候遇到了这个问题，首先回到Hadoop的目录/usr/local/hadoop下 cd /usr/local/hadoop 然后敲 vim ~/.bashrc 出现这
Hadoop整体框架
爱吃串串的瘦子的博客
07-17 1万+
大数据框架 目录 大数据框架 一、Hodoop 四大组件：HDFS/MapReduce/YARN/Common 二、Zookeeper 三、Hive 四、Spark 五、ETL 六、ngnix 七、Redis 八、Oracle 十一、Jsp/node.js/JQueryEcharts 一、hadoop http://blog.csdn.net/huanglong8/...
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
liu9ang的博客
04-14 893
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。 1 设置容器开启时自运行SSH服务 参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容： vim /root/startup_run.sh chmod +x /root/startup_run.sh 编写startup_run.sh
大数据应用日志采集之Scribe 安装配置指南
大数据基础入门教程
02-12 474
大数据应用日志采集之Scribe安装配置指南 1.概述 Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能从各种日志源收集日志，存储到一个中央存储系统上，便于进行集中统计分析处理。它为日志的”分布式收集，统一处理”提供了一个可扩展的，高容错的方案。scribe代码很简单，但是安装配置却很复杂，本文记录了作者实际的一次安装的过程，感觉真是不一般的琐...
配置hadoop环境
awyo96572的博客
12-04 357
配置hadoop环境 1.安装java环境，具体参照博客 2.创建hadoop用户 2.1 输入如下命令创建新用户 ,这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。 sudo useradd -m hadoop...
Hadoop 里面配置伪分布式运行模式时格式化NameNode注意事项
底层码农
01-27 1万+
  一、首先就是查看进程是否关闭，如果进程没有关闭，就算你删除了 data 和 logs 他又会产生。jps [atguigu@hadoop100 hadoop-2.7.2]$ ll 总用量 76 drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin drwxrwxr-x. 3 atguigu atguigu  4096 1月  27 18:1...
hadoop2.0介绍（一）
热门推荐
guxch的专栏
11-26 1万+
一、概述 现在大数据很“热”，hadoop系列（也称为The Hadoop Project Ecosystem）东西随着也很“热”，不过hadoop也确实有此“资本”，hadoop起源于google的产品，本身就是为海量数据量身定做的。Hadoop大致在2005-2006年成形，经过几年的发展，估计明年能出2.0正式版。2.0版与1.0版有比较大的区别（开源产品的硬伤：随意性比较大），具体来说，
配置Hadoop 伪分布式 _NameNode格式化问题_解决方案
lqy0927的博客
05-31 3342
【Ubuntu 16.04   Hadoop2.9.1】跟着厦大林子雨的实验指南配置伪分布式环境时出现了以下问题：在修改了/etc/hadoop/core-site.xml &amp; /etc/hadoop/hdfs-site.xml后namenode -format时出现 Cannot create directory /Softwares/hadoop/tmp/dfs/name/curren...
Hadoop配置PATH环境变量
qjk19940101的博客
04-24 1万+
Hadoop配置PATH环境变量在这里额外讲一下PATH这个环境变量，通过执行echo $PATH查看上面的教程中都是先进入到/usr/local/hadoop目录中，再执行sbin/hadoop，实际上等同于运行/usr/local/hadoop/sbin/hadoop。可以将hadoop命令的相关目录加入到PATH环境变量中，这样就可以直接通过start-dfs.sh开启Hadoop，也可以直接
Hadoop配置文件参数详解
StarskyBoy的博客
07-02 6889
Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4   etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultFS NameNode URI hdfs://host:port/ io.file.buffer.size 1...
hadoop重命名文件_面试系列：深入理解hadoop架构体系
weixin_31704137的博客
12-27 92
hadoop组件简介官方文档组织的非常清晰，主要由以下四个组件组成:HDFS、map-reduce、yarn、hadoop-commonhdfs架构HDFS分布式文件存储系统，主要特点是：可以运行在普通低成本硬件之上并且具备高容错性(硬件容错)适合高吞吐量的大数据存储，但并不强调低延迟适合一次写，多次读的场景，不支持随机读写；map-reducemap-reduce是一个计算框架，绝大部分的数据处...
Hadoop——重命名文件
QQ331948781的专栏
04-06 6624
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFS_rename { public static void mai
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值