单机伪分布式环境搭建(配置Hadoop)

1、解压Hadoop压缩包


2、配置Hadoop

 /opt/modules/hadoop-2.5.0/etc/hadoop/Hadoop-env.sh



/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh


/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh 



在这3个文件中都配置

export JAVA_HOME=/opt/modules/jdk1.7.0_67

3、与hdfs相关的配置

 1>core-site.xml

<!--NameNode地址,8020是指定进程8020,访问入口-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://bigdata.ibeifeng.com:8020</value>

    </property>

 

 

<!--hadoop在运行时产生的文件,元数据在本地的存放目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.5.0/data</value>

</property>



2>hdfs-site.xml

<!--存放到hdfs上的文件的副本数,伪分布式配置为1 -->

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>



 3)格式化namenode  只格式化一遍,不要重复格式化

    ${HADOOP_HOME}目录下:

$ bin/hdfs namenode -format


4)启动hdfs守护进程

$ sbin/hadoop-daemon.sh start namenode  //启动namenode进程



$ sbin/hadoop-daemon.sh start datanode    //启动datanode


jps查看进程是否启动


5)HDFS文件系统常用命令

$ bin/hdfs dfs -rm -R  /文件名  删除文件命令

$ bin/hdfs dfs -mkdir -p  /文件名  创建文件命令

$ bin/hdfs dfs -ls  /        查看所有文件命令

$ bin/hdfs dfs -put /原文件路径 /目标路径   上传文件命令

4.配置YARN  任务调度 (Mapreduce) 资源管理(resourcemanager nodemanager

${HADOOP_HOME}/etc/hadoop目录下配置yarn-site.xml

=======yarn-site.xml=====

<!-- 指定ResorceManager所在服务器的主机名-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>[hostname]</value>

</property>

 

<!-- 指明在执行MapReduce的时候使用shuffle-->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>


复制并重名模板文件

$ cp  mapred-site.xml.template  mapred-queues.xml

=======mapred-site.xml=====

${HADOOP_HOME}/etc/hadoop目录下配置mapred-site.xml

 

<!-- 指定MapReduce基于Yarn来运行-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

 

 

4.启动hdfs yarn进程

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

5.配置日志聚合

=======mapred-site.xml=========

**追加到原来配置和后面

<property>

<name>mapreduce.jobhistory.address</name>

<!--配置实际的主机名和端口-->

<value>[hostname]:10020</value>

</property>

 

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>[hostname]:19888</value>

</property>



==============yarn-site.xml=======

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!--日志保存时间-->

<property>


<name>yarn.log-aggregation.retain-seconds</name>

<value>86400</value>

</property>



6.停止所有进程重新启动,以便配置文件生效

1)停止进程

$ sbin/hadoop-daemon.sh stop namenode

$ sbin/hadoop-daemon.sh stop datanode

$ sbin/yarn-daemon.sh stop resourcemanager

$ sbin/yarn-daemon.sh stop nodemanager

2)启动进程

$ sbin/hadoop-daemon.sh start namenode

$ sbin/hadoop-daemon.sh start datanode

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

3)启动历史

启动历史服务

$ sbin/mr-jobhistory-daemon.sh start historyserver




评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值