伪分布式简单配置

最新推荐文章于 2024-07-28 20:13:01 发布

JINGXI6

最新推荐文章于 2024-07-28 20:13:01 发布

阅读量299

点赞数

分类专栏： HADOOP

本文链接：https://blog.csdn.net/qq_41922058/article/details/81255591

版权

HADOOP 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

基本环境

Linux，jdk

开始配置hadoop

首先配置hadoop环境变量

sudo vim/etc/profile.d/hadoop.sh
export HADOOP_HOME=/yourhadoop/bin
Export PATH=$PATH:$HADOOP_HOME
Sudo source /etc/profile

伪分布式配置

Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:
cd /yourhadoop/etc/hadoop/

1.vim hadoop-env.sh

export JAVA_HOME=/usr/yourjdk/bin

Pseudo-Distributed Operation
Configuration
2.core-default.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
</configuration>

3.etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>        //副本数量
    </property>
</configuration>

4.etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5.etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置ssh信任

Ssh-keygen t rsa -P “12345678”

Ssh-copy-id yourmc

Ssh-agent bash
Ssh-add

基本的配置属性介绍

1.core-default.xml
hadoop.tmp.dir // 其他临时目录的基础。
fs.defaultFS // 默认文件系统的名称 namenode 节点地址
fs.trash.interval //检查点被删除之前的分钟数。如果为零，则禁用垃圾箱功能。可以在服务器和客户端上配置此选项。如果在服务器端禁用垃圾，则检查客户端配置。如果在服务器端启用了垃圾箱，则使用服务器上配置的值，并忽略客户端配置值。
fs.trash.checkpoint.interval //垃圾检查点之间的分钟数。应该小于或等于fs.trash.interval。如果为零，则将该值设置为fs.trash.interval的值。每次检查点运行时，它都会创建一个新的检查点，并删除超过fs.trash.interval分钟前创建的检查点。

2.hdfs-default.xml
dfs.namenode.secondary.http-address 0.0.0.0:50090 //The secondary namenode http server address and port.
dfs.namenode.name.dir //镜像目录
dfs.datanode.data.dir //真正文件目录
dfs.namenode.edits.dir //日志目录
dfs.datanode.data.dir //保存正式数据的目录
dfs.replication //默认副本数量为3
dfs.blocksize //新文件块大小，默认128M，134217728b
dfs.client.block.write.retries //在我们向应用程序发出故障信号之前，将块写入数据节点的重试次数,默认为3
dfs.heartbeat.interval //以秒为单位确定datanode心跳间隔，默认为3s
dfs.hosts //命名一个文件，其中包含允许连接到namenode的主机列表。必须指定文件的完整路径名。如果值为空，则允许所有主机。
dfs.hosts.exclude //命名一个文件，其中包含不允许连接到namenode的主机列表。必须指定文件的完整路径名。如果值为空，则不排除任何主机。

3.mapred-default.xml
mapreduce.framework.name //The runtime framework for executing MapReduce jobs. Can be one of local, classic or yarn.

4.yarn-default.xml
yarn.resourcemanager.hostname //The hostname of the RM.
yarn.nodemanager.hostname //The hostname of the NM.
yarn.nodemanager.aux-services.mapreduce_shuffle.class