hadoop（二）：配置与简单使用

最新推荐文章于 2022-10-21 17:01:01 发布
最新推荐文章于 2022-10-21 17:01:01 发布
阅读量330 收藏
点赞数
分类专栏： 大数据_环境
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39532362/article/details/90203944
版权

hadoop（二）：配置与简单使用

path

$hadoop_HOME/etc/hadoop

core-site.xml

<configuration>
    <!-- HDFS（分布式文件储存系统）的NameService,是NameNode的URL -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
    </property>


    <!-- 用于序列文件缓冲区的大小，决定读写操作期间缓存了多少数据 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>


    <!-- hadoop临时文件目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/tmp/hadoop</value>
    </property>


    <!-- 指定可以在任何ip访问 -->
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>


    <!-- 指定所有账号可以访问 -->
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>


    <!-- 指定zookeeper地址及端口 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>


    <!-- text 
    <property>
        <name></name>
        <value></value>
    </property>
    -->
</configuration>

hdfs-site.xml

<configuration>
    <!-- 指定HDFS的NameService,与core-site.xml保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
    </property>


    <!-- 设置cluster1下面的NameNode -->
    <property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>nna,nns</value>
    </property>


    <!-- RPC通讯地址 -->
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nna</name>
        <value>nna:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nns</name>
        <value>nns:9000</value>
    </property>


    <!-- 指定HTTP通讯地址 -->
    <property>
        <name>dfs.namenode.http-address.cluster1.nna</name>
        <value>nna:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.cluster1.nns</name>
        <value>nns:50070</value>
    </property>


    <!-- 指定NameNode的元数据在JournamNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>
        	qjournal://dn1:8485;dn2:8485;dn3:8485/cluster1
        </value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/tmp/journal</value>
    </property>


    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.cluster1</name>
        <value>
        	org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        </value>
    </property>


    <!-- 配置隔离机制 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    

    <!-- 使用隔离机制是需要ssh免密 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rea</value>
    </property>


    <!-- 指定支持高可用自动切换机制 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>


    <!-- NameNode名称空间存储地址 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/tmp/dfs/name</value>
    </property>


    <!-- DataNode数据存储地址 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/tmp/dfs/data</value>
    </property>


    <!-- 数据冗余分数 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>


    <!-- 是否可通过web访问的HDFS目录 -->
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    

    <!-- 保证数据恢复，通过0.0.0.0保证，则可以兼顾内外网访问 -->
    <property>
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
    </property>
    <property>
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
    </property>


    <!-- 通过ZKFailoverController来实现自动故障切换 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>


    <!-- text 
    <property>
        <name></name>
        <value></value>
    </property>
    -->
</configuration>

mapred-site.xml

<configuration>
    <!-- 计算任务托管的资源管理名称 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>


    <!-- 配置MapReduce JobHistory Server 地址，默认端口10020 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>


    <!-- 配置MapReduce JobHistory Server Web 地址，默认端口19888 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>


    <!-- text 
    <property>
        <name></name>
        <value></value>
    </property>
    -->
</configuration>

yarn-site.xml

<configuration>
    <!-- RM(Resource Manager)失联后重新连接的时间 -->
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>


    <!-- 开启RM HA,默认为false -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>


    <!-- 配置RM -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>


    <!-- 开启故障自动切换 -->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>


    <!-- rm1配置开始 -->
    <!-- 配置Resource Manager 主机别名rm1 角色为NameNode Active -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>nna</value>
    </property>


    <!-- 配置Resource Manager 主机别名rm2 角色为NameNode Active -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>nns</value>
    </property>


    <!-- nna配置rm1，nns配置rm2 -->
    <property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
    </property>


    <!-- 开启自动恢复功能 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>


    <!-- 配置与zookeeper的连接地址 -->
    <property>
        <name>yarn.resourcemanager.zk-state-store.address</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>


    <!-- 用于持久化RM实现，基于zookeeper实现 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>


    <!-- zookeeper地址用于RM实现状态存储，以及HA的设置 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>


    <!-- 集群ID标识 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster1-yarn</value>
    </property>


    <!-- schelduler失联等待连接时间 -->
    <property>
        <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
        <value>5000</value>
    </property>

    
    <!-- 不同的RM主机配置=================================== -->
    <!-- 配置rm1，其应用访问管理接口 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>nna:8132</value>
    </property>


    <!-- 调度接口地址 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>nna:8130</value>
    </property>


    <!-- RM的Web访问地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>nna:8188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tarcker.address.rm1</name>
        <value>nna:8131</value>
    </property>
    

    <!-- RM管理员接口地址 -->
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>nna:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.ha.address.rm1</name>
        <value>nna:23142</value>
    </property>
    <!-- 不同的RM主机配置=================================== -->
    <!-- rm1配置结束 -->
    
    
    <!-- rm2配置开始 -->
    <!-- 不同的RM主机配置=================================== -->
    <!-- 配置rm1，其应用访问管理接口 -->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>nns:8132</value>
    </property>


    <!-- 调度接口地址 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>nns:8130</value>
    </property>


    <!-- RM的Web访问地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>nns:8188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tarcker.address.rm2</name>
        <value>nns:8131</value>
    </property>
    

    <!-- RM管理员接口地址 -->
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>nns:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.ha.address.rm2</name>
        <value>nns:23142</value>
    </property>
    <!-- 不同的RM主机配置=================================== -->
    <!-- rm2配置结束 -->

    <!-- NM(NodeManager)的附属服务，需要设置成mapreduce_shuffle才能运行MapReduce任务 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>


    <!-- 配置shuffle处理类 -->
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>


    <!-- NM本地文件路径 -->
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/tmp/yarn/local</value>
    </property>


    <!-- NM日志存放地址 -->
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/tmp/log/yarn</value>
    </property>


    <!-- ShuffleHandler 运行服务端口，用于 Map 结果输出到请求 Reducer -->
    <property>
        <name>mapreduce.shuffle.port</name>
        <value>23080</value>
    </property>


    <!-- 故障处理类 -->
    <property>
        <name>yarη.client.failover.proxy.provider</name>
        <value>org.apache.hadoop.yarn.client.ConfigureRMFailoverProxyProvider</value>
    </property>


    <!-- 故障自动转移的zookeeper路径地址 -->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
        <value>yarn-leader-election</value>
    </property>


    <!-- 查看任务调度进度，在nns节点上需要将访问地址修改为http://nns:9001 -->
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>http://nna:9001</value>
    </property>


    <!-- 启动聚合操作日志 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>


    <!-- 指定日志在HDFS上的路径 -->
    <property>
        <name>yean.nodemanager.remote-app-log-dir</name>
        <value>/data/tmp/dfs/logs</value>
    </property>
    <property>
        <name>yean.nodemanager.remote-app-log-dir-suffix</name>
        <value>logs</value>
    </property>


    <!-- 聚合后的日志在HDFS上保存多长时间，单位为秒 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>259200</value>
    </property>


    <!-- 删除任务的HDFS上执行的间隔，执行时候将满足掉件的日志删除 -->
    <property>
        <name>yarn.log-aggregation.retain-check-interval-seconds</name>
        <value>3600</value>
    </property>


    <!-- RM浏览器代理端口 -->
    <property>
        <name>yarn.web-proxy.address</name>
        <value>nna:8090</value>
    </property>


    <!-- 配置Fair调度策略 -->
    <property>
        <description>
            CLASSPATH for YARN applications . A comma-separated list of CLASSPATH entries. When th value is empty , the following default 
            CLASSPATH for YARN applications would be used . 
            For Linux: 
            $HADOOP_CONF DIR, 
            $HADOOP_COMMON_HOME/share/hadoop/common/*,
            $HADOOP COMMON HOME/share/hadoop/common/l/*,
            $HADOOP_HDFS_HOME/share/hadoop/hdfs*,
            $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
            $HADOOP_YARN_HOME/share/hadoop/yarn/*, 
            $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*
        </description>
        <name>yarn.application.classpath</name>
        <value>
            /data/soft/new/hadoop/share/hadoop/common/*,
            /data/soft/new/hadoop/share/hadoop/common/lib/*,
            /data/soft/new/hadoop/share/hadoop/hdfs/*,
            /data/soft/new/hadoop/share/hadoop/hdfs/lib/*,
            /data/soft/new/hadoop/share/hadoop/yarn/*,
            /data/soft/new/hadoop/share/hadoop/yarn/lib/*
        </value>
    </property>


    <!-- 配置 Fair 调度策略指定类 -->
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>


    <!-- 启动RM系统监控 -->
    <property>
        <name>yarn.resourcemanager.system-metrics-publisher.enabled</name>
        <value>true</value>
    </property>


    <!-- 指定调度策略配置文件 -->
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>/data/soft/hadoop-3.2.0/etc/hadoop/fair-scheduler.xml</value>
    </property>


    <!-- 每个NodeManager节点分贝没存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>


    <!-- 每个NodeManager节点分配的cpu核数 -->
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>


    <!-- 物理内存和虚拟内存比率 -->
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4.2</value>
    </property>


    <!-- text 
    <property>
        <name></name>
        <value></value>
    </property>
    -->
</configuration>

fair-scheduler.xml

<?xml version="1.0"?>
<allocations>
    <queue name="root">
        <!-- 默认队列 -->
        <queue name="default">
            <!-- 允许最大App运行数 -->
            <maxRunningApps>10</maxRunningApps>
            <!-- 分配最小内存和CPU -->
            <minResources>1024mb,1vcores</minResources>
            <!-- 分配最大内存和CPU -->
            <maxResources>2048mb,2vcores</maxResources>
            <!-- 调度策略 -->
            <schedulingPolicy>fair</schedulingPolicy>
            <weight>1.0</weight>
            <aclSubmitApps>hadoop</aclSubmitApps>
            <aclAdministerApps>hadoop</aclAdministerApps>
        </queue>

        <!-- 配置hadoop用户队列 -->
        <queue name="hadoop">
            <!-- 允许最大App运行数 -->
            <maxRunningApps>10</maxRunningApps>
            <!-- 分配最小内存和CPU -->
            <minResources>1024mb,1vcores</minResources>
            <!-- 分配最大内存和CPU -->
            <maxResources>3072,3vcores</maxResources>
            <!-- 调度策略 -->
            <schedulingPolicy>fair</schedulingPolicy>
            <weight>1.0</weight>
            <aclSubmitApps>hadoop</aclSubmitApps>
            <aclAdministerApps>hadoop</aclAdministerApps>
        </queue>

        <!-- 配置queue_1024_01 用户队列 -->
        <queue name="hadoop">
            <!-- 允许最大App运行数 -->
            <maxRunningApps>10</maxRunningApps>
            <!-- 分配最小内存和CPU -->
            <minResources>1000mb,1vcores</minResources>
            <!-- 分配最大内存和CPU -->
            <maxResources>2048,2vcores</maxResources>
            <!-- 调度策略 -->
            <schedulingPolicy>fair</schedulingPolicy>
            <weight>1.0</weight>
            <aclSubmitApps>hadoop,user1024</aclSubmitApps>
            <aclAdministerApps>hadoop,user1024</aclAdministerApps>
        </queue>
    </queue>

    <fairSharePreemptionTimeout>600000</fairSharePreemptionTimeout>
    <defaultMinSharePreemptionTimeout>600000</defaultMinSharePreemptionTimeout>
</allocations>

hadoop-env.sh

export JAVA_HOME=/data/soft/jdk1.8.0_211

yarn-env.sh

export JAVA_HOME=/data/soft/jdk1.8.0_211

workers

追加

dn1
dn2
dn3

启动JournalNode

2选1

  • 任意NameNode上启动JournalNode进程
    hadoop-daemons.sh start journalnode
  • 在每个DataNode分别启动JournalNode进程
    hadoop-daemons.sh start journalnode

格式化NameNode

hdfs namenode -format

向zookeeper注册ZNode

hdfs zkfc -formatZK

启动分布式文件系统

start-dfs.sh

启动YARN进程

start-yarn.sh
jps: 列出本机java进程

nns同步nna元数据

[hadoop@nns ~]$ hdfs namenode -bootstrapStandby
[hadoop@nns ~]$ hadoop-daemon.sh start namenode
[hadoop@nns ~]$ yarn-daemon.sh start resourcemanager

网址查看集群信息

hadoop:http://nna:50070/
yarn:http://nna:8188/

上传

[hadoop@nna~]$ hdfs dfs -put helloworld.txt /home/hdfs/test

查看

[hadoop@nna~]$ hdfs dfs -cat /home/hdfs/test/helloworld.txt

下载

[hadoop@nna~]$ hdfs dfs -get /home/hdfs/test/helloworld.txt ./

删除

[hadoop@nna~]$ hdfs dfs -rm -r /home/hdfs/test/helloworld.txt
[hadoop@nna~]$ hdfs dfs -rm -r /home/hdfs/test

集群运行状态

[hadoop@nna~]$ hdfs dfsadrnin -report
[hadoop@nna~]$ hdfs version

zk仔的博客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop基本用法回顾
beautiful_girl_love的博客
02-21 5126
研一时，跟着老师写完了一个大数据项目，现在不怎么写了，发现很多东西都忘了，还要从网上找资料，从今天起，开始多写博客，每天更新一篇作为记录 今天复习hadoop的基本用法：【配置ubuntu启动环境说明，本人的hadoop ubuntu虚拟机已经配置好了】（hdfs-site.xml，core-site.xml，mapred-site.xml已经配置好了，本次是设置ubuntu快捷启动和eclip...
基于Ubuntu的Hadoop简易集群安装与配置
08-19
基于Ubuntu的Hadoop简易集群安装与配置，三台运行于Vmware中的ubuntu14.04系统搭建成简易Hadoop分布式集群，用于之后的大数据学习
Hadoop的简单使用
weixin_34290631的博客
02-16 187
  Hadoop的简单使用 使用Hadoop提供的命令行，向文件系统中创建一个文件。   ./hadoop fs -put temp.txt hdfs://localhost:8888/   说明： ./hadoop 是bin目录下 fs 表明对文件系统进行操作 -put 就是传输 temp.txt 是我要传输的文件 ...
简单使用hadoop
Gscsd的博客
04-02 542
我们在前面搭建好hadoop后，接下来就要使用该hadoop了，但是在hadoop下面什么都没有，连根目录都没有，这都要我们来创建  首先使用          hadoop  fs -mkdir -p /user/gscsd我们在这里使用-p是逐步创建，先创建根目录/，然后在创建user目录，user目录下又创建了gscsd目录我们来查看下，看到以下这个就说明我们已经创建好目录了然后我们再接着上...
hadoop集群系类---hadoop命令的简单使用（超详细！！！）
m0_50293032的博客
09-26 232
大家好！欢迎大家来打胖大牛hadoop集群课程第二课，今天向大家介绍下hadoop的部分操作命令： 目录：1. 基本语法1.1命令大全2.常用命令实操2.1 -help：输出这个命令参数2.2 创建/sanguo 文件夹为后续操作方便1）-moveFromLocal：从本地剪切粘贴到 HDFS(本地就没有了)2）-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去3）-put：等同于 copyFromLocal，生产环境更习惯用 put4）-appendToFile：追加一个文件到已经
hadoop的基本使用
qq_15156403的博客
01-10 383
# create input files  mkdir input echo "Hello Docker" &gt;input/file2.txt echo "Hello Hadoop" &gt;input/file1.txt # create input directory on HDFS hadoop fs -mkdir -p input # put input files to HDFS...
单节点运行hadoop环境配置.docx
09-18
在配置单节点Hadoop环境时，首先需要确保你的系统已经具备了Java环境，因为Hadoop是基于Java开发的分布式计算框架。这里选择了Java 1.6.32版本进行安装。你可以从Oracle官方网站下载对应的Linux i586版本的bin文件。...
hadoop基于Linux7的安装配置图文详解
09-14
9. **Hadoop配置**： - 编辑`etc/hadoop`目录下的配置文件，如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, 和 `yarn-site.xml`，设置相关的参数，如HDFS的名称节点、数据节点，MapReduce的资源管理器等...
Hadoop技术-HBase安装与配置.pptx
11-02
Hadoop技术-HBase安装与配置是一项关键的任务，尤其对于那些希望构建大数据处理平台的IT专业人员来说。HBase，作为Apache Hadoop生态系统中的一个分布式、高性能的NoSQL数据库，为半结构化数据提供了高可靠性和低...
Hadoop简介以及配置文件
最新发布
04-18
Hadoop提供了简单的编程模型能够对大量的数据进行分布式处理(The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers ...
Hadoop的基本配置及HDFS的简单使用
王大涛的博客
07-03 718
Hadoop学习笔记，Hadoop的配置及HDFS的基本使用
Hadoop的简单介绍
qq_41975699的博客
12-07 436
1. Hadoop的起源： Hadoop最早起源与Nutch。Nutch在构建大型的具有网页抓取、索引 、查询等功能的全网搜索引擎时，随着抓取网页数量的增加，遇到了严重的可扩展问题----如何解决大量网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文：分布式文件系统（GFS），可用于存储海量网页的存储；分布式计算框架（MAPREDUCE），可用于处理海量网页的索引计算问题...
Hadoop 超简单配置
Solidfish的专栏
08-05 2390
下载一个hadoop版本，本人从官网上下载最新的版本hadoop-1.0.3。 本人将压缩包放置于到用户目录下 /home/username/ tar -xzvf hadoop-x.y.z-bin.tar.gz 进入hadoop-1.0.3/conf 目录，改写配置文件 hadoop-env.sh 配置java运行路径 export JAVA_HOME=/usr/l
Hadoop ssh配置设置
weixin_30468137的博客
01-21 163
一. 配置机器名 配置/etc/hosts和/etc/sysconfig/network 注意：NameNode的hosts文件必须有其slaves指定的所有节点的机器名 二. ssh设置 （hadoop中需要在namenode 和 datanode 中直接连接集群内的机器，需要配置ssh） NameNode节点运行 ssh-keygen -t dsa -P '' -f ~/....
课堂笔记: 配置zookeeper（zk）并创建第一个hadoop项目
howard789的博客
08-02 1283
zookeeper的配置： 1. 环境变量，在home目录下的 bashrc文件里加入zookeeper的环境变量 在zookeeper解压缩后的目录下，进入conf目录，创建一个zoo.cfg的档案 档案内容 # The number of milliseconds of each t
hadoop下ssh的配置
cnbird's blog
12-15 1525
centos系统自带ssh，版本为openssh4.3 免密码ssh设置（合适的权限很重要） 登入hadoop账户，建立ssh文件夹    mkdir .ssh 现在确认能否不输入口令就用ssh登录本机: $ ssh namenode 如果不输入口令就无法用ssh登陆namenode，执行下面的命令： $ ssh-keygen -t rsa –f ~/.ssh/id_rsa  回车设
Hadoop基础 - SSH配置
myt0929的专栏
05-20 308
  ssh 用来无秘钥登录的，hadoop集群工作的时候，在启动dfs和yarn时，需要多次输入密码，不但启动本机进程还有辅服务器启动那些节点也需要相应密码，主与辅服务器之间是通过SSH连接的，并发送操作指令。   比如两台服务器A、B，A要通过SSH远程B，A首先本地生成公钥私钥对，将公钥发送给B，B收到A的公钥后加入到自己授权列表中。此时A、B公钥私钥对配置完成   内部流程：在A请求远程...
hadoop 端口
JackLi31742的博客
12-07 386
http://www.zhixing123.cn/ubuntu/40649.html
ZK集群搭建和Hadoop单机版及Java API简单操作
qq_44654974的博客
10-21 818
zk、Hadoop的入门使用
hdfs实验.pdf
12-20
通过这个实验，学习者可以逐步了解Hadoop开发环境的配置和使用，以及如何在Eclipse中创建和运行一个简单的Java项目。这对于理解和掌握Hadoop生态系统的基础知识至关重要。同时，这也强调了在正确环境中管理开发工作...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值