Hadoop伪分布式模式配置并运行wordcount

本文详细介绍了如何在Hadoop伪分布式模式下配置系统,包括安装JDK和Hadoop,修改配置文件如core-site.xml、hdfs-site.xml等,并进行NameNode格式化、服务启动。此外,还演示了运行Wordcount示例并验证结果,以及设置SSH免密码登录以简化操作。
摘要由CSDN通过智能技术生成

Hadoop伪分布式模式配置并运行wordcount


只有一台虚拟机bigdata128,既是namenode又是datanode。

一、基础安装配置
首先要完成jdk+hadoop的安装配置;

此处附上jdk+hadoop的安装配置的连接:
https://blog.csdn.net/Wxp_csdn/article/details/90439386

二、修改以下5个配置文件
在< configuration>与< /configuration>之间添加如下property:
①core-site.xml

<!--配置HDFS主节点,namenode的地址,9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录,一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>

②hdfs-site.xml

<!--注释配置数据块的冗余度,默认是3-->			 
<property>		 
	     <name>dfs.replication</name>		 
	     <value&
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值