centos下运行hadoop的wordcount实例

最新推荐文章于 2022-04-29 11:02:54 发布
最新推荐文章于 2022-04-29 11:02:54 发布
阅读量2k 收藏 9
点赞数 1
文章标签： hadoop centos hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huisenling126/article/details/121460777
版权
在CentOS7系统中，使用Hadoop2.8.0版本，通过启动Hadoop及YARN组件，创建本地文本文件并上传至HDFS，运行内置的WordCount程序进行词频统计，最后查看处理结果。
摘要由CSDN通过智能技术生成

centos下运行hadoop自带的wordcount实例

我的版本：Centos7；JDK1.8.0；Hadoop2.8.0

一、步骤

1.启动hadoop及yarn功能组件，查看jps进程数

代码如下：

start-dfs.sh
start-yarn.sh

部分命令图片示例：
在这里插入图片描述

yarn主要功能是向ResourceManager申请计算资源并和NodeManager交互来执行和监控具体的task

2.在虚拟机本地创建文本文件

vim编辑文本内容，我是在根目录创建的


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  huisenling126
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
CentOS安装Hadoop并运行WordCount实例

				
			

			

				

					puweilan的专栏
				

				

					10-16
					
					2134
					
				

			

		

		

			
				
整个配置过程参考http://hadoop.apache.org/docs/r0.19.2/cn/index.html
Linux系统是CentOS6.2

1. 安装jdk。在oracle上下载最新jdk的rpm包，双击安装。系统默认安装到了/usr/java/jdk1.7.0_07文件夹里。
2. 在apache下载最新稳定版hadoop，我下的是hadoop-1.0.3.tar.gz

			
		

	



                

              
                



	

		

			

				
					
centos下配置hadoop环境并运行wordcount程序

				
			

			

				

					10-19
				

			

		

		

			
				
最详细hadoop配置教程！centos下完美运行wordcount程序，从无到有，初学者必备！我自己亲自试了一遍并加以修改，准确无误～

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop系列－－Hadoop自带程序wordcount运行示例

				
			

			

				

					高自强的博客
				

				

					08-11
					
					1694
					
				

			

		

		

			
				
1 准备工作　　先启动Hadoop。 
1.格式化HDFS 
　　
  bin/hadoop namenode -format
2.启动Hadoop
  bin/start-all.sh
3.验证是否完全启动 
　　使用jps命令，若显示出六项进程的状态，则说明启动成功。2 运行步骤1.建立检测文件夹file 
　　在适当位置创建一个文件夹file，并创建两个待检测的文件。 
　　例如，我在$HAD

			
		

	





	

		

			

				
					
CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序

				
			

			

				

					sophiaFXR的博客
				

				

					07-05
					
					2544
					
				

			

		

		

			
				
CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序
1  准备工作
1.1  创建输入输出路径
首先在hdfs中创建数据目录，用来指定运行wordcount程序的输入输出路径。Hadoop命令在hadoop文件夹下的bin目录下，可通过如下命令查看：
命令：ll  /usr/local/hadoop/bin
查看结果如图1所示：

图1  查找hadoop

			
		

	



		

			
		



	

		

			

				
					
运行hadoop自带wordcount例子

				
			

			

				

					web18334137065的博客
				

				

					04-29
					
					978
					
				

			

		

		

			
				
说在前面
一直又想写博客的想法，而自己又太懒，感觉也写不出来什么。恰巧在工作中花了较多时间来搭建Ambari和hadoop环境，集成了ldap、kerberos、hue、es等等；正好借这个机会开始写博客吧，把自己遇到的问题及经验分享出来，希望自己能坚持下来。
环境配置
系统环境Centos6.5，Ambari 2.5.1，HDP2.6，开启了Kerberos服务
1、首先要认识到：hadoop的输入输出都是在hdfs文件系统上的，而hdp自带的wordcount例子需要有输入文件，所以需要先上传输入文件到

			
		

	





	

		

			

				
					
Centos7(GUI)下的hadoop与eclipse的连接并运行wordcount实例

				
			

			

				

					qq_45672631的博客
				

				

					11-01
					
					1272
					
				

			

		

		

			
				
hadoop伪分布式配置hadoop的伪分布环境搭建（hadoop-2.7.5）_qq_45672631的博客-CSDN博客

hadoop分布式配置

hadoop-2.7.5（分布式集群搭建）_qq_45672631的博客-CSDN博客

在确定hadoop配置没有问题的前提下，本次操作是在Centos7GUI版下进行的，eclipse2021.09 linux版，hadoop-eclipse-plugin-2.7.5.jar（插件用来eclipse与hadoop连接的java包），这里涉及到eclip

			
		

	





	

		

			

				
					
Centos7搭建Hadoop 2.X伪分布式环境并运行wordcount MapReduce示例

				
			

			

				

					khxu666的博客
				

				

					05-15
					
					4618
					
				

			

		

		

			
				
1. 下载Hadoop

在 Apache的 Hadoop项目界面找到hadoop的 hadoop下载地址 
因为直接从Apache官方下载文件速度很慢，所以在表格下面选择别的镜像站地址。 
在弹出的界面中会推荐一个下载速度很快的国内镜像站。 


 
选择其中某个版本的hadoop下载，因为现在市面上绝大部分的学习资料都是以hadoop 2.x 为基础，所以推荐大家下载hadoop 2.x的版本...

			
		

	





	

		

			

				
					
基于centos的大数据hadoop集群搭建说明文档

					
最新发布

				
			

			

				

					10-30
				

			

		

		

			
				
【标题】：基于CentOS的大数据Hadoop集群搭建详解  【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。  【标签】：Hadoop集群搭建  【正文】：  Hadoop是一个开源的分布式...

			
		

	





	

		

			

				
					
【云计算】Hadoop，测试wordcount

				
			

			

				

					清宵尚温的博客
				

				

					11-02
					
					1224
					
				

			

		

		

			
				
《云计算》课程报告
课程实验题目：hadoop的测试	时间：15周-18周
一、	课程实验目的与要求

熟练掌握Linux的相关命令并会配置java环境。
学会安装Hadoop并配置Hadoop的环境。
深入理解MapReduce并会进行Hadoop的编程。
熟练搭建平台和环境，能执行MapReduce实例，同时会使用自带工具TestDFSIO来测试I/O。
二、	课程实验内容
Install V...

			
		

	





	

		

			

				
					
hadoop的wordcount实例代码

				
			

			

				

					08-28
				

			

		

		

			
				
主要介绍了hadoop的wordcount实例代码，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下

			
		

	





	

		

			

				
					
运行hadoop自带的word count小案例

				
			

			

				

					浅陌夏初。的博客
				

				

					10-08
					
					3480
					
				

			

		

		

			
				
1. 创建一个文件上传目录
1）首先进入到hadoop文件夹下（命令：cd  /usr/local/hadoop）；
2）创建目录“/test/wordcount”，用来存放hadoop自带的wordcount例子的数据文件。

bin/hadoop  fs  -mkdir -p  /test/wordcount   （创建上传文件目录）
bin/hadoop  fs  -ls /   （查看创建...

			
		

	





	

		

			

				
					
CentOS下Hadoop搭建与wordcount实例运行

				
			

			

				

					学习印记  Learning imprint
				

				

					01-03
					
					2491
					
				

			

		

		

			
				
最近在学习弄hadoop，遇到很多麻烦，这里记录下来是方便以后回头查看。我用的VMware Workstation 10.0.4下安装的CentOS7
安装配置jdk
java -version看是否安装java
用 env | grep JAVA_HOME 或者echo $JAVA_HOME $PATH 来检查环境变量配置的是否正确，如果没有可以到官网上下载。因为自带的jdk有点问题，我先

			
		

	





	

		

			

				
					
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

				
			

			

				

					
				

				

					09-16
					
					3782
					
				

			

		

		

			
				
环境背景：

Hadoop伪分布式已经搭建完成

Hadoop2.6.0

Hadoop伪分布搭建见：

Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502

案例实施：

1.启动集群：





2.进入虚拟机浏览器地址栏localhost:50070和localhost:8088查看集群状态：






   注：Wordcount是MapRe...

			
		

	





	

		

			

				
					
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法

				
			

			

				

					SylvanDing's Blog
				

				

					12-02
					
					3851
					
				

			

		

		

			
				
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法

			
		

	





	

		

			

				
					
hadoop自带例子wordcount的具体运行步骤

					
热门推荐

				
			

			

				

					xiaokang06的专栏
				

				

					03-17
					
					1万+
					
				

			

		

		

			
				
1.在linux系统中，所在目录“/home/kcm”下创建一个文件夹input
[ubuntu@701~]$ mkdir input
2.在文件夹input中创建两个文本文件file1.txt和file2.txt，file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”(分两行)。
[ubuntu@701

			
		

	





	

		

			

				
					
运行hadoop自带的wordcount例子程序

				
			

			

				

					
				

				

					11-14
					
					125
					
				

			

		

		

			
				
1.准备文件	[root@master ~]# cat input.txt 	hello java	hello python	hello c	hello java	hello js	hello html	hello java	[root@master ~]# hadoop fs -mkdir /input	[root@master ~]# hadoop fs -put input.txt...

			
		

	





	

		

			

				
					
CentOS7虚拟机配置、Hadoop搭建、wordCount DEMO运行

				
			

			

				

					https://www.cnblogs.com/qizhou/
				

				

					12-25
					
					1631
					
				

			

		

		

			
				
安装虚拟机

最开始先安装虚拟机，我是12.5.7版本，如果要跟着我做的话，版本最好和我一致，不然后面可能会出一些莫名其妙的错误，下载链接如下（注册码也在里面了）：

链接：https://pan.baidu.com/s/1qoqeKcgMsjFKPFQFBFP6lg
提取码：2aog

安装虚拟机直接下一步、下一步就好了，没什么可说的，安装好后，虚拟机询问是否更新，点不更新，更新了就改版本了...

			
		

	





	

		

			

				
					
hadoop学习笔记-3-运行wordcount示例

				
			

			

				

					专注
				

				

					11-01
					
					1097
					
				

			

		

		

			
				
1.      启动hadoop，运行命令：start-all.sh
2.      在Linux创建输入目录和文件，
mkdir ~/input
cd ~/input
echo “hello world” > text1.txt
echo “hello hadoop” > text2.txt
3.      将文件目录拷贝至hdfs中的in目录，并查看是否拷贝成功
hadoop f

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值