Hadoop 集群小案例

最新推荐文章于 2023-06-01 08:13:09 发布
最新推荐文章于 2023-06-01 08:13:09 发布
阅读量570 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72168501/article/details/127492597
版权

文章目录

Hadoop 集群小案例

有些什么小任务都放在里面

一，词频统计

1，第一步，先启动Hadoop集群

在这里插入图片描述

2，创建一个文件，用来装词频统计所需要的用到的词

创建一个cipin.txt
在这里插入图片描述
查看一下刚刚随便写的一些语句
在这里插入图片描述

3，在HDFS上创建一个文件夹，/BigData

输入命令: hdfs dfs -mkdir /BigData
在这里插入图片描述

可以看到执行完命令后，hadoop集群上多了一个 /BigData
在这里插入图片描述

4，将文件上传到HDFS指定的目录

把刚刚创建的 cipin.txt 上传到HDFS的 /BigData 这个文件上
输入命令: hdfs dfs -put cipin.txt /BigData
在这里插入图片描述

/BigData 下面就有了这个cipin.txt 文件了
在这里插入图片描述

5，运行词频统计程序的jar包

输入命令: cd $HADOOP_HOME/share/hadoop/mapreduce 可以看到有很多的包，我们这里要使用的是最后一个
在这里插入图片描述
输入命令: hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/cipin.txt /tongji
意思就是调动 hadoop下的jar包 hadoop-mapreduce-examples-3.3.4.jar 词频统计 目标文件，然后最后那个是统计完的结果放在 /tongji 这个文件中
在这里插入图片描述

输出查看刚才的存放结果的目录 /tongji,可以看到下面有两个文件
在这里插入图片描述
查看词频统计结果,执行命令：hdfs dfs ls /tongji/* ,*是通配符所有，必须要加
在这里插入图片描述

6，在HDFS集群UI界面查看生成的结果文件

在HDFS集群UI界面生成了一个tongji目录，查看 /tongji 目录
在这里插入图片描述
下面有两个目录，查看结果存放目录
在这里插入图片描述
点击之后，会出现一个Download，单击下载到本地
在这里插入图片描述
下载到本地，用记事本打开就行了
在这里插入图片描述

气质&末雨
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop简单应用案例
06-04
Hadoop简单应用案例，包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等
hdfs小文件使用fsimage分析实例
Direction_Wind的博客
03-22 4599
这里写目录标题1 小文件来源分析1.1 数据主要来源：2 处理方案2.1 实时计算任务2.2 hive做优化，小文件做合并:2.2.1 已有数据2.2.2 新接入数据做数据合并后在load进hive新表dwd层及以后可以通过设置这些参数。2.2.3 mapreduce 定义规范3fsimage 离线分析hdfs内容3.1创建hive表 存储元数据，做分析用3.2 处理fsimage文件3.2.1获取fsimage文件：3.2.2从2进制文件解析：3.2.3加载进hive中3.2.4 统计文件整体情况3.2.
hdfs上单机版词频分析小案例
amin_hui的博客
08-21 206
需求： 统计hdfs上某个文件中词频个数，并将统计结果存储到hdfs上的另一个文件中 需求分析： 连接hdfs，从hsfs上读取文件，按行读取； 将读取到的数据按空格切割字符串，分割单词； 遍历分割后的字符串数组，使用map函数去重，统计词频个数； 遍历map中数据，循环将每一条数据写入hdfs上的某个文件中； 在hsfs上使用 hadoop fs ...
大数据系列（三）以日志为例，利用hadoop原生hdfs和MapReduce分别进行统计
璐璐璐大大少的博客
05-07 505
待定
Hadoop案例二（用户流量统计）
qq_29012499的博客
09-08 727
用户流量统计 一、问题描述 现有一hdfs文件/input/phoneCount/phone_date.txt,文件中包含多个用户的网站访问情况。为了计算用户的流量费用，现需要统计出文件中每个用户的总上行流量、下行流量、总流量。结果保存到/output/phoneCount目录下。 phone_date.txt: 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2
腾讯大规模Hadoop集群实践
02-03
TDW（TencentdistributedDataWarehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造...
Hadoop集群pdf文档
10-25
Hadoop 集群配置详解 Hadoop_Hadoop集群（第1期）_CentOS安装配置 Hadoop_Hadoop集群（第2...Hadoop_Hadoop集群（第9期）_MapReduce初级案例 Hadoop_Hadoop集群（第10期）_MySQL关系数据库 Web（Json-Lib类库使用手册）
基于Hadoop的常规案例，在Windows和Linux上搭建伪分布式hadoop集群
最新发布
12-29
基于Hadoop的常规案例，在Windows和Linux上搭建伪分布式hadoop集群 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到...
大数据时代：高性能Hadoop集群与应用案例
05-26
大数据时代：高性能Hadoop集群与应用案例
细细品味Hadoop_Hadoop集群（第9期）_MapReduce初级案例
10-26
细细品味Hadoop_Hadoop集群（第9期）_MapReduce初级案例
Hadoop经典案例——单词统计
热门推荐
CHEN的博客笔记
11-20 1万+
通过 Hadoop经典案例——单词统计，来演示 Hadoop集群的简单使用。 (1）打开 HDFS 的 UI,选择Utilities→Browse the file system查看分布式文件系统里的数据文件，可以看到新建的HDFS上没有任何数据文件。 (2）先在集群主节点namenode上的/export/data/目录下，执行“vi word. txt”指令新建一个 word. txt文本文件，并编写一些单词内容。 [root@namenode data]# vi word.txt 接
【Hadoop】MapReduce案例——词频统计
啥也不会~
04-21 3657
MapReduce案例——词频统计
运行Hadoop自带的MapReduce程序WordCount
qq_40059532的博客
12-11 3107
Hadoop自带了个单词计数的MapReduce程序WordCount，下面用三种方法运行该程序 在开始前先在hdfs上面创建输入和输出路径： 1、使用hdfs dfs -mkdir /input命令创建一个input文件夹 2、使用hdfs dfs -put /home/kingssm/input/data.dat /input命令将需要执行的文件上传到hdfs上的输入文件夹 3、使用hdfs ...
Hadoop集群实例
weixin_44087886的博客
05-21 851
一、基础环境 Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载的主机上的进程，只不过伪分...
运行Hadoop自带的wordcount程序
weixin_54763080的博客
12-21 614
运行share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar这个java程序（与自己的Hadoop系统版本对应）查看云端的/data/output/my_wordcount/part-r-00000文件。出现下面六个进程则说明启动成功。
Hadoop集群测试
ZYF2190003497的博客
11-04 603
hadoop集群
Hadoop 实战实例
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
06-01 1904
​ Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。
实战｜Hadoop大数据集群搭建
Dragon的博客
07-20 377
实验环境： 主机名IP地址 角色 qll251 192.168.1.251 NameNode qll252 192.168.1.252 DataNode1 qll253 192.168.1.253 DataNode2 所需软件包： hadoop-2.9.2.tar.gz jdk-8u241-linux-x64.tar.gz 软件包下载地址： Hadoop软件包官方下...
Hadoop第五章：几个案例
weixin_50835854的博客
07-08 1959
Hadoop第一章：环境搭建 Hadoop第二章：集群搭建（上） Hadoop第二章：集群搭建（中） Hadoop第二章：集群搭建（下） Hadoop第三章：Shell命令 Hadoop第四章：Client客户端 Hadoop第四章：Client客户端2.0 Hadoop第五章：词频统计 Hadoop第五章：序列化 Hadoop第五章：几个案例...
hadoop数据分析案例
05-09
首先，我们需要将所有的用户行为数据导入到Hadoop集群中。这可以通过Hadoop的分布式文件系统（HDFS）来完成。 接下来，我们需要使用Hadoop MapReduce来处理数据。我们可以编写一个MapReduce程序来计算每个用户的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值