![](https://i-blog.csdnimg.cn/direct/5a1f8959bbec449cb05de6c01e18a72f.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
HDFS和MapReduce
文章平均质量分 78
分布式文件系统HDFS的使用,分布式计算框架MapReduce编程实践
布丁椰奶冻
代码随手记!希望不要偷懒!
展开
-
【分布式文件系统HDFS】API 编程基础
一、使用 HDFS API 完成以下程序设计并运行1. 将 HDFS 文件系统目录/user/账户名下的文件 test1.txt 下载至本地文件系统目录/home/账户名/Desktop 下。1.1 程序代码1.2 运行截图1.3 查看本地的test1.txt文件2. 在 HDFS 文件系统上创建目录/test12.1程序代码2.2 运行截图2.3 查看HDFS文件系统,创建目录test1成功3. 删除 HDFS 文件系统上的目录/test13.1 程序代码3.原创 2024-06-25 15:21:27 · 572 阅读 · 0 评论 -
【分布式文件系统HDFS】文件操作基本命令的使用
一、按照下述要求写出相应的文件操作命令,执行并观察结果1.新建目录1.1 在本地文件系统按要求创建如下的文件夹1.2 在HDFS文件系统按要求创建如下的文件夹2. 编辑文件test1.txt,放入本地文件夹 /opt/user/myfile3. 使用moveFromLocal命令将本地文件test1.txt复制到HDFS文件系统的/temp/myfile/txt文件夹下。4. 查看文件内容,查看HDFS文件系统上test1.txt的文件内容,仅显示文件的前两行。5. 修改HD原创 2024-06-25 15:12:51 · 1196 阅读 · 0 评论 -
【分布式计算框架 MapReduce】MapReduce 初级编程
一、MapReduce 示例程序的导入并运行测试二、准备 4 个小文件(文件大小分别为 1.7M,5.1M,3.4M,6.8M)1. 第一种情况,默认分片:不修改程序代码,直接使用 WordCount 源程序2. 第二种情况,在代码中增加如下内容3. 第三种情况,将数值设为 20M三、对 sogou.500w.utf8 数据进行分析,使用 MapReduce 编写程序完成。1.程序源代码2. 程序输出结果原创 2024-06-29 22:05:49 · 1013 阅读 · 0 评论 -
【分布式计算框架 MapReduce】高级编程—搜索日志数据分析
一、对于 sogou_500w_utf 数据,使用 MapReduce 编程模型完成对以下数据的分析任务1. 统计 2011-12-30 日搜索记录,每个时间段的搜索次数(1)运行截图(2) 源代码2. 统计 2011-12-30 日 3 点至 4 点之间,哪些 UID 访问了搜狗引擎。(1)运行截图(2)源代码二、有两个输入文件 A 和 B,使用 MapReduce 编程合并文件,得到输出文件 C1. 输入文件A和B如下2. 通过MapReduce编程合并文件得到out原创 2024-06-30 18:56:47 · 449 阅读 · 0 评论 -
【分布式计算框架 MapReduce】高级编程—多任务数据分析
二、改造 WordCount 程序,使得结果的排序规则为按照单词词频从大到小排序。1. 统计搜索的关键字查询频度,找出搜索次数超过 20 次的关键字的个数。查看运行结果:(前四十条)原创 2024-06-30 22:53:08 · 285 阅读 · 0 评论