![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
Comet_sgf
这个作者很懒,什么都没留下…
展开
-
MapReduce的编程开发——数据字典的使用和多目录输出
文章目录前言一、启动Hadoop二、环境搭配三、过滤与保存实验总结前言本文主要是学习MapReduce的学习笔记,对所学内容进行记录。实验环境:1.Linux Ubuntu 16.042.hadoop3.0.03.eclipse4.5.1一、启动Hadoop进入Hadoop启动目录cd /apps/hadoop/sbin启动Hadoop./start-all.sh输入‘jps’,启动后显示如下信息二、环境搭配打开eclipse->Window->Prefer原创 2021-01-31 21:52:48 · 337 阅读 · 0 评论 -
MapReduce的编程开发——过滤和保存
文章目录前言一、启动Hadoop二、环境搭配三、过滤与保存实验总结前言本文主要是学习MapReduce的学习笔记,对所学内容进行记录。实验环境:1.Linux Ubuntu 16.042.hadoop3.0.03.eclipse4.5.1一、启动Hadoop进入Hadoop启动目录cd /apps/hadoop/sbin启动Hadoop./start-all.sh输入‘jps’,启动后显示如下信息二、环境搭配打开eclipse->Window->Prefer原创 2021-01-31 21:39:31 · 482 阅读 · 0 评论 -
MapReduce的编程开发——单词计数
文章目录前言一、启动Hadoop二、环境搭配三、求平均值总结前言本文主要是学习MapReduce的学习笔记,对所学内容进行记录。实验环境:1.Linux Ubuntu 16.042.hadoop3.0.03.eclipse4.5.1一、启动Hadoop进入Hadoop启动目录cd /apps/hadoop/sbin启动Hadoop./start-all.sh输入‘jps’,启动后显示如下信息二、环境搭配打开eclipse->Window->Preferenc原创 2021-01-31 10:57:37 · 723 阅读 · 0 评论 -
MapReduce的编程开发——自定义格式输入输出
通过MapReduce对数据进行格式读取和格式输出原创 2021-01-31 10:31:34 · 443 阅读 · 0 评论 -
MapReduce的编程开发——求平均值
利用MapReduce求平均值原创 2021-01-31 09:36:36 · 3139 阅读 · 0 评论 -
MapReduce的编程开发——排序
本文章主要概述了利用MapReduce进行排序的流程以及实验代码,例举了普通排序、二次排序以及倒排索引排序三种排序情况原创 2021-01-30 17:07:04 · 1405 阅读 · 0 评论 -
Spark安装部署(Yarn Local Standalone)
介绍Spark三种安装模式:Yarn Local Standalone原创 2021-01-22 20:47:11 · 230 阅读 · 1 评论