![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 73
Tzyy皮皮
咸鱼!
展开
-
Hadoop入门 一 Linux安装Hadoop
Linux下Hadoop安装与配置一、安装JDK二、安装Hadoop1. Hadoop下载解压2.环境配置3.配置Hadoop4.启动Hadoop总结 一、安装JDK 自己安装 二、安装Hadoop 1. Hadoop下载解压 wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -zxvf hadoop-3.3.1.tar.gz 2.环境配置 vim /etc/profile原创 2021-12-16 17:51:18 · 2922 阅读 · 0 评论 -
Hadoop实战 一 WordCount
Hadoop实战 一 WorkCount准备工作启动虚拟机Hadoop数据文本修改Maven pom文件Hadoop配置文件编码环节Mapper文件Reduce 文件Mian方法结果 准备工作 这里我们使用 IDEA + Maven 作为演示,做一个简单的单词计数统计 启动虚拟机Hadoop 如何启动以及配置问题见 – Hadoop入门 数据文本 一个非常简单的 txt 文本 修改Maven pom文件 这里我们添加两个依赖 hadoop-common 以及 hadoop-core &原创 2021-12-28 16:13:17 · 1581 阅读 · 0 评论 -
Hadoop实战 一 Shuffle 阶段
Shuffle 阶段分区排序规约分组主类代码 分区 将数据分成若干个块,每个块可以按照约定形成文件 步骤: 1 继承 Partitioner 类 并重写 getPartition方法 2 在主类中设置启用分区 job.setPartitionerClass(OrderParition.class); 注意: 1 在继承 Partitioner<OrderBean, Text> 时的两个类型 分别对应了 K2 V2 也就是 Mapper的输出类型 2 getPart原创 2021-12-31 16:02:55 · 893 阅读 · 0 评论