Hadoop
文章平均质量分 79
环境搭建和API编写
风尘巨鳄
这个作者很懒,什么都没留下…
展开
-
Hadoop学习之完全分布式搭建
环境准备准备三台云主机(Hadoop102、hadoop103、hadoop104)本次使用的是centos7,IP地址是 192.168.52.132-134安装JDK(三台都需要)JDK安装方式,在我的上一篇 伪分布式配置主机名同上,在上一篇文章里。关闭防火墙暂时关闭systemctl stop firewalld永久关闭Systemctl disable firewalld.service查看防火墙状态firewall-cmd --state配置/etc/hosts原创 2020-10-09 11:38:41 · 135 阅读 · 0 评论 -
MapReduce案例之序列化统计流量
序列化序列化:把内存中的对象转化为字节序列(或数据传输协议)以便于存储到硬盘(或网络传输)。反序列化:把接收的字节序列(或数据传输协议)转化为内存中的对象。在MapReduce中,默认采用的序列化机制是AVRO,为了方便使用,提供了接口Writable需求统计用户的上传流量和下载流量文件1 12344567895 2153 61852 13344567895 2253 62853 12344567895 2353 63854 13344567895 2453 64855 14344原创 2020-10-08 20:21:06 · 184 阅读 · 0 评论 -
MapReduce案例之统计文件中出现的单词
需求输入三个文件、统计每个文件出现的单词word01.txtjava mapperservletssmspringspringmvcmybatisword02.txtjava mapreduceservletjscsshtmlspringmvcmybatisword03.txtjava hdfsspringbootjavascriptcsshtmlspringmvcmybatis想要输出结果编写Mapper类import org.原创 2020-10-08 19:30:51 · 135 阅读 · 0 评论 -
MapReduce案例之统计单词出现个数
添加maven坐标 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <d原创 2020-10-08 18:46:24 · 281 阅读 · 0 评论 -
Hadoop伪分布式环境-历史服务器、日记聚集 第二篇
前情概述linux下伪分布式的搭建,hdfs和yarn可以看前面hadoop第一篇,本文配置在第一篇的基础上实现。配置历史服务器配置mapred-site.xml /opt/module/hadoop/etc/hadoop vim mapred-site.xml 在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <v原创 2020-09-28 13:28:55 · 395 阅读 · 0 评论 -
Hadoop伪分布式环境搭建-HDFS 第一篇
Hadoop伪分布式环境搭建设置本机免密登录生成密钥和私钥ssh-keygen将公钥拷贝到本机ssh-copy-id hadoop102(本机主机名或ip 主机名下文说明)3.测试·ssh hadoop102[cgd@hadoop102 hadoop]$ ssh hadoop102Last login: Fri Sep 25 13:00:35 xxx from xx.xx.xx.xx[cgd@hadoop102 ~]$ 不需要输入密码就说明配置成功反之 输入密码则配置原创 2020-09-25 13:28:16 · 219 阅读 · 0 评论