![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 64
Hadoop
子墨将
比天高比海阔
展开
-
【大数据系列】之Hadoop-MapReduce学习笔记
Hadoop之MapReduce 分布式运算程序 特点: 良好扩展性 高容错性 PB级以上的离线处理 缺点: 不擅长实时计算 不擅长流式计算 不擅长DAG(有向无环图)计算 一、MapReduce进程 MrAppMaster:负责整个程序的过程调度及状态调度 MapTask:负责Map阶段的整个数据处理流程 ReduceTask:负责Reduce阶段的整个数据处理流程 二、WordCount程序例子 词频统计 // Map类,继承于org.apache.hadoop.mapreduce.原创 2021-12-13 22:04:24 · 1157 阅读 · 0 评论 -
Hadoop | MapReduce之 WordCount词频统计
WordCount词频统计 词频统计 // Map类,继承于org.apache.hadoop.mapreduce.Mapper; public class WordCountMap extends Mapper<LongWritable, Text,Text, IntWritable> { Text word = new Text(); IntWritable value = new IntWritable(1); @Override protected原创 2021-12-22 19:09:47 · 2199 阅读 · 0 评论 -
【大数据系列】之Hadoop伪分布安装
Hadoop伪分布安装 1.创建用户与用户组 创建一个用户,名为momo,并为此用户创建home目录,此时会默认创建一个与momo同名的用户组。 > sudo useradd -d /home/momo -m momo 为momo用户设置密码,执行下面的语句 > sudo passwd momo 切换到momo用户下操作 > su - momo 2.配置SSH免密码登录 ...原创 2019-11-19 20:11:30 · 222 阅读 · 0 评论 -
【大数据系列】之Hadoop-HDFS学习笔记
Hadoop之HDFS 分布式文件系统 特点: 高容错性:多副本策略 高扩展性:可部署在廉价的机子 一、组成架构 NameNode 存储数据块存放位置的元数据(映射信息) 配置副本策略 管理HDFS的命名空间 处理Client的请求 DataNode 数据存储的节点,以文件块的形式进行存储,分布在不同机架,节点上 执行数据块的读/写任务 块的大小可以通过配置参数 ( dfs.blocksize)来规定,默认大小在Hadoop2.x/3.x版本中是128M,1.x版本中是64M,大小的设置原创 2021-12-05 22:41:04 · 1396 阅读 · 1 评论 -
【大数据系列】之Hadoop Shell常用命令
Hadoop Shell常用命令 1.创建文件夹 hdfs dfs -mkdir /test 2.创建文件 hdfs dfs -touchz /test/file.text 3.查看目录下的文件 hdfs dfs -ls /test '迭代查看该目录下的所有文件与目录' hdfs dfs -ls -R /test 4.文件的移动、复制 "移动" hdfs dfs -mv /test/...原创 2019-11-20 20:59:03 · 443 阅读 · 0 评论