![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
丿镜花水月
水中月是天上月,眼前人是心上人
展开
-
跟我一起读《Hadoop权威指南》 第三篇 -- HDFS (Hadoop分布式文件系统)
HDFS概念HDFS(Hadoop Distributed FileSystem)是Hadoop旗舰级别文件系统,用来存储超大文件(从几百MB到几百TB级别数据)、流式数据访问、高延时的以及一次写入多次读取的文件系统。数据块HDFS有数据块(block)的概念,一个块默认大小是128MB,HDFS中的文件会被分为多个块,每个块都是一个独立的存储单元,需要注意的是:当一个文件的...原创 2018-04-30 14:59:53 · 3711 阅读 · 0 评论 -
跟我一起读《Hadoop权威指南》 第一篇 -- Hadoop2.8.3安装
我的配置环境我的是mac环境,centos/ubuntu等环境通用安装首先需要安装jdk1.8、maven3.5.3、protoc(必须是2.5,下载地址:protoc2.5)。这里的maven和protoc是为以后的重新编译Hadoop-src源码做准备,本文暂且使用不到下载完成后,解压到本地目录vi ~/.bash_profile,忽略这里的HADOOP_HOME,下边才会配置...原创 2018-04-26 23:20:40 · 4064 阅读 · 0 评论 -
跟我一起读《Hadoop权威指南》 第二篇 -- 入门程序,编写MapReduce处理气象数据
气象数据集关于MapReduce MapReduce是一种可用于数据处理的编程模型,它本质上是并行运行的,因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集,这里我们先看一个数据集。我们今天的目的是:在大批量的气象数据中,获取每年每月的最高气温。数据格式 我们使用的数据来自于权威指南提供的美国国家气候数据中心,该数据按行为...原创 2018-04-27 21:09:36 · 3921 阅读 · 0 评论 -
跟我一起读《Hadoop权威指南》 第四篇 -- 关于Yarn
暂且空着,6月13日之后再做整理。忙忙忙~ 来首诗歌解解乏 青青子衿,悠悠我心。纵我不往,子宁不嗣音? 青青子佩,悠悠我思。纵我不往,子宁不来? 挑兮达兮,在城阙兮。一日不见,如三月兮。翻译翻译 你的衣领啊,我的心。我不去,你就不会打个电话来问问好? 你的腰带啊,我的思念。我不去,你就不来? 我走来走去啊,在这高高的城楼上。一天见不到你,就好像三个月...原创 2018-05-06 18:08:41 · 259 阅读 · 0 评论