Hadoop
木_樨
大数据爱好者,欢迎大家关注我!
展开
-
Hadoop手动编译
相信各位读者们在运行Hadoop时或多或少的都会遇到一些很让人费解的警告,举个栗子: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 大家应该不陌生。之所以会出现这个问题是因为原创 2017-01-18 14:37:50 · 251 阅读 · 0 评论 -
Hadoop的HDFS概述
Hadoop的HDFS HDFS设计思想 将数据存储到若干台单独的计算机上。 HDFS特点 1.存储超大文件 2.廉价硬件之上 3.一次写入,多次读取 HDFS架构 1.唯一的NameNode,唯一的SecondaryNameNode,都运行在主节点(master) 2.大于等于“1”个DataNode,运行在从节点(slave) 3.所有的数据均存放在DataNode里面原创 2016-11-29 11:19:46 · 291 阅读 · 0 评论 -
hadoop环境搭建
非常适合初学者的hadoop环境搭建迷你教程,省时,省力,省心原创 2016-11-22 11:29:37 · 399 阅读 · 0 评论 -
Hadoop之MapReduce单词计数经典实例
MapReduce实现单词计数示意图MapReduce实现单词计数实例代码(Java)①Mapperimport java.io.IOException;import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; impo原创 2017-02-20 19:25:45 · 1712 阅读 · 0 评论 -
Hive浅析
概述Hive——Hadoop最常用的工具。对于Hadoop的出现,无论是业界还是学术界对其都给予了极高的关注度,Hadoop及其生态圈提供了一个成熟高校的处理海量数据集的解决方案。数据基础架构大都基于关系型数据库(RDBMS)和结构化查询语言(SQL)。这就是Hive出现的原因。Mapreduce需要几十行代码完成的工作,Hive区区几行HiveQL就能胜任。HiveQL是SQL语句的一种方言(di原创 2017-03-29 14:56:19 · 421 阅读 · 1 评论