Hadoop
IvanLeung92
外向 运动 篮球 游泳 90后 IT 软件
展开
-
告诉你Hadoop是什么
Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. 数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Hadd转载 2014-03-24 16:25:54 · 465 阅读 · 0 评论 -
centOS 安装 hadoop-2.2.0
准备工作:安装jdk 1.下载hadoop:hadoop-2.2.0.tar.gz 网址:http://mirrors.cnnic.cn/apache/hadoop/common/ 2.把hadoop解压到文件夹/usr下面 [root@localhost usr]# tar -xzvf hadoop-2.2.0.tar.gz 3.创建用户 hadoop [root@localhost转载 2014-05-12 16:29:35 · 433 阅读 · 0 评论 -
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。 Pig 一种操作hadoop的轻量级脚本语言,最初又雅转载 2016-01-08 16:22:16 · 377 阅读 · 0 评论 -
Hadoop和大数据:60款顶级大数据开源工具
说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2020年,市场产值会超过10亿美元。IBM更是非常看好开源大数据工具转载 2016-01-09 11:54:26 · 701 阅读 · 0 评论