hadoop
鸣一
这个作者很懒,什么都没留下…
展开
-
从零开始学习Hadoop
未来的趋势是什么 在越来越多的任务上,计算机比人类做得更快更强成本更低。麻省理工的两位经济学家写了一本书叫《与机器竞赛》,书中说,以人工智能为代表的计算机技术可以完全代替司机驾驶汽车,可以在商业上代替人类翻译员,IBM的Watson计算机已经在传统电视竞答节目上击败人类选手,苹果公司的Siri语言助手对人类语言可以理解得很好。再比如,一种新的软件可以代替高级放射科医生分析医学图像,成本降转载 2014-08-15 20:59:51 · 508 阅读 · 0 评论 -
大数据语录 节选
首先要清楚大转载 2014-11-10 20:50:29 · 999 阅读 · 0 评论 -
转载:Map-Reduce的逻辑过程
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+004301转载 2014-11-16 12:35:56 · 349 阅读 · 0 评论 -
hive介绍1
[转载 夏天的森林]我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQ转载 2014-11-29 20:27:28 · 318 阅读 · 0 评论 -
hve 介绍2:数据类型与模型
在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表(table),分区,hive里也有这些东西,这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型,数据模型以及文件存储格式。这些知识大转载 2014-11-29 21:52:40 · 731 阅读 · 0 评论