大数据处理
文章平均质量分 71
lfsf802
这个作者很懒,什么都没留下…
展开
-
8种Nosql数据库系统对比
转载: 原文:Kristóf Kovács 编译:敏捷翻译 – 唐尤华 地址:http://blog.jobbole.com/1344/虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举。但是NoSQL数据库之间的不同,远超过两 SQL数据库之间的差别。这意味着软件架构师更应该在项目开转载 2013-05-15 15:29:16 · 1971 阅读 · 3 评论 -
HADOOP--HDFS简介
HDFS是什么?HADOOP DISTRIBUTED FILE SYSTEM,简称HDFS,是一个分布式文件系统。它是谷歌的GFS提出之后出现的另外一种文件系统。它有一定高度的容错性,而且提供了高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。 在最初,HADOOP是作为Apache Nutch搜索引擎项目的基础架构而开发的,后来由于原创 2013-05-27 08:45:14 · 13829 阅读 · 1 评论 -
HADOOP简介
HADOOP是一个分布式系统基础架构,是Apache组织的顶级项目。用户可以利用HADOOP在不了解分布式底层细节的情况下开发分布式程序。它的定位是可以容易开发和运行大规模数据的平台。 HADOOP是从NUTCH这个应用中脱颖而出的,首先说NUTCH是一个基于LUCENE为基础实现的搜索引擎应用,其中LUCENE为NUTCH提供了文本搜索和索引的API【关于LUCENE的介绍可以原创 2013-06-03 11:06:55 · 1893 阅读 · 1 评论 -
HADOOP-MapReduce简介
MapReduce是什么?MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。它极大的方便编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。它的实现是map函数和Reduce函数组成。这种编程模型在很长时间以前就出现了,但在以前这个编程模型不是非常火热。当GOOGLE将几篇关于MapReduce的文章发布出来之后,这个编程模型变得异常火爆,Hadoop的原创 2013-06-03 11:05:06 · 9172 阅读 · 2 评论 -
关于大数据处理和Hadoop的一些文章【持续更新】
1. Hadoop 2.0:大数据的新突破在即2. Hadoop被看做廉价的海量存储和ETL系统3. Hadoop:大数据解决方案的常胜将军4. 硬件巨头们缘何热衷于Hadoop发行版?5. 详细讲解Hadoop分布式文件系统6. 从问题域出发认识Hadoop生态系统7. 利用下一代Hadoop YA原创 2013-06-04 08:33:21 · 1990 阅读 · 0 评论 -
Hadoop安装
一:环境准备1:准备虚拟机一台,我安装的是redhat6.4的32位操作系统。2:修改hostname。使用命令hostname localhost(如需重启后生效,可以修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可)。另修改/etc/hosts ,用#注释掉默认的文本,添加127.0.0.1 localhost即可。3:jdk安装,虚拟机是3原创 2014-04-26 20:09:55 · 1654 阅读 · 5 评论