大数据
IT技术猿猴
这个作者很懒,什么都没留下…
展开
-
百度翻译API使用简介
百度翻译api原创 2022-02-09 13:59:24 · 3605 阅读 · 0 评论 -
Hadoop2.0
目前的大数据技术架构目前的大数据技术架构的不足ü缺少真正意义上的流式场景的计算模型,目前都通过降低oozie定时调度的时长,而且hadoop是批处理技术模型,处理流式场景的应用,效率很低。ü在数据挖掘场景上,mahout虽然支持很多数据挖掘算法,但大多数数据挖掘算法都迭代计算的,mahout是基于mapreduce的,每次迭代都要将结果存储在hdfs中,所以在处理速度上还是可以提升的。ü目前大数据技术是基于hadoop1.X之上构建,hadoop是非常优秀批处理技术模型,与其他计原创 2022-02-07 15:03:17 · 906 阅读 · 0 评论 -
Hive与Hive+HBase比较
原创 2022-02-07 14:51:43 · 795 阅读 · 0 评论 -
HBase原理
HBase是分布式的、.面向列的开源数据库HBase是Google Bigtable的开源实现底层基于Hadoop,HDFS为HBase提供高可靠性的底层存储支持,MapReduce为HBase提供高性能的计算能力Zookeeper为HBase提供了稳定服务和failover机制HBase中有两张特殊的Table ,-ROOT-和.META..META.:记录了用户表的Region信息,.META.可以有多个regoin-ROOT-:记录了.META.表的Region信息原创 2022-02-07 14:42:42 · 172 阅读 · 0 评论 -
Hadoop1.0
Hadoop1.0Hadoop是一个开源的软件框架,它支持数据密集型的分布式应用,许可授权隶属于Apache v2 license.可以在成千上万台独立的计算机上运行。Hadoop源自于Google的MapReduce和Google File System(GFS)两篇论文。现在通常认为完整的Apache Hadoop'平台’由Hadoop内核、MapReduce和HDFS组成,以及若干相关的项目――包括Apache Hive 、 ApacheHbase等等数据存储与计算节点构架原创 2022-02-07 14:03:34 · 920 阅读 · 0 评论 -
谷歌大数据起源
Google MapReduce并行处理的基本过程Google GFS文件系统原创 2022-02-07 13:51:52 · 899 阅读 · 0 评论