hadoop
q_182480171
这个作者很懒,什么都没留下…
展开
-
SQL数据库和Hadoop 区别
SQL(结构化查询语言)是针对结构化数据设计的,而Hadoop最初的许多应用针对的是文本这种非结构化数据。 主要区别如下: 1. 用向外扩展代替向上扩展 Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至数百台计算机。而不是专注于提高单台服务器的性能 2. 用键/值对代替关系表 SQL 针对结构化查询语句 是结构化数据,hadoop针对的是非结构化数据,文本形式 关系数据库是原创 2016-12-02 15:50:05 · 13135 阅读 · 0 评论 -
我的理解2 hadoop不会替换传统数据库
主要功能:分析广告,用户打分,分析用户行为,统计日志,数据挖掘 facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析;淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推原创 2016-12-02 15:50:17 · 936 阅读 · 0 评论 -
OpenStack,CloudStack与Hadoop的关系
OpenStack,CloudStack与Hadoop的关系: OpenStack,CloudStack处于云计算中的同一层——IaaS层,他们只是使用不同的语言,不同的设计架构分别实现了IaaS层的功能。CloudStack、OpenStack主要用于构建IaaS层,类似于Amazon EC2 和 S3 的云基础架构服务的架构。Hadoop实现了包括分布式文件系统HDFS和MapReduce原创 2016-12-02 15:55:42 · 751 阅读 · 0 评论 -
总结2011年10个最重要的开源软件(转)
2011年是开源领域标志性的一年。正因如此,挑选 10 个最重要的开源项目反倒相当困难。要判断一个开源项目的重要性,其标准应该是影响深远,并且日益普及,或者是新领域中的技术佼佼者。 1. Hadoop 首先出场的是Hadoop,毫无疑问这个来自 Apache 基金会的分布式计算平台当得起“重要”二字,在过去的一年中这个由 Yahoo 发起的项目正在为包括 Amazon、IBM、Twitt原创 2016-12-02 15:56:11 · 273 阅读 · 0 评论 -
吐槽-用cygwin测试hadoop 就是一个坑
吐槽-用cygwin测试hadoop 就是一个坑 原来用cygwin测试了低版本的 hadoop 是可以的,现在用来测试hadoop2.6 遇到各种问题 1 启动hadoop no slave啊 2 hadoop连接不上 ssh的22端口啊 3 cygwin 没有mysql客户端,需要安装 折腾了 2天没折腾出来,估计是 cygwin版本太低导致各种问题, 果断换 vmware原创 2016-12-02 16:03:12 · 712 阅读 · 0 评论