hadoop基础----hadoop理论----Hadoop简介

hadoop是什么？

 

(1)Hadoop就是一个分布式计算的解决方案，也就是帮助我们把 一个任务分到很多台计算机来运算。

(2)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。

Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）

Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。
 

 

hadoop能做什么？

 

hadoop可以解决运算时间长等问题

举例来说，我之前有一个运算任务，是对比几个网站之间的数据。

假设每个网站有5W条数据，2个网站之间需要比较25W次。随着网站的增加，比较次数增长很快。

如果用1台机子来进行运算，即使用上多线程，因为单机的性能瓶颈，可能需要5天。

但是我们如果用2台机子来运算，可能需要2.5天（理想状态），但是需要手动分割任务

如果用5台，10台++就可能把时间缩短到1天 甚至几个小时即可运算完成。

 

这就是分布式运算

 

但是传统的分布式运算  需要我们人工的去切分任务。

hadoop则 具有一定的策略，只要我们设置相关配置，只需要一次 输入这几个网站的所有数据 就可以帮助我们很方便的进行自动分类，任务分配，进行运算。

 

 

 

hadoop擅长日志分析

facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中    的 自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）

 

 

hadoop的运用场景

大数据量存储：分布式存储日志处理: Hadoop擅长这个海量计算: 并行计算ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统机器学习: 比如Apache Mahout项目搜索引擎:hadoop + lucene实现数据挖掘：目前比较流行的广告推荐大量地从文件中顺序读。HDFS对顺序读进行了优化，代价是对于随机的访问负载较高。数据支持一次写入，多次读取。对于已经形成的数据的更新不支持。数据不进行本地缓存（文件很大，且顺序读没有局部性）任何一台服务器都有可能失效，需要通过大量的数据复制使得性能不会受到大的影响。
用户细分特征建模个性化广告推荐智能仪器推荐

 

hadoop的一些案例

 

• 面向智能交通的大数据和英特尔® 智能系统解决方案
• 物联网商机和技术挑战(英特尔)
• 大数据在医疗行业的应用
• 英特尔IT开源混合云

 

 

 

 

hadoop生态圈

我们经常一提到hadoop，就会听别人说到Hive, Pig, HBase, Sqoop, Mahout, Zookeeper等等。

其实这些项目都是hadoop的一些相关项目。

它们有些是hadoop的组件，有些是新的hadoop框架(基于hadoop原理的架构)。

尽管Hadoop因MapReduce及其分布式文件系统(HDFS，由NDFS改名而来)而出名，但Hadoop这个名字也用于一组相关项目的统称，这些相关项目都使用这个基础平台进行分布式计算和海量数据处理。

 

下面是一些常用的组件:

还有一些新的组件框架可查看

http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/

Common
    一组分布式文件系统和通用I/O的组件与接口(序列化、Java RPC和持久化数据结构)。

Avro
    一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。

MapReduce
    分布式数据处理模型和执行环境，运行于大型商用机集群。

HDFS
    分布式文件系统，运行于大型商用机集群。

Pig
   一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。     

                   
Hive
   一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。

HBase
    一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询(随机读取)。

ZooKeeper
    一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。

Sqoop
    在数据库和HDFS之间高效传输数据的工具。