本文详细介绍了Mahout_in_Action的方法理论，内容详尽，深入浅出。

本文详细介绍了hadoop中的hive的优化，图文并茂，深入浅出，内容详尽，能够让你看过一遍就知道hive优化的方法。

本文档由王家林老师详细的介绍了 hadoop2.2完全分布式 及整合hbase0.96 安装步骤，图文并茂。

本软件可以在ubuntu环境下编译Doubango库，简便快捷。

本文档深入浅出的说明了SWIG的使用，通过该例子读者能够快速入门SWIG。

User Agent A发送一个SIP请求INVITE给User Agent B，表达User A想跟User B进行谈话的愿望。这个请求包含语音流协议的细节。payload中使用会话描述协议（Session Description Protocol，SDP)就是为此目的。SDP消息包含一个清单，其内容为User A支持的所有介质编码。

本图详细的论述了android中activity组件的生命周期。

本文档详细讲解了Android自定义组件与特效，清晰易懂。

本文全面汇总了android中常见的面试笔试题。

本PPT详细全面的讲解android行业的情形，思路清晰，内容全面。

本文档是java1.5的帮助文档，详细全面。

本文档清晰的论述了 android的任务栈，浅显易懂。

本文档详细讲解了android里如何在子线程中如何更新主线程的控件

本文详细讲解了android中AIDL的实现，浅显易懂。

本文详细讲解了SIP协议的来龙去脉，思路清晰，图文并茂。

此教程来自于王家林免费发布的3本Hadoop教程：云计算分布式大数据Hadoop实战高手之路（共3本书）： 王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅，从此一览众山小。

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第八讲Hadoop图文训练课程：Hadoop文件系统的操作. 此教程来自于王家林免费发布的3本Hadoop教程：云计算分布式大数据Hadoop实战高手之路（共3本书）： 1， 王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。 2， 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。 3， 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅，从此一览众山小。

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程：剖析NameNode和Secondary NameNode的工作机制和流程. 此教程来自于王家林免费发布的3本Hadoop教程：云计算分布式大数据Hadoop实战高手之路（共3本书）： 王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅，从此一览众山小。

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程. 此教程来自于王家林免费发布的3本Hadoop教程：云计算分布式大数据Hadoop实战高手之路（共3本书）： 王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅，从此一览众山小。

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第六讲Hadoop图文训练课程：使用HDFS命令行工具操作Hadoop分布式集群初体验。 此教程来自于王家林免费发布的3本Hadoop教程：云计算分布式大数据Hadoop实战高手之路（共3本书）： 王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅，从此一览众山小。

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

星空对话机器人在7大Rasa 3.X内核架构及源码解密系统课程的基础上推出了“Rasa智能对话机器人应用开发硬核实战高手之路”，帮助大家掌握Rasa硬核应用程序开发能力。 课程由7大部分构成： 1，Rasa 3.X Interactive Learning对话机器人应用调试与案例实战 2，Rasa 3.X项目Helpdesk Assistant架构、流程、源码及Interactive本质内幕 3，Rasa 3.X项目实战：基于ElasticSearch的影视对话机器人 4，Rasa 3.X 项目实战之电商零售Customer Service智能业务对话机器人 5，Rasa 3.X 项目实战之银行金融Financial Bot智能业务对话机器人 6，Rasa 3.X 项目实战之保险行业Insurance Bot智能业务对话机器人 7，19小时精通Rasa 3.X 项目实战之教育行业Education Bot智能业务对话机器人 每一个部分都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试

自然语言处理的课件ppt，适合教学和演讲使用，内容很全，你可自行下载。

以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。

图书简介 该书将带您学习使用Python的NLP，并研究了由Google，Facebook，Microsoft，OpenAI和Hugging Face等先驱者创建的变压器体系结构中的各种杰出模型和数据集。 这本书分三个阶段训练您。在向RoBERTa，BERT和DistilBERT模型过渡之前，第一阶段向您介绍从原始变压器开始的变压器体系结构。您会发现一些小型变压器的培训方法在某些情况下可以胜过GPT-3。在第二阶段，您将应用自然语言理解（NLU）和自然语言生成（NLG）的转换器。最后，第三阶段将帮助您掌握高级语言理解技术，例如优化社交网络数据集和假新闻识别。 在这本NLP书籍的最后，您将从认知科学的角度理解变压器，并精通将技术巨头预先训练好的变压器模型应用于各种数据集。 您将学到什么 使用最新的预训练变压器模型 掌握原始Transformer，GPT-2，BERT，T5和其他变压器模型的工作原理 使用优于经典深度学习模型的概念创建理解语言的Python程序 使用各种NLP平台，包括Hugging Face，Trax和AllenNLP 将Python，TensorFlow和Keras程序应用于情感分析，文本摘要，语音识别，机器翻译等 测量关键变压器的生产率，以定义其范围，潜力和生产限制

CentOS通用操作

主要内容: 自然语言处理概述 什么是自然语言处理 自然语言处理的典型应用 自然语言处理的基本任务 自然语言处理的基本策略和实现方法 自然语言处理的难点 自然语言处理所涉及的学科 基于规则的自然语言处理方法（理性方法，传统方法） 基于词典和规则的形态还原（英语）、词性标注以及分词（汉语、日语） 基于（上下文无关文法）和扩充的（复杂特征集、合一运算）的句法表示及其分析技术 基于逻辑形式和格语法的句义分析 基于规则的机器翻译 基于语料库的自然语言处理方法（经验方法） 语言模型（元文法） 分词、词性标注（序列化标注模型） 句法分析（概率上下文无关模型） 文本分类（朴素贝叶斯模型、最大熵模型） 机器翻译 ( 等) ......（基于神经网络的深度学习方法）

你需要Spark的十大理由： 1，Spark是可以革命Hadoop的目前唯一替代者，能够做Hadoop做的一切事情，同时速度比Hadoop快了100倍以上： Logistic regression in Hadoop and Spark 可以看出在Spark特别擅长的领域其速度比Hadoop快120倍以上！ 2，原先支持Hadoop的四大商业机构纷纷宣布支持Spark，包含知名Hadoop解决方案供应商Cloudera和知名的Hadoop供应商MapR； 3，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。 4，国外一些大型互联网公司已经部署了Spark。甚至连Hadoop的早期主要贡献者Yahoo现在也在多个项目中部署使用Spark；国内的淘宝、优酷土豆、网易、Baidu、腾讯等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。 5，不得不提的是Spark的“One stack to rule them all”的特性，Spark的特点之一就是用一个技术堆栈解决云计算大数据中流处理、图技术、机器学习、交互式查询、误差查询等所有的问题，此时我们只需要一个技术团队通过Spark就可以搞定一切问题，而如果基于Hadoop就需要分别构建实时流处理团队、数据统计分析团队、数据挖掘团队等，而且这些团队之间无论是代码还是经验都不可相互借鉴，会形成巨大的成本，而使用Spark就不存在这个问题； 6，Mahout前一阶段表示从现在起他们将不再接受任何形式的以MapReduce形式实现的算法，另外一方面，Mahout宣布新的算法基于Spark； 7，如果你已经使用了Hadoop，就更加需要Spark。Mahout前一阶段表示从现在起他们将不再接受任何形式的以MapReduce形式实现的算法，另外一方面，Mahout宣布新的算法基于Spark，同时，这几年来，Hadoop的改进基本停留在代码层次，也就是修修补补的事情，这就导致了Hadoop现在具有深度的“技术债务”，负载累累； 8，伴随Spark技术的普及推广，对专业人才的需求日益增加。Spark专业人才在未来也是炙手可热，轻而易举可以拿到百万的薪酬； 9，百亿美元市场，教授为之辞职，学生为止辍学，大势所趋！ 10，Life is short.

Hadoop从业者为什么需要Spark？答案是Hadoop已死，Spark称霸。 而Hadoop的死亡过程在2012年已经开始： 1，由于Hadoop自身架构的导致了在离线数据存储分析意外的一切领域都力不从心，理论已经证明MapReduce模型可以模拟一切分布式计算，但是效率成为其死穴，而Spark基于RDD的计算图可以轻松、完整地表达MapReduce模型，并且能极为容易的处理实时流计算、机器学习、图计算、误差查询等； 2,2012年以来Hadoop本身架构臃肿并未得到本质性的改善，很多修改升级也就只是补丁式的修修补补，现在Hadoop这个云计算大数据前期做出卓越贡献的平台正在继续的死亡； 4，原先支持Hadoop的四大商业机构纷纷宣布支持Spark； 5，Mahout前一阶段表示从现在起他们将不再接受任何形式的以MapReduce形式实现的算法，另外一方面，Mahout宣布新的算法基于Spark； 6，Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark； Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前SPARK已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。 国外一些大型互联网公司已经部署了Spark。甚至连Hadoop的早期主要贡献者Yahoo现在也在多个项目中部署使用Spark；国内的淘宝、优酷土豆、网易、Baidu、腾讯等已经使用Spark技术用于自己的商业生产系统中，国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。 现在很多原来使用深度使用Hadoop的公司都在纷纷转向Spark，国内的淘宝是典型的案例，我们在这里就不做介绍。在此，我们以使用世界上使用Hadoop最典型的公司Yahoo！为例，大家可以看一下其数据处理的架构图： 而使用Spark后的架构如下： 大家可以看出，现阶段的Yahoo！是使用Hadoop和Spark并存的架构，而随着时间的推进和Spark本身流处理、图技术、机器学习、NoSQL查询的出色特性，最终Yahoo！可能会完成Spark全面取代Hadoop，而这也代表了所有做云计算大数据公司的趋势。 最后，不得不提的是Spark的“One stack to rule them all”的特性，Spark的特点之一就是用一个技术堆栈解决云计算大数据中流处理、图技术、机器学习、交互式查询、误差查询等所有的问题，此时我们只需要一个技术团队通过Spark就可以搞定一切问题，而如果基于Hadoop就需要分别构建实时流处理团队、数据统计分析团队、数据挖掘团队等，而且这些团队之间无论是代码还是经验都不可相互借鉴，会形成巨大的成本，而使用Spark就不存在这个问题； 再说一点，Hadoop现在人才已经非常多了，想在该技术领域做到中国前100人之内是非常有难度的，而如果从事Spark则会更容易些，因为现在Spark人才不是稀少，而是太稀缺。 Hadoop从业者们，您需要Spark。

零基础学习 hadoop,没有想象的那么困难，也没有想象的那么容易。整个过程整理一下，给大 家参考，欢迎讨论，共同学习。 从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有 Linux 基础，虚拟机化和 java 基础，其实 hadoop,没有太大的困难。