探索大数据分析和 Hadoop

1. 大数据

大数据 是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据 曾被用作数据仓库概念，但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。

阅读: Forrester：大数据 – 从小规模开始，但迅速扩大

阅读: 驾驭大数据

阅读: 利用大数据获得新的业务洞察

观看: 大数据大学欢迎视频 - 什么是 Hadoop？

2. 简介 Hadoop

Hadoop 是指在 Apache Project 下针对大规模分布式数据处理而开发的特定软件框架。它的设计支持高度可扩展的网络，该网络有数千个包含 PB 级数据的节点。Hadoop 最初是使用 Java™ 语言来设计的，但目前已经扩展到其他许多脚本语言。了解可与 Hadoop 配合使用的架构以及使用它们的效益。

下载: Cloudera Hadoop Distribution

阅读: 使用 Linux 和 Hadoop 的分布式计算

阅读: Hadoop Distributed File System 简介

阅读: 用 Hadoop 进行分布式数据处理，第 1 部分：简介

阅读: 用 Hadoop 进行分布式数据处理，第 2 部分：深入介绍

阅读: 用 Hadoop 进行分布式数据处理，第3 部分：应用程序开发 

实践: 为 MapReduce 框架使用 SQL 类语言：使用高级声明式接口让 Hadoop 易于使用

3. 使用 Hadoop 解决问题

虽然 Hadoop 的灵感来自于 Google 的 MapReduce 使用模型，但 Hadoop 是一个通用的应用程序框架，可支持大量数据的处理。了解 Hadoop 在人工智能与 Apache Mahout 中的使用、使用了 Java 技术的 Hadoop，并结合使用 Hadoop 与 Dojo 工具包，以实现数据可视化。

阅读: Apache Mahout 简介

实践: 使用 Mahout 实现聚类

阅读: Java 开发 2.0：用 Hadoop MapReduce 进行大数据分析

阅读: 使用 Apache Hadoop 和 Dojo 降低商业智能成本，第 1 部分：使用 Apache Hadoop 挖掘现有数据 

阅读: 使用 Apache Hadoop 和 Dojo 降低商业智能成本，第 2 部分：使用 Dojo 工具包创建引人注目的、交互的报告 

实践: 使用 Apache Hadoop 处理日志

4. 大数据和云计算

大数据分析和云几乎是一个完美的组合。能够灵活地配置分析作业所必需的处理节点的数量，同时仅为实际使用的节点进行付费，这是云计算所提供的实实在在的好处的典型示例。了解云中的 Hadoop 并为 Hadoop 优化云计算集群。

阅读: 用 Linux 和 Apache Hadoop 进行云计算

阅读: 用 MapReduce 解决与云计算有关的大数据问题

阅读: 分析和优化云集群性能

阅读: 在云中使用 MapReduce 和负载平衡

实践: 在 IBM SmartCloud 中创建 Hadoop 集群

5. Hadoop 生态系统技术

Hadoop 本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。例如，通过可插入的作业调度程序，可以调整 Hadoop，（适用于小型或大型集群，包括多用户或交互式作业）。Hadoop 包含一些支持 Hadoop 体验的外部开源产品，比如 HBase、Pig 和 Hive。了解其他 Hadoop 技术和 Hadoop 软件生态系统。

阅读: Hadoop 中的调度：可插入式调度器框架简介

阅读: 使用 Apache Pig 处理数据

阅读: 开源大数据的重要性，第 1 部分：Hadoop 教程：通过 Informix、DB2 和d MySQL 使用 Java、Pig、Hive、Flume、Fuse、Oozie 和 Sqoop 来开发 Hello World 

实践: 入门 - Apache Hive - SQL 操作

阅读: 欢迎来到 Apache Chukwa

阅读: 寻找使用 HBase 开发语义 Web 的道路 

下载: Apache Hadoop 和生态环境技术

6. 其他大数据分析解决方案

虽然 Hadoop 是著名的开源大数据分析解决方案，但其他一些解决方案也提供了大数据分析的变体，比如专注于内存中的集群计算的 Spark、LexisNexis 开源大数据分析解决方案，以及 IBM® BigSheets，它有助于从结构化和非结构化数据源收集数据，从而创建商业智能。

阅读: Spark，一种快速数据分析替代方案 

实践: 利用 Spark 进行数据分析和性能改进

阅读: LexisNexis Migrates to Next Generation Big Data Processing Platform Offering Insurance Carriers Better, Faster Results and Minimized Premium Leakage

阅读: 使用 Twitter Storm 处理实时大数据

观看: 使用 Hadoop 和 IBM Big Sheets 增强大数据

阅读: BigSheets：处理业务洞察和分析方面的大数据挑战

观看: IBM Big Insights - 让大数据分析变得很轻松