想学习大数据技术，需要学习哪些技术

想学习大数据技术，需要学习哪些技术？

大数据技术作为决策神器，日益在社会治理和企业管理中起到不容忽视的作用，美国，欧盟都已经将大数据研究和使用列入国家发展的战略，类似谷歌，微软，百度，亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发展的关键筹码。这个系列的教程将从技术和应用的角度解读大数据与云计算里的具体内容，和你一起拔高人生的视野。

首先，大数据技术是什么？

简而言之，从大数据中提取大价值的挖掘技术。专业的说，就是根据特定目标，从数据收集与存储，数据筛选，算法分析与预测，数据分析结果展示，以辅助作出最正确的抉择，其数据级别通常在PB以上，复杂程度前所未有。

关键作用是什么？

挖掘出各个行业的关键路径，帮助决策，提升社会（或企业）运作效率。

最初是在怎样的场景下提出？

在基础学科经历信息快速发展之后，就诞生了“大数据”的说法。但其实是随着数据指数级的增长，尤其是互联网商业化和传感器移动化之后，从大数据中挖掘出某个事件现在和未来的趋势才真正意义上被大众所接触。

大数据技术包含的内容概述？

非结构化数据收集架构，数据分布式存储集群，数据清洗筛选架构，数据并行分析模拟架构，高级统计预测算法，数据可视化工具。

大数据的平台有：谷歌的MAPREDUCE 和开源HADOOP平台（最初源于雅虎）。NOSQL更优先于MYSQL. 
大数据所用的数据记录单位：拍字节PB（2的50次方）和艾字节EB（2的60次方），泽字节ZB （2的70次方），太字节TB。1EB=10亿GB。1ZB=1024EB
2007年，所有数据中只有7%是存储在报纸、书籍、图片等媒价上的模拟数据，其余全部是数字数据。
2013年世界上存储的数据预计能达到约1.2泽字节，其中非数字数据只占不到2%。
人类存储信息量的增长速度比世界经济的增长速度快4倍。而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。
大数据告诉我们“是什么”而不是“为什么”。在大数据时代，我们不必知道现象背后的原因。
大数据的算法从因果关系向相关关纱转化。这也是思维方式的转变。
推荐电影《点球成金》MONEYBALL

大数据的三个思维方式：
1、不要依靠分析少量的数据样本，不要抽样调查。要分析与某事物相关的所有数据。
2、不要追求精确性，要乐于接受纷繁复杂的数据。
3、不要探求难以捉摸的因果关系，转而关注事物的相关关系。

意外的案例：
如果把一个在社区内有很多连接关系的人从社区关系网中剔除掉，这个关系网会变得没那么高效，但却不会解体。但是如果把一个与所在社区之外的很多人有着连接关系的人从这个关系网中剔除，整个关系网奶快就会破碎成很多的小块。节点的做用。
社交网络的多样性是有额外价值的。这是一个人在社会关系网中的存在价值。

互联网可以使数据达到精确吗？只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下的95%的非结构化数据都无法被利用。只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。
 
数据与算法那个更重要呢？简单的算法+大数据，还是复杂的算法+小数据。结论就是大数据比算法智能系统更重要。 

一、首先，大数据是个好东西。与我们生活息息相关，然后，问个3个问题。多少数据量，你觉得是大?大数据工具比如hadoop能解决什么样的问题?对企业有什么利弊?大数据工具hadoop能做的事情，为什么传统的企业数据库比如sql,oracle就不能做?弄大数据以前，先思考这3个问题。不要人云亦云。

就像当年的云计算，外行人吵得好热好热，内行人都在呵呵。技术层面来说，分布式解决方案升级版?

二、Hadoop入门及生态系统介绍

　　介绍Hadoop的发展，系统架构，相关版本和如何学习Hadoop。

　　新一代虚拟技术Docker

　　新一代的虚拟技术Docker的基本情况介绍和使用，并利用Docker快速的构建Hadoop的学习环境

　　1. 新一代虚拟技术-容器虚拟化

　　2. 在Windows上安装使用Docker

　　Hadoop学习

　　1. Hadoop介绍

　　2. Hadoop系统搭建与部属

　　a) Hadoop的三种安装方式

　　b) Hadoop的Shell命令

　　3. Hadoop HDFS组件分析

　　a) HDFS架构，SNN及副本放置策略

　　b) HDFS API

　　4. Hadoop MapReduce工作原理与架构

　　a) MapReduce API及工作流程

　　b) MapReduce 错误处理，作业调度

　　c) MapReduce 重要组件：Combiner

　　d) MapReduce 重要组件：Partitioner

　　e) MapReduce 重要组件：RecordReader

　　5. Hadoop MapReduce 编程

　　a) MapReduce 计数器

　　b) MapReduce Join

　　c) MapReduce Sort

　　HBase学习

　　基于Hadoop的关系型数据库HBase的学习，学习目标：了解HBase的应用场景，学习如何使用HBase

　　1. Hbase介绍

　　2. Pig,HBase,Hive三者的关系比较

　　3. HBase系统搭建与部属

　　4. HBase的Shell操作

　　5. HBase的客户端操作

　　Hive学习

　　基于Hadoop的数据仓库和SQL查询引擎Hive 的学习，学习目标：了解Hive的应用场景，学习如何使用Hive，HQL语句，学习如何利用Hive来做数据分析

　　1. Hive综述

　　2. Hive系统搭建与部属。

　　3. Hive的表操作

　　4. Hive的数据加载与操作

　　5. Hive的查询语句HQL

　　6. Hive的窗口函数，分析函数和UDTF操作

　　7. Hive自定义函数

　　8. Hive HQL的优化

　　基于Hadoop的开发实战

　　1. 利用SQOOP来做简单的ETL抽取

　　2. 日志分析系统

　　3. 推荐系统(暂定)

待续.....