从前几年到现在所谓的大数据时代，移动互联网、物联网、云计算、人工智能、机器人、大数据等前沿信息技术领域，逐个火了一遍，什么是大数据，大数据的技术范畴包括那些，估计很多人都是根据自己所熟悉的领域在盲人摸象。


下文从DT（Data technology，数据技术）技术泛型角度来系统地介绍什么是大数据，包括那些核心技术，各领域之间的关系等等：首先我们说机器学习，机器学习（machine learning），是计算机科学和统计学的交叉学科，核心目标是通过函数映射、数据训练、最优化求解、模型评估等一系列算法实现，让计算机拥有对数据进行自动分类和预测的功能；机器学习领域包括很多智能处理算法，分类、聚类、回归、相关分析等每类下面都有很多算法进行支撑，如SVM，神经网络，Logistic回归，决策树、EM、HMM、贝叶斯网络、随机森林、LDA等，无论是网络排名的十大算法还是二十大算法，都只能说是冰山一角；总之计算机要智能化，机器学习是核心的核心，深度学习、数据挖掘、商业智能、人工智能，大数据等概念的核心技术就是机器学习，机器学习用于图像处理和识别就是机器视觉，机器学习用于模拟人类语言就是自然语言处理，机器视觉和自然语言处理也是支撑人工智能的核心技术，机器学习用于通用的数据分析就是数据挖掘，数据挖掘也是商业智能的核心技术。


深度学习（deep learning），机器学习里面现在比较火的一个子领域，深度学习是已经被研究过几十年的神经网络算法的变种，由于在大数据条件下图像，语音识别等领域的分类和识别上取得了非常好的效果，有望成为人工智能取得突破的核心技术，所以各大研究机构和IT巨头们都投入了大量的人力物力做相关的研究和开发工作。


数据挖掘（data mining），是一个很宽泛的概念，类似于采矿，要从大量石头里面挖出很少的宝石，从海量数据里面挖掘有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域，如深度学习是机器学习一种比较火的算法，当然也可以用于数据挖掘。还有传统的商业智能（BI）领域也包括数据挖掘，OLAP多维数据分析可以做挖掘分析，甚至Excel基本的统计分析也可以做挖掘。关键是你的技术能否真正挖掘出有用的信息，然后这些信息可以提升指导你的决策，如果是那就算入了数据挖掘的门。


人工智能（artifical intelligence），也是一个很大的概念，终极目标是机器智能化拟人化，机器能完成和人一样的工作，人脑仅凭几十瓦的功率，能够处理种种复杂的问题，怎样看都是很神奇的事情。虽然机器的计算能力比人类强很多，但人类的理解能力，感性的推断，记忆和幻想，心理学等方面的功能，机器是难以比肩的，所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系，两者的相当一部分技术、算法都是重合的，深度学习在计算机视觉走步等领域取得了巨大的成功，比如谷歌自动识别一只猫，最近谷歌的AlpaGo还击败了人类顶级的专业围棋手等。但深度学习在现阶段还不能实现类脑计算，最多达到仿生层面，情感，记忆，认知，经验等人类独有能力机器在短期难以达到。


最后我们才说大数据（big data），大数据本质是一种方法论，一句话概括，就是通过分析和挖掘全量海量的非抽样数据进行辅助决策。上述技术原来是在小规模数据上进行计算处理，大数据时代呢，只是数据变大了，核心技术还是离不开机器学习、数据挖掘等，另外还需考虑海量数据的分布式存储管理和机器学习算法并行处理等核心技术。


总之大数据这个概念就是个大框，什么都能往里装，大数据源的采集如果用传感器的话离不开物联网、大数据源的采集用智能手机的话离不开移动互联网，大数据海量数据存储要高扩展就离不开云计算，大数据计算分析采用传统的机器学习、数据挖掘技术会比较慢，需要做并行计算和分布式计算扩展，大数据要互动展示离不开可视化，大数据的基础分析要不要跟传统商业智能结合，金融大数据分析、交通大数据分析、医疗大数据分析、电信大数据分析、电商大数据分析、社交大数据分析，文本大数据、图像大数据、视频大数据…诸如此类等等范围太广…，总之大数据这个框太大，其终极目标是利用上述一系列核心技术实现海量数据条件下的人类深度洞察和决策智能化！这不仅是信息技术的终极目标，也是人类社会发展管理智能化的核心技术驱动力。


image.png

大数据有很多方向，目前我们口中经常说的大数据的主要就业方向是：大数据研发，大数据分析与挖掘，深度学习，人工智能等方向。

下面我们就从学习的要求到学习的知识进行讲解


在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。

一、要求

1、大专及以上学历，最好是理工科毕业（部分文科学生学习起来比较费力）

2、年龄20-32岁


二、需要学习的知识

1、基础知识:java+linux

  • 学习大数据，只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了，当然Java怎么连接数据库还是要知道的，像JDBC一定要掌握一下，有同学说Hibernate或Mybites也能连接数据库啊，为什么不学习一下，我这里不是说学这些不好，而是说学这些可能会用你很多时间，到最后工作中也不常用，我还没看到谁做大数据处理用到这两个东西的，当然你的精力很充足的话，可以学学Hibernate或Mybites的原理，不要只学API，这样可以增加你对Java操作数据库的理解，因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

  • Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

2、大数据技术：hadoop-hive-oozie-web-flume-python-hbase-kafka-scala-spark


Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处理了，只不过你现在还可能对"大数据"到底有多大还没有个太清楚的概念，听我的别纠结这个。等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据，到时候你就不会觉得数据大真好，越大越有你头疼的。当然别怕处理这么大规模的数据，因为这是你的价值所在，让那些个搞Javaee的php的html5的和DBA的羡慕去吧。

记住学到这里可以作为你学大数据的一个节点。

  • Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

  • Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

  • Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

  • Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？它和Pig差不多掌握一个就可以了。

  • Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

  • Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

  • Kafka：这是个比较好用的队列工具，队列是干吗的？排队买票你知道不？数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据（比如好几百G的文件）我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方（比如Kafka）的。

  • Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。