大数据技术与应用原理

0.前期准备

个人前言：最近一方面也是工作需要，另一方面也是个人兴趣，准备坚持学习一段时间的大数据相关的知识，就写了点学习笔记，一来勉励自己坚持学下去，二来也可以帮助刚入门想一起探索大数据之路的朋友们一点小小参考。这段时间我准备先跟着林子雨老师的网课先做个简单的入门了解。贴上地址，中国大学MOOC《大数据技术原理与应用》:课程地址
https://www.icourse163.org/course/XMU-1002335004
学生服务站提供了一些资源下载：学生服务站地址http://dblab.xmu.edu.cn/post/4331/

本课程系统介绍了大数据相关知识，共有13讲
系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、 NoSQL数据库、云数据库、分布式并行编程模型MapReduce、Spark、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用
在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术

课程目录
第1讲 大数据概述
第2讲 大数据处理架构Hadoop
第3讲 分布式文件系统HDFS
第4讲 分布式数据库HBase
第5讲 NoSQL数据库
第6讲 云数据库
第7讲 MapReduce
第8讲 Hadoop再探讨
第9讲 Spark
第10讲 流计算
第11讲 图计算
第12讲 数据可视化
第13讲 大数据在不同领域的应用

talk is cheap, just do it.

1.大数据概述

1.1 大数据时代

表1.1.1 三次信息化浪潮

信息化浪潮	发生时间	标志	解决问题	代表企业
第一次浪潮	1980年前后	个人计算机	信息处理	Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等
第二次浪潮	1995年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次浪潮	2010年前后	物联网、云计