hadoop读取mysql数据_大数据解决方案-（基础篇）

学习大数据分析与应用课程的首要任务，是先了解统计与建模方法和数据挖掘方法所呈现出来的效果，然后依次学习Excel数据处理及编程、MySQL数据库的简单操作及Hadoop的基础知识。从而为进阶、提高打好基础。

基础

统计与建模方法演示

探索性数据分析演示

常用概率分布和渐进性演示

置信区间和假设检验演示

线性回归模型演示

广义线性回归模型演示

数据挖掘方法演示

分类预测基本流程演示

数据预处理演示

分类方法演示

聚类分析演示

关联分析演示

Excel

Excel数据处理

练习1 Excel基本操作

练习2 Excel数据可视化

练习3 Excel函数与公式

练习4 Excel透视表

练习5 Excel数据分析

Excel高级编程

练习1 VBA程序基础

练习2 VBA数据类型

练习3 VBA流程控制

练习4 VBA综合应用

MySQL

Mysql数据库操作

练习1 Mysql数据操作语句

练习2 Mysql数据查询语句

练习3 Mysql数据查询高级语句

练习4 Mysql视图和索引

Hadoop架构与基础知识

Hadoop安装

练习1 Hadoop安装环境配置

练习2 Hadoop单机模式安装

练习3 Hadoop伪分布式模式安装

练习4 Hadoop完全分布式模式安装

HDFS原理及操作

练习1 读取HDFS文件内容-例1

练习2 读取HDFS文件内容-例2

练习3 读取HDFS文件内容-例3

MapReduce原理与实现

练习1 求每年的最低温度

练习2 求温度的平均值

Hadoop开发实例-利用MapReduce进行排序

练习1 求各个部门的总工资

练习2 求各个部门的人数和平均工资

MapReduce词频统计

练习1 MapReduce词频统计

迭代式MapReduce程序开发

练习1 MapReduce程序开发

Hadoop-HA部署与使用

安装准备

练习1 配置主机

练习2 安装JDK与搭建zookeeper集群

安装Hadoop集群

练习1 安装Hadoop集群

Eclipse连接Hadoop运行mapreduce程序

练习1 Eclipse连接Hadoop运行mapreduce程序

（1）数据的统计与建模方法和进行数据挖掘的方法

以演示的教学模式，完成对数据进行汇总、统计、建模、分析、挖掘等一套完整的过程，使学生能够直观地掌握大数据分析与应用的常用方法和流程。

（2）Excel进行数据进行处理的方法

数据分析工作普及度排行第五位（咨询公司Kdnuggets发布），对学生无任何基础要求，Excel 是微软公司office系列办公软件的组件之一，它是一个功能强大的电子表格程序。Excel不仅可以将整齐而美观的表格呈现给用户，还可以用来进行数据的分析和预测，完成许多复杂的数据运算，帮助使用者做出更加有根据的决策。同时它还具有强大的可视化功能，可以将表格中的数据通过各种各样的图形、图表的形式表现出来，增强表格的表达力和感染力。在Excel中，有些数据分析的高级功能需要掌握VBA才能充分实现。因此Excel是用于数据挖掘与数据分析的最基本软件工具。

（3）MySQL数据库的基本使用方法和基本编程方法

数据分析工作普及度排行第三位（咨询公司Kdnuggets发布），因体积小、速度快、总体拥有成本低，尤其是开源的优势，使其在中小型网站的开发工作得到极普通的应用。实验对学生无基础要求，可掌握MySQL数据库的基本使用方法和SQL编程的基本方法

（4）Hadoop架构和环境搭建的知识学习

Hadoop作为是整个大数据生态系统的基石，在数据分析工作普及度排行第七位，其架构和环境搭建的知识是必须要学习掌握的。通过其实现分布式文件系统HDFS，并以此为基，讲述了Hadoop安装、HDFS原理及操作、MapReduce原理与实现、迭代式MapReduce程序开发等。通过本类实验，学生可以掌握用Hadoop进行大数据分析的常用方法和流程。