大数据技术基础编程、实验和案例----大数据课程综合实验案例

一、实验目的

        (1）熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；

        (2）了解大数据处理的基本流程；

        (3）熟悉数据预处理方法；

        (4）熟悉在不同类型数据库之间进行数据相互导入导出；

        (5）熟悉使用Python，echarts进行可视化分析；

        (6）熟悉使用idea编写Java程序操作HBase数据库。

二、实验平台

1. 操作系统：Linux（建议Ubuntu16.04）；
2. Hadoop版本：2.7.1。

三、实验步骤

（1）步骤零：实验环境准备

（2）步骤一：本地数据集上传到数据仓库Hive

（3） 步骤二：Hive数据分析

（4） 步骤三：Hive、MySQL、HBase数据互导

（5）步骤四：利用R进行数据可视化分析。

有问题的小伙伴可以在评论区提出喔~