华为大数据学习

预备知识

1. 了解大数据技术原理和 Hadoop 的基础知识

2. 熟悉 Linux 的管理和操作

3. 具有数据库的基本知识，有数据库的使用经验，了解 SQL 语言。

4. 具备一定软件开发能力，熟悉 Java、Python, C++等至少一种开发语言。

课程内容

Linux 模块一 （12 课时）

Linux 系统安装

Linux 基础使用

Linux 帮助系统和文件系统管理

用户组及权限管理

IO 及管道，循环语句，环境变量，shell 基础，脚本基础

文本处理工具，grep,awk,sed，正则表达式等

进程管理，远程管理工具

Linux 下文件查找与压缩

数据库模块二（12 课时）

搭建实验环境、 虚拟机/操作系统/数据库安装/数据库应用安装、数据库基础知识

SELECT 基本语法、过滤和排序数据、单行函数、高级子查询

多表查询、分组函数、子查询、操纵数据、使用集合运算

创建和管理表、内置约束、创建视图、其他数据库对象

python 开发模块三 （24 课时）

安装 Python，Python 解释器

第一个 Python 程序

使用文本编辑器，输入和输出

Python 基础，基础语法

变量类型，运算符

条件语句，循环语句，While 循环语句

for 循环语句，循环嵌套，break 语句

continue 语句，pass 语句

Number(数字)，字符串，列表(List)，元组

字典(Dictionary)，日期和时间

函数，模块，文件 I/O，File 方法，异常处理

内置函数，高级特性，切片，迭代，列表生成式

生成器，函数式编程，高阶函数，map/reduce，filter，sorted

返回函数，匿名函数，装饰器，偏函数，模块

使用模块，安装第三方模块

面向对象编程，类和实例，访问限制，继承和多态，获取对象信息

面向对象高级编程

实战

Hadoop 模块四 （24 课时）

Hadoop 基础

MapReduce

Hadoop 分布式文件系统

Hadoop 集群

Hive

HBase

ZooKeeper

华为 FusionInsight 模块五 （60 课时）

1. 数据仓库平台 FusionInsight LibrA

第一章分布式数据库架构

第二章FusionInsight LibrA 基本组件简介

第三章FusionInsight LibrA 产品特性和关键技术

第四章FusionInsight LibrA 配套工具集

第五章FusionInsight LibrA 安全管理

第六章FusionInsight LibrA 数据库管理系统并发控制

第七章FusionInsight LibrA 数据库性能监控

第八章 FusionInsight LibrA 数据迁移

第九章 FusionInsight LibrA SQL 介绍

第十章FusionInsight LibrA 数据库设计

第十一章 FusionInsight LibrA 应用程序开发指导

2.FusionInsight LibrA 实验

FusionInsight LibrA 基本操作、语法

FusionInsight LibrA 性能优化

网络 KPI 数据栅格化处理

重点区域数据分析

流动人口常驻地分析

3.大数据挖掘理论

第十二章预备知识和数据介绍

第十三章数据预处理

第十四章数据仓库介绍

第十五章分类 (Classification)

第十六章聚类 (Clustering)

第十七章离群点检测

第十八章关联规则（Association Rule）

第十九章FusionInsight Miner 和华为云机器学习服务 MLS

大数据挖掘项目实战 （24 课时）

银行定期存款业务预测

客户分群

鲍鱼生长年龄预测