大数据分析」最详细的大数据分析师技能图谱详解与零基础自学内容大全

全球的数据量正在以每18个月翻一倍的惊人速度增长，世界正在高速数字化，大数据堪比石油，如何掘金大数据是所有个人、企业和国家的机遇和挑战。中国是人才大国，能理解和应用大数据的创新人才更是稀缺资源。大数据分析应用已经渗透到我们生活的方方面面。

随着大数据在国内的发展，大数据相关人才却出现了供不应求的状况，大数据分析师更是被媒体称为“未来最具发展潜力的职业之一”。

大数据分析师

大数据分析师就是一群玩数据的人，玩出数据的商业价值，让数据变成生产力。

大数据和传统数据的最大区别在于，它是在线的、实时的、规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。

大数据领域三个大的技术方向

方向一：Hadoop大数据开发方向

方向二：数据挖掘、数据分析&机器学习方向

方向三：大数据运维&云计算方向

精通任何方向之一者，均会“前（钱）”途无量，而需要说明的是，三个方向中，数据挖掘、数据分析&机器学习是大数据催生新兴职业，数据分析师成IT界的“大熊猫”。

 

大数据分析师技能图谱

数据挖掘/数据分析/数据仓库/商业智能/大数据技术/人工智能/机器学习/深度学习/项目管理/系统架构

1. 统计分析：大数定律、抽样推测规律、秩和检验、回归分析、方差分析等
2. 可视化辅助工具：Excel、PPT、Xmind、Visio
3. 大数据处理框架：Hadoop、Kaffka、Storm、ELK、Spark
4. 数据库：SQLite、MySQL、MongonDB、Redis、Cassandra、HBase
5. 数据仓库、商业智能：SSIS数据仓库、SSAS MDX多维数据集、Ssrs、DW2.0
6. 数据碗蕨工具：Matlab、SAS、SPSS、R、Python
7. 人工智能、机器学习
8. 挖掘算法：数据结构、一致性、常用算法
9. 编程语言：Python、R、Ruby、Java

自学掌握技能

阶段一：业务数据分析师

• 基础操作

1、数据录入

2、快速填充

3、数据格式

4、查找替换

5、冻结拆分

6、合并计算

7、排序筛选

8、分类汇总

9、公式填充

10、条件格式

11、插入表格

• 函数

1、函数书写

2、逻辑函数if and or

3、逻辑函数if嵌套

4、统计函数count系列函数

5、统计函数sum系列函数

6、统计函数average系列函数

7、查找函数vlookup精确查找与模糊查找

8、查找函数hlookup

9、查找函数match index lookup

10、引用函数及数学函数

11、日期函数

12、文本函数

13、信息函数

14、数组入门

• Excel制图

1、柱状图

2、饼图

3、折线图

4、雷达图

5、锥形图

6、散点图

7、地图

8、复合图

• 数据透视图表

1、数据透视表结构

2、数据透视表的步骤

3、数据透视表的项

4、父字段和子字段

5、分析选项卡

6、数据透视图

7、样式选项卡

• 数据库基础

1、数据库简介

2、DBMS和数据库的关系

3、MySQL简介

4、安装配置

5、环境变量的配置

6、Navicat管理工具

7、SQL语句的基本概念

8、SQL语句的分类

9、基本数据类型

• 字段属性

1、添加和删除主键

2、添加和删除外键

3、添加和删除唯一键

4、添加和删除自增

5、添加和删除默认值

• 检索数据

1、select语句

2、Update语句

3、Insert语句

4、Delete语句

5、逻辑操作符

6、比较操作符

• 汇总数据

1、聚合函数

2、avg()函数

3、count()函数

4、max()函数

5、min()函数

6、sum()函数

• 连接查询

1、笛卡尔积

2、内部连接操作

3、左外连接操作

4、右外连接操作

5、自连接操作

6、多表实例操作

• 存储过程

1、MySQL变量的定义

2、MySQL SET与DECLARE声明变量

3、MySQL预处理语句

4、MySQL存储过程的概念详解

5、MySQL结束符的设置

6、MySQL存储过程的基本语句

• 事务处理

1、事务的原子性

2、事务的一致性

3、事务的隔离性

4、事务的持久性

5、使用set

6、MySQL的rollback

7、MySQL的commit

• Tableau软件及基本操作

1、Tableau公司产品介绍

2、Tableau安装包获取

3、Tableau平台注册与登录

4、导入数据与连表

5、功能区域介绍使用

6、数据排序

7、分层建立

8、数据钻取

9、时间序列钻取

10、计算字段

• 绘图

1、条形图

2、折线图

3、组合图

4、填充地图

5、饼图

6、气泡图

7、热力图

8、凸显图

9、嵌套条形图

10、标靶图

11、散点图

12、直方图

13、仪表板

阶段二：SPSS建模分析师

• 函数

1、函数的定义

2、单调性

3、周期性

4、有界性

5、奇偶性

6、常见函数

7、对数函数

8、指数函数

• 函数的极限和导数

1、数列极限定义

2、无穷大和无穷小

3、函数极限的定义

4、导数的定义

5、求导法则

6、导数的四则运算

7、导数的链式法则

• 导数的基本应用

1、判断单调性

2、函数凹凸的定义

3、函数极值的定义

4、函数极值的求解

5、拉格朗日乘数法

6、泰勒公式

• 不定积分和定积分

1、不定积分的定义

2、积分计算方法

3、定积分的涵义

4、定积分的基本性

5、定积分的算法实践

• 矩阵

1、矩阵的定义

2、常见矩阵

3、矩阵的基本运算

4、矩阵的转置

5、对称矩阵

6、行列式

• 矩阵的应用

1、齐次方程组求解

2、非齐次方程组求解

3、相似矩阵

4、二次型

5、正定矩阵

6、半正定矩阵

• 矩阵的分解

1、特征值

2、特征向量

3、奇异值

4、QR分值

5、特征值分解

6、SVD分解

• 古典概率问题

1、古典概率计算

2、条件概率

3、全概率

4、贝叶斯公式

5、概率的独立性

6、联合概率

• 随机变量

1、随机变量的定义

2、离散型随机变量

3、常见离散型分布

4、连续性离散变量

5、常见连续性分布

6、二项分布

7、高斯分布

• 统计

1、统计的基本定义

2、常见的统计量

3、期望、方差、协方差、相关系数

4、三大统计分布

5、大数定理

6、中心极限定理

7、极大似然估计

• 界面介绍

1、spss软件介绍

2、spss操作介绍

3、spss四大窗口

4、spss变量操作

5、spss界面修改

• 基础操作

1、导入导出文件

2、数据基本操作

3、变量属性描述

4、数据管理

5、数据编码转换

6、计算变量

• 问卷操作

1、问卷设计思路

2、构建变量

3、抽样

4、问卷录入

5、数据清洗

6、样本检验

• 效度检验

1、效度定义

2、效度指标

3、效度检验原理

4、主成分分析法

5、效度检验操作

6、效度指标审查

• 信度检验

1、信度定义

2、信度指标

3、信度检验原理

4、信度检验操作

5、信度指标审查

• 矩阵的应用

1、矩阵求导公式

2、最小二乘法的基本思想

3、最小二乘法的推理过程

4、正定矩阵

5、半正定矩阵

6、齐次方程组求解

7、非齐次方程组求解

• 变量分析

1、频数分析

2、交叉表分析

3、描述统计分析

4、卡方检验

5、相关性分析

• 画图

1、条形图

2、箱体图

3、直方图

4、折线图

5、茎叶图

6、饼图

• 参数检验

1、奇异值检验

2、单样本T检验

3、独立样本T检验

4、配对样本T检验

5、单方差分析

6、多因素方差分析

7、协方差分析

• 回归分析

1、最小二乘法原理

2、一元线性回归分析

3、一元非线性回归分析

4、多元线性回归分析

5、多元非线性回归分析

6、层次回归分析

• 中介效应检验

1、中介效应定义

2、中介效应模型介绍

3、中介效应模型构建

4、中介效应指标解读

5、中介效应判定

• 调节效应检验

1、调节效应定义

2、调节效应模型介绍

3、调节效应模型构建

4、哑变量构建

5、中介效应判定

• 聚类分析

1、k-means聚类

2、两步聚类

3、层次聚类

4、其他聚类拓展

阶段三：R语言建模分析师

• 语言简介

1、R的用户界面

2、R的对象

3、编写R自定义函数

4、安装R第三方包

5、查看帮助文档

6、原子型向量

7、列表

8、数据框

• 数据操作

1、正整数索引

2、负整数索引

3、零索引

4、空格索引

5、逻辑值索引

6、名称索引

7、美元符号与双中括号

8、逻辑值取子集

9、缺失值处理

• 环境系统

1、环境

2、操作R环境

3、作用域规则

4、赋值

5、函数求值

6、闭包

• 控制流

1、条件分支语句

2、if语句

3、if else语句

4、switch语句

5、循环语句

6、for循环

7、while循环

8、repeat循环

9、break、next控制命令

10、自动化报表案例

• S3面向对象系统

1、S3系统

2、属性

3、泛型函数

4、方法

5、类

6、S3与调试

7、面向对象系统案例

• 基本对象操作

1、使用原函数

2、使用逻辑函数

3、使用数学函数

4、应用数值方法

5、统计函数

6、使用apply函数族

7、字符串的使用

8、正则表达式

• 连接数据库

1、操作关系型数据库

2、访问表和表中字段

3、用SQL对关系型数据库进行查询

4、分块提取查询结果

5、事务操作

6、操作非关系型数据库

7、dplyr包的基本操作

• 实例分析

1、假设检验

2、方差分析

3、一元线性回归

4、多元线性回归

5、逐步回归

6、哑变量模型

7、多项式回归

8、列联表制表与分析

• 项目分析

1、客户分析-用户运营分析

2、客户分析-用户价值分析

3、产品分析

4、投资分析

阶段四：Python语言建模分析师

• 基础语法

1、Python简介

2、变量及标识符命名

3、基础语法和特殊字符

4、基础数据类型

5、字符串常用操作

6、输入&输出

7、列表及元组特性

8、字典及集合特性

9、字典及列表类型的嵌套

10、深复制浅复制

• 控制流语句

1、if条件语句

2、if-else语句

3、elif语句

4、if语句的嵌套

5、while循环

6、for循环遍历

7、break&continue

8、异常捕获

9、异常处理

• 函数

1、自定义函数

2、函数的参数介绍

3、返回值的特性

4、局部环境与全局环境

5、递归函数

6、匿名函数

7、列表推导式

8、高阶函数

9、迭代器与生成器

10、函数的应用

• 文件操作

1、文件类型介绍

2、open函数

3、绝对路径&相对路径

4、文件操作模式

5、文件管理器

6、二维数据写入

• 模块

1、模块和包

2、模块导入

3、时间模块

4、随机数模块

5、数据库交互

6、正则表达式

7、re模块常用模式

8、原子及通配符

9、限定符

10、模式选择符及模式单元符

• 面向对象

1、面向对象与面向过程

2、类与对象

3、实例属性&实例方法

4、类属性&类方法

5、封装、继承、多态

6、面向对象的深层介绍

• 爬虫简介&爬虫原理

1、爬虫概念

2、爬虫与数据分析

3、爬虫的分类

4、爬虫的原理

5、爬虫的处理流程

6、爬虫对应网络的危害

7、为什么需要反爬虫

8、常见的反爬虫策略

9、常见的反反爬虫策略

• urllib,urllib2

1、urllib、urllib2初级使用

2、Cookielib、cookies

3、urllib.request的初级使用

4、urllib.request的高级使用

5、urllib.request异常处理

6、cookies处理及案例

• requests库

1、get与post请求

2、网页及图片的下载

3、响应与编码

4、cookies与登录

5、超时异常处理

6、代理设置

• 网页解析

1、正则表达式解析网页

2、xpath解析

3、bs4搜索文档树

4、css选择器

5、实战应用

• NumPy科学计算库

1、数据结构详解

2、数组的特性

3、随机数数组

4、数组的运算与函数

5、数组常用操作

• Pandas数据分析库

1、Pandas数据结构详解

2、Pandas索引对象

3、Series对象及操作

4、DataFrame对象及操作

5、Pandas的数学计算

6、Pandas读取本地文件

7、Pandas连接数据库

8、数据筛选与清洗

9、缺失值处理

10、数据的连接与排序

11、字符串向量化处理

12、Map与Apply函数

13、GroupBy分组与应用

14、时间序列处理

15、透视表

• Matplotlib可视化库

1、Matplotlib介绍

2、Matplotlib核心概念

3、Matplotlib通用绘图过程

4、Matplotlib常见图像绘制

5、Pandas与matplotlib

阶段五：大数据分析

• Linux基础

1、初识linux

2、Vmware虚拟机的安装

3、centos7的安装

4、配置网络环境

5、各种安装问题的总结

• Linux常用远程连接工具

1、xshell的介绍和安装

2、CRT的介绍和安装

3、notepad++的安装

4、其他远程工具了解

• Linux基础命令

1、linux根目录的介绍

2、linux常用命令

3、find命令讲解

4、vi/vim命令讲解

• Linux用户权限管理

1、linux用户讲解

2、linux用户组的讲解

3、添加删除用户及用户组

4、修改文件权限

5、修改所有用户和用户组

6、配置sudo权限

• Linux文件管理

1、gzip压缩

2、tar压缩打包

3、linux类型

4、rpm离线安装

5、yum在线安装

• Linux常用系统管理命令

1、网络管理命令

2、服务管理命令

3、端口管理命令

4、进程管理命令

5、资源管理命令

• linux定时任务

1、date命令

2、at定时命令

3、crontab定时命令

• hdfs框架

1、hdfs原理介绍

2、hdfs副本机制

3、hdfs读取流程

4、hdfs写入流程

5、hdfs配置

6、hdfs高可用

7、hdfs常用命令

• MapReduce

1、配置maven系统

2、mapreduce的核心思想

3、wordcount程序

4、shuffle过程详解

• Hive概述

1、数据库（RDBMS）简介

2、数据仓库（Hive）简介

3、数据库和数据仓库功能对比

4、数据库和数据仓库应用场景分析

5、Hive的实现机制

6、SQL On Hadoop概念讲解

• Hive体系结构

1、Hive体系架构讲解

2、Metastore讲解

3、配置MYSQL为Hive的元数据库

• Hive的SQL命令

1、基本的HiveQL语句讲解

2、Hive常用的Linux Shell参数

3、Hive扩展环境配置

4、三种创建表的方式

5、Hive外部表

6、Hive分区表

7、Hive常用的分析函数

8、数据的多种导入和导出方式

9、Hive常用的聚合函数

10、Hive的多种排序函数

大数据分析师岗位与平均薪资

 

业务（数据挖掘）分析师、数据分析员、数据分析师、建模数据挖掘、大数据挖掘、大数据分析师、首席数据分析师（CA）、大数据科学家、大数据高级系统架构师、初/中/高级数据产品经理