Lyun911的博客

如何学习数据分析一、B站 蜡蜡Joanna 的经验1 数据分析的概念2 数据分析师的学习路线2.1 理论基础：（统计学、概率学知识）2.1.1 统计学：2.1.2 概率论 ：2.2 技能点2.2.1 SQL语句2.2.2 Tableau2.2.3 Python2.2.4 Excel2.3 商业知识3 数据敏感3.1 什么是数据敏感3.2 数据敏感性对工作的用处3.3 如何培养数据敏感性4 up的面经三、知乎相关文章王礼（主要介绍大数据、数据分析，与商业结合紧密）一、B站 蜡蜡Joanna 的经验from

数据分析师是什么职责工作内容机遇与挑战职责数据分析师主要职责就是解释数据并将其转换为信息这些信息可提供改进业务的方式，从而影响业务决策数据分析师从各种来源收集信息，并解释模式和趋势因此，数据分析师的职位就是收集并解释数据后，向更广泛的业务/相关同事报告在全面研究中发现的内容工作内容收集和解释数据分析结果将结果报告给业务的相关成员识别数据集的模式和趋势与业务或管理团队中的团队一起建立业务需求定义新的数据收集和分析过程这是一个循环往复的过程机遇与挑战数据的海量性（利用Pyth

数据分析师职业发展路径1、明确问题 Business Understanding（洞见，领头羊）（管理岗）2、抓取数据 Data Acquisition（15k初学者）3、数据清理 Data Cleanup（20k资深）4、建模分析 Data Modeling&Analysis（25k高阶）5、执行 Deployment（可视化呈现，报告）（初学者）1、明确问题 Business Understanding（洞见，领头羊）（管理岗）对应岗位商业分析师 Business Analysis（BA

数据分析基本流程1、数据获取2、清洗数据3、使用数据4、展现和发布数据5、存储问卷调查去重分析制作数据门户数据存储物联网设备转换挖掘报表制作索引数据APP采集补缺建模数据分享压缩归档网络爬虫过滤/汇聚回归/分类具体工作内容收集和解释数据分析结果将结果报告给业务的相关成员识别数据集的模式和趋势与业务或管理团队中的团队一起建立业务需求定义新的数据收集和分析过程学习路径SQL+MYSQL实战统计学等数学基础

# 1.1 创建db名字叫 flight 创建新表名字叫on_time_performance# 1.2 航班数据检查csv ，导入到sql数据库中# 1.3 执行count语句查看总行数SELECT count(*) AS row_num FROM on_time_performance;# 2.1 在航班及时率表中有如下delay延迟字段，请找出导致延迟次数最多的是哪一个原因 ，并给出各个原因累计的延迟时间 WeatherDelay, CarrierDelay, NASDelay, Se

Pandas的时序分析8 pandas.dataframe.diff() 做差功能注：以下使用 Jupyter Notebook 演示8 pandas.dataframe.diff() 做差功能df = pd.DataFrame( { 'a': [11, 12, 13, 14], 'b': [11, 22, 33, 44], 'c': [55, 66, 77, 88] })df.diff() # 用本行数据 - 上一行数据（此

Pandas的时序分析7 pd.dataframe.shift() 移动功能7.1 数据移动，index不动7.2 计算前后n天的差异7.3 日期 index上下移动注：以下使用 Jupyter Notebook 演示7 pd.dataframe.shift() 移动功能pandas.dataframe.shift() 函数可以把数据移动指定的位置period 参数指定移动的步幅，可以为正为负 .axis 指定移动的轴，1为行，0为列载入数据：import pandas as pdpd.set

Pandas的时序分析6 pd.dataframe.timezone 时区转换功能6.1 df.tz_localize 时区位置6.2 df.tz_convert 时区转换6.3 不同时区的转换，带时区的 date_range注：以下使用 Jupyter Notebook 演示6 pd.dataframe.timezone 时区转换功能在处理数据的时候，我们拿到的数据一般都有两种时间状态:A 本地时间状态，不区分时区问题B 带有时区的时间状态timezone 功能就是解决时区问题的利器载入

Pandas的时序分析5 pd.Period 和 pd.PeriodIndex 的使用5.1 pd.Period('0000-00-00 00:00:00', freq = 'Y/Q/M/W/D/H')5.1.1 freq = 'Y'5.1.2 freq = 'Q'5.1.3 freq = 'M'5.1.4 freq = 'W'5.1.5 freq = 'D'5.1.6 freq = 'H'5.2 pd.period_range() 的用法5.3 使用 沃尔玛的营收数据 演示（设置季度起止）注：以下使用

Pandas的时序分析4 pd.to_datetime 统一时间格式4.1 .to_datetime() 常见时间的转换4.2 .to_datetime 日期在前 dayfirst4.3 .to_datetime 处理特殊格式 format4.3 .to_datetime 处理无效时间 errors4.4 .to_datetime 和 timestamp注：以下使用 Jupyter Notebook 演示4 pd.to_datetime 统一时间格式4.1 .to_datetime() 常见时间的转换

Pandas的时序分析3 pd.tseries 中的节假日功能3.1 自定义节假日3.2 自定义工作日3.3 自动计算 n个工作日后的日期注：以下使用 Jupyter Notebook 演示3 pd.tseries 中的节假日功能这个东西用的少，又比较复杂，涉及的功能包括：pandas.tseries.offsets.CustomBusinessDaypandas.tseries.holiday.AbstractHolidayCalendarpandas.tseries.holiday.near

Pandas的时序分析2 pd.date_range() 时间序列2.1 .date_range() 生成时间序列，作为 index2.2 .date_range() 生成一定间隔的时间序列2.3 .difference() 找到缺失的日期2.4 .asfreq() 按时间序列查看数据注：以下使用 Jupyter Notebook 演示2 pd.date_range() 时间序列什么是 Date_rangePandas 中的 .date_range() 函数用来生成一个日期序列，在需要构造一个日期序

Pandas的时序分析1 Pandas的 DatetimeIndex1.1 使用 datetimeindex1.2 使用 .ReSampling 重采样功能注：以下使用 Jupyter Notebook 演示1 Pandas的 DatetimeIndexDatetimeIndex 是什么从本地文件中加载一系列数据，如果其中一列是日期数据，DataFrame 加载后，日期数据默认是一个 object （可以看成是 str）类型的 “列”如果想要将该列设置为索引，并且是时间戳索引的话，可以用到 pd.

Pandas的时序分析1 Pandas的 DatetimeIndex1.1 使用 datetimeindex1.2 使用 .ReSampling 重采样功能2 pd.date_range() 时间序列2.1 .date_range() 生成时间序列，作为 index2.2 .date_range() 生成一定间隔的时间序列2.3 .difference() 找到缺失的日期2.4 .asfreq() 按时间序列查看数据3 pd.tseries 中的节假日功能3.1 自定义节假日3.2 自定义工作日3.3 自动

Pandas基础7 数据库数据内容的读取和写入7.1 利用sql接口访问数据库7.2 读取 MySQL的数据7.2.1 两种方式读取 MySQL的 Table7.2.2 使用 MySQL的 Query功能读取特定数据7.3 使用to_sql进行数据写入注：以下使用 Jupyter Notebook 演示7 数据库数据内容的读取和写入数据库除了之前介绍的csv、excel类数据外，也是可以利用pandas直接操作的数据来源pandas.read_sql 可以在数据库中执行指定的SQL语句查询或对整张表

Pandas基础6 Replace 替换缺失数据6.1 单值替换6.2 多值替换6.3 列表替换6.4 re正则替换注：以下使用 Jupyter Notebook 演示6 Replace 替换缺失数据首先创建一个 DFimport pandas as pdimport numpy as npdf = pd.read_csv('weather_data.csv')6.1 单值替换# 替换单个数据newdf = df.replace( -99999, value = np.

Pandas基础5 N/A 缺失数据的补偿方法5.1 填充缺失数据5.2 使用 `fillna` 填充数据5.3 使用 `interpolate` 拟合数据5.4 使用 `dropna` 删除缺失的数据注：以下使用 Jupyter Notebook 演示5 N/A 缺失数据的补偿方法5.1 填充缺失数据首先创建一个DF：import pandas as pddf = pd.read_csv( 'weather_data.csv', parse_dates = ['day']) #

Pandas基础4 Pandas读写 CSV、EXCEL4.1 CSV 的读取4.2 CSV 的写入4.3 EXCEL 的读取4.4 EXCEL 的写入注：以下使用 Jupyter Notebook 演示4 Pandas读写 CSV、EXCEL利用Pandas进行数据的输入和输出通常会有：CSV，Excel，Table 等方式4.1 CSV 的读取stock_data.csvimport pandas as pd# 读取 csv文件df = pd.read_csv('stock_data

Pandas基础3 DataFrame的创建模式（5种）3.1 CSV to DataFrame3.2 XLSX to DataFrame3.3 Dict-List to DataFrame3.4 List-Turple to DataFrame3.5 List-Dict to Dataframe注：以下使用 Jupyter Notebook 演示3 DataFrame的创建模式（5种）3.1 CSV to DataFrameweather_data.csvweather_data2.csv

Pandas基础2 数据框体Dataframe的基本使用2.1 用 Dict创建 DataFrame2.2 用 CSV文件创建 DataFrame2.3 DataFrame的行列式访问2.4 DataFrame的常规操作（筛选，组合筛选）2.5 DataFrame的索引 Index注：以下使用 Jupyter Notebook 演示2 数据框体Dataframe的基本使用DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值DataFrame既有行索引，也有列索引，它可以看作

Pandas1 Pandas的功能介绍1.1 什么是Pandas1.2 Pandas的起源1.3 安装Pandas环境（JuypterNotebook）注：以下使用 Jupyter Notebook 演示1 Pandas的功能介绍1.1 什么是PandasPandas 是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的Pandas 是学习数据分析的基础Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具（因为Pandas 用C语言编写的，比Pyth

1 Pandas的功能介绍1.1 什么是PandasPandas 是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的Pandas 是学习数据分析的基础Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具（因为Pandas 用C语言编写的，比Python原生的 Dict和 List快100倍左右）Pandas提供了大量能使我们快速便捷地处理数据的函数和方法Pandas是使Python成为强大而高效的数据分析环境的重要因素之一1.2 Pandas的起

Jupyter Notebook快捷键shift + tab 编码时查看帮助修改 Jupyter Notebook中注释的字体打开文件夹 E:\01_Softwares_My\Python_3.7.4\Lib\site-packages\notebook\static\custom找到文件并打开 custom.css里面内容修改为：/*Placeholder for custom user CSSmainly to be overridden in profile/s

Numpy1 Numpy和 SciPy概述1.1 科学计算是什么1.2 Numpy的历史和发展1.3 Numpy的应用1.4 Pip安装 Numpy、Scipy、Matplotlib、Pandas2 Numpy和 Python List的区别2.1 Python内置的数组结构2.2 Numpy和 List数组的相似处2.3 Numpy和 List数组的不同2.4 测试3 Numpy的常见功能3.0 Help(np.函数名)3.1 Array()3.1.1 List 和 Array创建数组3.1.2 Ndmi

JupyterNotebook使用入门1 安装 JupyterNotebook1.1 通过官方Anaconda安装器安装1.2 通过Pip安装器安装2 启动 JupyterNotebook2.1 启动 JupyterNotebook服务器2.2 启动 JupyterNotebook完毕3 使用 JupyterNotebook3.1 基本操作3.1.1 创建一个笔记本3.1.2 上传文件3.1.3 批量关闭打开的文件（FILE选项卡）3.1.4 查看打开的文件（RUNNING选项卡）3.1.5 并行计算（CL

MySQL的事务管理1 概述2 数据备份和性能管理操作2.1 数据备份啊啊啊1 概述2 数据备份和性能管理操作2.1 数据备份右键可以查看备份位置啊啊啊

MySQL的事务管理1 概述1.1 事务处理的例子1.2 事务处理的特点1.3 事务处理的前提1.4 事务处理的术语2 MySQL事务管理的使用2.1 创建一个演示表2.2 ROLLBACK 回滚数据（备份-删除-恢复）2.3 COMMIT 提交数据（备份-确认修改）2.4 SAVEPOINT1 概述TRANSACTION 是一种保护机制！在使用事务和事务处理时，有几个关键词汇反复出现。下面是关于事务处理需要知道的几个术语：事务（transaction）指一组SQL语句回退（rollback）指

MySQL的触发器1 概述2 案例2.1 创建触发器2.2 使用触发器2.3 删除触发器2.41 概述MySQL语句在需要时被执行，存储过程也是如此。但是，如果你想要某条语句（或某些语句）在事件发生时自动执行，怎么办呢？例如：每当增加一个顾客到某个数据库表时，都检查其电话号码格式是否正确，州的缩写是否为大写每当订购一个产品时，都从库存数量中减去订购的数量无论何时删除一行，都在某个存档表中保留一个副本触发器是MySQL响应以下任意语句而自动执行的一条MySQL语句2 案例2.1 创建触发器

MySQL的游标CURSOR1 什么是游标CURSOR2 游标的使用2.1 创建游标2.2 使用数据1 什么是游标CURSORCURSOR 是在存储过程中，根据需要对数据集合进行前后浏览的一种应用。CURSOR 程序间用来做数据交换的一个桥梁，比如在用 Python进行数据分析时，SQL传递给 Python数据就是通过 CURSOR实现。在有 GUI或者 APP的情况下，肉眼即可见到数据，因此很少会用到 CURSOR。但是在使用 PANDAS等程序批量处理的时候，CURSOR很重要。2 游标的使

MySQL的存储过程

MySQL的视图1 概述2 MySQL视图的使用2.1 不使用 VIEW 的操作2.2 VIEW 的使用2.3 显示 VIEW 的后台创建过程2.4 删除 VIEW2.5 VIEW 内容的格式化2.6 使用 VIEW 进行过滤2.7 使用 VIEW 计算字段（重要）3 VIEW 的更新1 概述VIEW 视图的特点：视图是虚拟的表：与包含数据的表不一样，视图只包含使用时动态检索数据的查询，需要重用SQL语句简化复杂的SQL操作：在编写查询后，可以方便地重用它而不必知道它的基本查询细节使用表的组成

MySQL的更新和删除概述和注意事项Update语句的使用Delete语句使用概述和注意事项为了更新（修改）表中的数据，可使用 UPDATE FROM 语句。可采用两种方式使用 UPDATE ：更新表中特定行更新表中所有行为了从一个表中删除数据，使用 DELETE 语句。可以两种方式使用 DELETE：从表中删除特定的行从表中删除所有行注：使用所有 UPDATE 和 DELETE 语句时：要先备份，或再次检查是否带上了 WHERE 条件！建议先写 WHERE 再写 DELETE

MySQL的数据插入1 简介2 INSERT2.1 INSERT 语法2.2 插入一行的完整数据2.3 插入一行的部分数据2.3 插入多行的完整数据2.4 插入检索出的数据1 简介数据库4种基本操作（四大天王）：SELECTINSERTUPDATEDELETEINSERT 是用来插入（或添加）行到数据库表的。插入可以用几种方式使用：插入完整的行插入行的一部分插入多行插入某些查询的结果2 INSERT2.1 INSERT 语法INSERT INTO 表名称VALUES(

MySQL的全文检索1 简介2 案例2.1 启用全文索引2.1.1 查看并启用表的存储机制类型（Navicat）：2.1.2 查看并启用表的存储机制类型（CMD）：2.1.3 接下来的设置2.2 进行全文索引2.2.1 传统模式(`LIKE`)：2.2.2 全文索引模式（`MATCH AGAINST` + `WHERE`）：2.2.3 全文索引模式（匹配优先级）：2.2.4 布尔全文搜索（重要）2.2.4.1 基本应用2.2.4.2 `+` 的应用2.2.4.3 `-` 的应用2.2.4.4 `<

MySQL的组合查询1 什么是组合查询2 如何使用组合查询（Union）2.1 使用Union查询数据2.2 Union带有自动去重的功能2.3 对组合结果进行排序2.4 Union的多次使用（不限次数）1 什么是组合查询多数SQL查询都只包含从一个或多个表中返回数据的单条SELECT语句。MySQL也允许执行多个查询（多条SELECT语句），并将结果作为单个查询结果集返回。这些组合查询通常称为并（union）或复合查询（compound query）。有两种基本情况，其中需要使用组合查询：在单

MySQL的高级联结表先空着先空着

MySQL联结表1 写在前面1.1 举个栗子1.2 设计表的核心理念1.3 怎么实现（通过PK-FK链接）2 案例2.1 如何创建表直接的关联2.2 简化连接（表的简称）2.3 内联表 inner Join2.4 联结多个表（使用WHERE）1 写在前面SQL最强大的功能之一就是能在数据检索查询的执行中联结（join）表。联结是利用SQL的SELECT能执行的最重要的操作，很好地理解联结及其语法是学习SQL的一个极为重要的组成部分。1.1 举个栗子【以一个现实世界中的事件为例：】假如有一个包含产

MySQL的子查询1 子查询的用法1.1 不推荐的方法（观察流程）1.2 推荐的方法（子查询）1.3 索引查询的逻辑图2 计算字段作为子查询使用SELECT语句是SQL的查询，SQL还允许创建子查询（subquery），即嵌套在其他查询中的查询。作为计算字段使用子查询和利用子查询进行过滤。1 子查询的用法目标：找出购买物品TNT2的所有订单的客户信息1.1 不推荐的方法（观察流程）select order_num from orderitemswhere prod_id = 'TNT2'

MySQL的数据分组概述（不看也罢）1 创建分组2 创建摘要3 过滤分组4 分组和排序5 Select语句的执行顺序概述（不看也罢）使用了GROUP BY，就不必指定要计算和估值的每个组了。系统会自动完成。GROUP BY子句可以包含任意数目的列。这使得能对分组进行嵌套，为数据分组提供更细致的控制。如果在GROUP BY子句中嵌套了分组，数据将在最后规定的分组上进行汇总。换句话说，在建立分组时，指定的所有列都一起计算（所以不能从个别的列取回数据）。GROUP BY子句中列出的每个列都必须是检索列

MySQL的数据汇聚AVG，COUNT，MAX，MIN，SUM1 AVG平均2 count计数3 Max/Min 最大值/最小值5 Sum求和没啥好看的，简单的很1 AVG平均select avg(prod_price) from productswhere vend_id = 1003 ;2 count计数select count(*) as num_count from products ;3 Max/Min 最大值/最小值select max(prod_price) from pr