python数据分析与excel_《对比Excel，轻松学习Python数据分析》笔记

写在开头：因为我自己接触python也有一段时间了，所以此份笔记是用来查漏补缺以及记录个人认为重要的知识点

1、数据分析的常规流程

常规流程

2、缺失数据对于缺失比例超过30%的指标，应该选择放弃这个指标，即做删除处理；

对于缺失比例低于30%的指标，一般进行填充处理，即使用0、均值或者众数进行填充。

3、为Jupyter Notebook添加目录

为了便于阅读，可为代码增加一个目录，通过点击下图右侧红框可以建成下图左侧红框的目录，通过点击目录跳转到相应的代码部分。

不过添加目录不是Jupyter Notebook自带的需要自己安装相应的插件，打开命令行，输入以下代码： conda install -c conda-forge jupyter_contrib_nbextensions

添加目录

4、输出与输出格式设置利用关键词print进行输出>>>print("Hello World")

Hello World对输出格式做一定的设置，可以使用str.format()方法进行设定：

其中str是一个字符串，将format里面的内容填充到str字符串的{}里一对一填充>>>print('我正在学习:{}'.format('pyhton基础知识'))

我正在学习:python基础知识多对多填充>>>print('我正在学习{}中的{}'.format('python','基础知识'))

我正在学习python中的基础知识浮点数设置

.2f表示以浮点数展示，且显示小数点后两位，.3f表示显示小数点后3位的浮点数，以此类推。>>>print("{}约{:.2f}亿".format('中国单身人数',2))

中国单身人数约2.00亿百分数设置

.2%表示以百分比的形式展示，并且展示小数点后两位。>>>print("中国男性的比例占总人口的{:.2%}".format(0.519))

浮点数以及百分数设置中“:”必不可少

5、移除字符

一直以为strip()函数只是用来去除字符串首尾的空格的，但它是用来去除字符串的指定字符，默认移除字符串首尾的空格和换行符>>>"AaA".strip("A")

"a"

6、导入文件路径或者文件名中包含中文

使用pandas.read_csv()读取文件时，当导入文件路径或者文件名中包含中文时，需要加入engine=”pyhton”来消除报错，这个错误产生的原因是：当我们调用read_csv()方法时，默认使用C语言作为解析语言，我们只需要将默认值改为python就行，如果文件格式是csv utf-8，则编码格式也要跟着变为utf_8_sig；如果是文件格式是csv，则编码格式则为gbk。

7、导入sql文件

step1:将python与数据库进行连接import pymsql

eng = pymql.connect(host='localhost',

user='user',

password='password',

db='db',

charset='utf-8')

# user:用户名

# password:密码

# db:数据库名

# charset:数据库编码，一般为utf-8

step2:执行sql查询语句import pandas as pd

df = pd.read_sql(sql,con=eng)

# 参数sql是需要执行的sql语句

# con是step1建立好的连接，即eng

8、异常值的识别与处理

识别方式有以下3种：根据业务经验划定不同指标的正常范围，超过正常范围的视为异常值；

利用四分位数将大于上边缘和小于下边缘的值视为异常值；

箱型图

如果数据服从正态分布，可使用3σ原则：如果一个数值与平均值之间超过3倍的标准差(σ)，则将其视为异常值。下图为正态分布图，大于u+3σ以及小于u-3σ的值视为异常值。

正态分布

处理异常值的方法有以下几种：最常用的方式就是删除

把异常值当作缺失值进行填充

把异常值当作特殊情况，研究异常值出现的原因

9、apply()与applymap()函数

apply()和applymap()都需要与匿名函数lambda结合使用apply()函数主要对DataFrame中的某一列或某一行的元素进行相同的函数操作df['column_name'].apply(lambda x:x+1)

applymap()函数用于对DataFrame中的每一个元素进行相同的函数操作df.applymap(lambda x:x+1)

10、将文件导出到多个sheet

使用ExcelWriter()函数# 声明一个读写对象

# excelpath为文件存放的路径

writer = pd.ExcelWriter(excelpath,engine='xlsxwriter')

# 分别将表df1、df2、df3写入Excel中的sheet1、sheet2、sheet3

# 并命名为表1、表2、表3

df1.to_excel(writer,sheet_name = "表1")

df2.to_excel(writer,sheet_name = "表2")

df3.to_excel(writer,sheet_name = "表3")

# 保存读写的内容

writer.save()

读后感受：不适合新手小白，需要对python有一定的认知后阅读

附上pdf版：

链接:https://pan.baidu.com/s/1_oBc3Khi4CClw7nFDQSB1A

密码:jga1

https://www.jianshu.com/p/a8017d9156a9

Python量化投资网携手4326手游为资深游戏玩家推荐：《狼烟四起，《梦幻西游》手游九黎之墟全新赛季今日开战》