学习内容
- pandas
- 数据库
- sklearn机器学习的一些东西
处理数据
首先需要对表格数据进行一些处理,问题有
- 需要筛选不合格的数据
- 需要进行两组数据的合并(表头顺序以及内容不完全一致)
- 需要对总表进行拆分
python 二维数组切片
Python高级特性——多维数组切片(Slice)
python中的切片
使用Pandas对Excel进行合并操作(concat、append、merge、join)
Python3 pandas库(26) 一次读取多个excel文件并合并
python利用pandas读取Excel文件和筛选处理小案例
python-pandas实现简单筛选数据功能
conda env list
df.to_excel用法
pandas 将excel一列拆分成多列重新保存
excel如何统计某个范围内满足条件的个数 =COUNTIFS(L1:L2387,“>70” )
Python字符串中增加变量–%方式(格式化输出)
pandas DataFrame实现几列数据合并成为新的一列方法
pandas 中delete、drop函数的用法 删除行列
使用pandas把某一列的字符值转换为数字
pandas索引和选择数据
清除批次一、二的数据(清除,调节格式、合并)
- 约束条件df[‘说谎L标准分’]<=70 …
- 最后一个表格 A,B,C… 拆分成每个单元格一个数据
df2=df[“原始作答”].str.split(‘,’,expand=True)
df=df.drop(‘原始作答’,axis=1).join(df2)
# batch1 LFK 标准分约束 “第一批”中相同题目有两种答案的题数+未回答的题数>30的数据
import pandas as pd
df=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\最终第一批数据重排版.xlsx')
df=df[ (df['说谎L标准分']<=70)&(df['不能确定的题目']<=22)]
df2=df["原始作答"].str.split(',',expand=True)
df=df.drop('原始作答',axis=1).join(df2)
df.to_excel('E:\论文\ML\MMPI\MMPI\数据\ 分割列第一批.xlsx')
# batch2 L\F\K\Q
import pandas as pd
df=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\最终第二批数据.xlsx')
df=df[ (df['说谎L标准分']<=70)&(df['疑问量表Q粗分']<=22)]
df.to_excel('E:\论文\ML\MMPI\MMPI\数据\ 筛选最终第二批数据.xlsx')
import pandas as pd
df1=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\ 分割列第一批.xlsx')
df2=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\ 筛选最终第二批数据.xlsx')
df = pd.concat([df1, df2], axis=0)
df.to_excel('E:\论文\ML\MMPI\MMPI\数据\ 最终合并版.xlsx')
给总表基于性别年龄等分组
import pandas as pd
df=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\男合并.xlsx')
df1=df[(df['年龄']>=14)&(df['年龄']<=29)]
df2=df[(df['年龄']>=30)&(df['年龄']<=44)]
df3=df[(df['年龄']>=45)&(df['年龄']<=59)]
df4=df[(df['年龄']>=60)]
df1.to_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\第三组\ 男-14-29岁.xlsx')
df2.to_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\第三组\ 男-30-44岁.xlsx')
df3.to_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\第三组\ 男-45-59岁.xlsx')
df4.to_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\第三组\ 男-大于等于60岁.xlsx')
import pandas as pd
df=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\ 最终合并版.xlsx')
dfm=df[df['性别']=='女']
dff=df[df['性别']=='男']
dfm.to_excel('E:\论文\ML\MMPI\MMPI\数据\ 男合并.xlsx')
dff.to_excel('E:\论文\ML\MMPI\MMPI\数据\ 女合并.xlsx')
合并删除列
import pandas as pd
df=pd.read_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\第一组\ 女->35.xlsx')
df['new'] = df['题目1答案选项']
for i in range (2,400):
df['new'] = df['题目%d答案选项' %i]+','+df['new']
for i in range (1,400):
del df['题目%d答案选项' % i]
df.to_excel('E:\论文\ML\MMPI\MMPI\数据\最终数据\第一组\ 000女->35.xlsx')
跑代码
- 如何预测出题组得分? 如何通过题组得分判断阴阳性?混淆矩阵怎么做?敏感度特异度如何计算
数据的接入(pymysql)
使用sklearn的cross_val_score进行交叉验证
【Python】sklearn中的cross_val_score()函数参数
AUC ROC
敏感度和特异度
把excel中的数据存到数据库里面
- 把excel的数据转换到数据库,使用数据库的一些语句进行操作
pymysql 的使用以及 commit 与roback
PyMySQL
使用pymysql创建数据库
pymysql数据库之建库建表、增删改查
安装mysql
Python中对数组的操作小结
python字符串中插入变量的三种方法
MySQL 插入数据
MySql中insert语句中value和values
Python 使用PyMySQL数据库交互工具,查询MySQL数据表的所有字段(表头)
conda命令
怎么查看mysql数据库服务是否开启?
doker安装mysql
DBeaver
DBeaver安装及使用手册
sys.modules['hs'].__dict__.clear()
Python编程——sys模块的使用详解
python sys.modules模块
sklearn
cross_val_score()函数返回值
LinearDiscriminantAnalysis类概述
scikit-learn中的cross_val_score函数scoring参数设置
sklearn中SVC和SVR的参数说明
SVC和SVR的区别
Sklearn参数详解—LR模型
对random_state参数的理解
scikit-learn中随机森林(RF)和梯度提升决策树(GBDT)的参数调优
如何用sklearn对随机森林调参
模型调参利器 gridSearchCV(网格搜索)
RF调参小结
Python机器学习笔记:Grid SearchCV(网格搜索)