Ducunyu的博客

本次直接上代码，作为日后查询使用所以，文章并未梳理思路和脉络import osdata=[]def findFile(folder,name): for file in os.listdir(folder): if os.path.isdir(folder+file): findFile(folder+file+'/',name) else: if name in file: .

获取文件夹及子文件夹下所有文件名字梳理思路需要用到的算法代码实现结果展示梳理思路文件路径下的构成可能只有文件，也可能是文件夹，或者二者以不同比例的混合，不管有多少个文件夹，文件夹的构成最终都是文件，所以，只要判断获取到的文件是否是文件夹，如果是则以同样的方式继续判断，直到没有文件夹，也就是获取到都是文件需要用到的算法递归思想，即函数自己调用自己os模块中的方法：os.listdir()for file in files:os.path.isdir()with ope

批量修改文件名-系列化代码引入扩展库定义添加前缀的函数定义添加后缀的函数定义替换文件名的函数引入扩展库import os定义添加前缀的函数def AddPreFileName(folder,name): for file in os.listdir(folder): os.rename(folder+file,folder+name+file)定义添加后缀的函数def AddSufFileName(folder,name): for file in os.listdir(folder

批量给文件添加前缀思路分析步骤拆解代码实现结果展示前言：练习代码的过程中，掌握代码思维，用代码去理解工作理解世界绝大部分非计算机专业的人，很少去刻意掌握一项代码能力，也很难体会到真正入门后带来的快感我们生活中突然的改变其实很大程度上跟计算机技术的迅速发展强相关，因此，即便你是非计算机专业，掌握一项代码也是很有必要的，愿我们终身学习，拥抱变化思路分析给文件添加前缀，很容易想到与系统相关的扩展库，os"批量"二字，很容易想到构造循环体步骤拆解获取到所有待批量修改文件：os.listd

Python办公自动化：提取PDF表格数据需求解读算法设计扩展库使用代码实现代码调优# 程序目标：把pdf中的表格提取到Excel中#引入扩展库import xlwings as xwimport pdfplumber as ppbwith ppb.open('2020销年1月电暖器销年报告总结.pdf') as pdf: # 创建一个工作簿对象 wb=xw.Book() #sheets表格的序号 i=0 #对PDF的每一页进行循环遍历

Python办公自动化：PDF文字提取到word文件中需求解读需要用到的扩展库代码实现# 把pdf中的文字提取到word文件中import pdfplumberimport docx# 利用扩展库打开pdf 文件，并存储pdf内存对象with pdfplumber.open ('D://XX业务/XXX/XXX市场/2020销年1月XXX销年报告总结.pdf') as pdf: #新建一个文档对象 dc=docx.Document() #循环遍历每一页的pdf

Python办公自动化：合并多个工作簿中多个工作表1.算法设计：2.Python扩展库:3.代码实现：4.心得体会核心思想：外循环使用工作表控制，内循环使用工作簿控制核心工具：pandas合并多张Excel表格中多个sheet1.算法设计：外循环：根据工作表的数量设定外循环- 内循环：循环获取文件夹中的Excel文件- - 读取每个文件的工作簿的某一特定工作表数据到pandas库的DataFrame中- - - 读取每个工作簿的所有工作表数据- - - 合并(拼接)到临时变量中-

Python自动化(合并多个工作簿中第一个工作表1.1 需求解读1.2 思路梳理(算法设计)1.2.1 实现步骤1.2.2 扩展库使用需要用到的扩展库1.3 代码实现1.4 结果检查1.5 心得体会(合并多个工作簿中第一个工作表))前言：日常办公中遇到大量要处理的Excel表格合并的问题，一个文件夹下由很多张Excel表格，而每张表格的表头是一样的，格式也是相同的，如果单靠人工去合并，3到4张合并还相对OK，但是超过10张，估计手一抖，合并错了，还得重来，真是太反人性了，有这个时间，干点别的不好么

数据分析、拆分Excel案例及代码实现DataFrame数据结构读取CSVDataFrame去除重复DataFrame筛选数据Matplotlib针对Pandas进行数据可视化并生成图片DataFrame数据和图片保存到Excel中DataFrame数据结构读取CSVDataFrame去除重复DataFrame筛选数据Matplotlib针对Pandas进行数据可视化并生成图片DataFrame数据和图片保存到Excel中导入相关库 pandas、xlwingsimport pandas

明确业务需求1.项目背景2.流程步骤3.工具及技术1.项目背景接到业务部门提出需要在国家电网下载文件，详细沟通后将需求逐步明确和澄清，详见：数据来源http://ecp.sgcc.com.cn/ecp1.0/project_list.jsp?site=global&column_code=014001001&project_type=1抓取国家电⽹电⼦商务平台所有招标公告，下载“项⽬公告⽂件”将下载的项⽬公告⽂件解压后，寻找有’货物清单’字样的Excel表格，将所有的货物

数据分析-方法&流程&工具1.数据分析方法1.1 对比分析法1.2 细分分析法1.3 A/B测试1.4 漏斗分析法2.数据分析过程2.1 业务视角2.3 工程视角3.数据分析工具3.1 分析工具-Excel3.2 分析工具-SQL3.3 Tableau & Power BI3.4 SPSS3.5 Python数据分析是指有针对性的收集、加工、整理数据，并采用统计和挖掘技术分析和解释数据的科学与艺术从行业的角度看，数据分析是基于某种行业目的，有目的进行收集、整理、加工和分析数据

Baseline模型1.数据归一化二级目录三级目录开始Baseline模型训练之前，还需要做数据归一化。数据标准化就是:数据按最小值中心化后,再按极差(最大值-最小值)缩放，数据会被收敛到[0,1]之间，目的是让特征大小变换到统一风格。使用sklearn.preprocessing的MinMaxScaler来实现这个功能1.数据归一化form sklearn.preprocessing import MinMaxScalerlabels_train=df_train['TARGET']fe

在业界广泛流传这么一句话，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而异。实际中，构造一个有效的特征带来的回报要比构造复杂模型和调参来的大，由此可见特征工程的重要性。

文章目录1.数据集1.1 数据集介绍1.2 导入必要的工具包1.3 数据读取2.数据探索2.1 查看标签的分布情况2.2 查看缺失值2.3 查看特征数据类型2.4 异常点检测2.5 相关性检验2.6 年龄对还款的影响(探索)2.7 外部数据源文章正文1.1 数据集介绍本次使用的数据集来源于Kaggle平台，由home credict提供，该公司的服务致力于向无银行账户的人群提供信贷。我们只用到以下数据集：application_train/application_t.

本节内容包括：树模型的sklearn使用：Decision TreeRandom ForestGBDT分类评价指标说明：AccuracyTPR和FPRROC曲线PR曲线APF1 score交叉验证：k折交叉验证留一交叉验证超参搜索：网格搜索随机搜索hyperopt自动化搜索...

欠拟合与过拟合解释实例–多项式拟合1.导入必要的模块import numpy as npimport pandas as pdimport matplotlib.pyplot as plt2.生成数据2.1构建数据生成函数def data_generator(samples,random_seed=0): np.random.seed(random_seed)# 设置随机种子 X=np.random.uniform(-5,5,size=samples)# 从-5到5中随机抽取100个实数

@[TOC]Logistic回归的sklearn实现导入必要的模块生成数据模型搭建模型训练模型预测查看logistic回归模型画出预测曲线计算评价指标accuracy1.导入必要的模块import numpy as npimport pandas as pdimport matplotlib.pyplot as plt2.生成数据2.1定义数据生成函数def create_data(data_num=100): np.random.seed(21) x1=