Python机器学习算法入门指南(全)，Python框架django项目

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

② 数据时间范围：监督学习的特征变量X及标签Y如与时间先后有关，则需要明确数据时间窗口，否则可能会导致数据泄漏，即存在和利用因果颠倒的特征变量的现象。（如预测明天会不会下雨，但是训练数据引入明天温湿度情况）；

③ 数据业务范围：明确与任务相关的数据表范围，避免缺失代表性数据或引入大量无关数据作为噪音；

2.3 特征工程：数据预处理及特征提取

特征工程就是将原始数据加工转化为模型可用的特征，按技术手段一般可分为：

① 数据预处理：缺失值/异常值处理，数据离散化，数据标准化等；

② 特征提取：特征表示，特征衍生，特征选择，特征降维等；

2.3.1 数据预处理

• 异常值处理

收集的数据由于人为或者自然因素可能引入了异常值（噪音），这会对模型学习进行干扰。

通常需要处理人为引起的异常值，通过业务/技术手段(如3σ准则)判定异常值，再由（python、正则式匹配）等方式筛选异常的信息，并结合业务情况删除或者替换数值。

• 缺失值处理

数据缺失的部分，通过结合业务进行填充数值、不做处理或者删除。

根据缺失率情况及处理方式分为以下情况：

① 缺失率较高，并结合业务可以直接删除该特征变量。经验上可以新增一个bool类型的变量特征记录该字段的缺失情况，缺失记为1，非缺失记为0；

② 缺失率较低，结合业务可使用一些缺失值填充手段，如pandas的fillna方法、训练随机森林模型预测缺失值填充；

③ 不做处理：部分模型如随机森林、xgboost、lightgbm能够处理数据缺失的情况，不需要对缺失数据做任何的处理。

• 数据离散化

数据离散化能减小算法的时间和空间开销（不同算法情况不一），并可以使特征更有业务解释性。

离散化是将连续的数据进行分段，使其变为一段段离散化的区间，分段的原则有等距离、等频率等方法。

• 数据标准化

数据各个特征变量的量纲差异很大，可以使用数据标准化消除不同分量量纲差异的影响，加速模型收敛的效率。常用的方法有：

① min-max 标准化：

将数值范围缩放到（0,1）,但没有改变数据分布。max为样本最大值，min为样本最小值。

② z-score 标准化：

将数值范围缩放到0附近, 经过处理的数据符合标准正态分布。u是平均值，σ是标准差。

2.3.2 特征提取

• 特征表示

数据需要转换为计算机能够处理的数值形式。如果数据是图片数据需要转换为RGB三维矩阵的表示。

字符类的数据可以用多维数组表示，有Onehot独热编码表示、word2vetor分布式表示及bert动态编码等；

• 特征衍生

基础特征对样本信息的表述有限，可通过特征衍生出新含义的特征进行。特征衍生是对现有基础特征的含义进行某种处理（聚合/转换之类），常用方法如：

① 结合业务的理解做衍生：

聚合的方式是指对字段聚合后求平均值、计数、最大值等。比如通过12个月工资可以加工出：平均月工资，薪资最大值 等等；

转换的方式是指对字段间做加减乘除之类。比如通过12个月工资可以加工出：当月工资收入与支出的比值、差值等等；

② 使用特征衍生工具：如Featuretools等；

• 特征选择

特征选择筛选出显著特征、摒弃非显著特征。特征选择方法一般分为三类：

① 过滤法：按照特征的发散性或者相关性指标对各个特征进行评分后选择，如方差验证、相关系数、IV值、卡方检验及信息增益等方法。

② 包装法：每次选择部分特征迭代训练模型，根据模型预测效果评分选择特征的去留。

③ 嵌入法：使用某些模型进行训练，得到各个特征的权值系数，根据权值系数从大到小来选择特征，如XGBOOST特征重要性选择特征。

• 特征降维

如果特征选择后的特征数目仍太多，这种情形下经常会有数据样本稀疏、距离计算困难的问题（称为 “维数灾难”），可以通过特征降维解决。

常用的降维方法有：主成分分析法（PCA），

线性判别分析法（LDA）等。

2.4 模型训练

模型训练是选择模型学习数据分布的过程。这过程还需要依据训练结果调整算法的（超）参数，使得结果变得更加优良。

• 2.4.1 数据集划分

训练模型前，一般会把数据集分为训练集和测试集，并可再对训练集再细分为训练集和验证集，从而对模型的泛化能力进行评估。

① 训练集（training set）：用于运行学习算法。

② 开发验证集（development set）用于调整参数，选择特征以及对算法其它优化。常用的验证方式有交叉验证Cross-validation，留一法等；

③ 测试集（test set）用于评估算法的性能，但不会据此改变学习算法或参数。

• 2.4.2 模型选择

常见的机器学习算法如下：

模型选择取决于数据情况和预测目标。可以训练多个模型，根据实际的效果选择表现较好的模型或者模型融合。

• 2.4.3 模型训练

训练过程可以通过调参进行优化，调参的过程是一种基于数据集、模型和训练过程细节的实证过程。

超参数优化需要基于对算法的原理的理解和经验，此外还有自动调参技术：网格搜索、随机搜索及贝叶斯优化等。

2.5 模型评估

模型评估的标准：模型学习的目的使学到的模型对新数据能有很好的预测能力（泛化能力）。现实中通常由训练误差及测试误差评估模型的训练数据学习程度及泛化能力。

• 2.5.1 评估指标

① 评估分类模型：

常用的评估标准有查准率P、查全率R、两者调和平均F1-score 等，并由混淆矩阵的统计相应的个数计算出数值：

查准率是指分类器分类正确的正样本（TP）的个数占该分类器所有预测为正样本个数（TP+FP）的比例；

查全率是指分类器分类正确的正样本个数（TP）占所有的正样本个数（TP+FN）的比例。

F1-score是查准率P、查全率R的调和平均：

② 评估回归模型：

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
rt/6c361282296f86381401c05e862fe4e9.png)

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-oES8kRHY-1713365497335)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！