机器学习
文章平均质量分 91
Amihua Lau
这个作者很懒,什么都没留下…
展开
-
一起学深度学习系列——Softmax
动手学线性回归线性回归手撕[^1]构造数据集线性回归基于PyTorch实现python知识点补充python 的 迭代器描述```iter()``````next()```python 的 生成器描述 线性回归手撕[^1] %matplotlib inline import random import torch from d2l import torch as d2l 构造数据集 y=Xw+b+ϵw=[2,−3.4]T b=4.2 y = Xw+b+\epsilon\\ w =原创 2021-11-03 19:45:35 · 620 阅读 · 0 评论 -
组队学PyTorch Task1 : PyTorch 绪论
Task1 : PyTorch 绪论深度学习 PyTorch or TensorFlow?什么是Torch ?又什么是PyTorchTorch是一个与Numpy类似的张量(Tensor)操作库PyTorch和Torch使用包含所有相同性能的C库PyTorch是一个基于Torch的Python开源机器学习库PyTorch是一个Python包,提供两个高级功能:安装PyTorchHello PyTorch 深度学习 PyTorch or TensorFlow? PyTorch更有利于研究人员、爱好者、小规模原创 2021-10-10 00:38:41 · 167 阅读 · 0 评论 -
TASK11 XGBoost
XGBoost原理及其实战 XGBoost的思想 假设我们的数据集是D={(xi,yi)}(∣D∣=n,xi∈Rm,yi∈R)\mathcal{D}=\left\{\left(\mathbf{x}_{i}, y_{i}\right)\right\}\left(|\mathcal{D}|=n, \mathbf{x}_{i} \in \mathbb{R}^{m}, y_{i} \in \mathbb{R}\right)D={(xi,yi)}(∣D∣=n,xi∈Rm,yi∈R) STEP1:构造目标函数原创 2021-04-26 23:47:14 · 124 阅读 · 0 评论 -
Task10:GBDT
树算法的思想 提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数时平方损失和指数损失函数时,每一步的优化很简单,如平方损失函数学习残差回归树。 树算法最重要是寻找最佳的划分点,分类树用纯度来判断最佳划分点使用信息增益(ID3算法),信息增益比(C4.5算法),基尼系数(CART分类树)。但是在回归树中的样本标签是连续数值,可划分点包含了所有特征的所有可取的值。所以再使用熵之类的指标不再合适,取而代之的是平方误差,它能很好的评判拟合程度。 事实上当损失函数时平方损失和指数损失函数时,每一步的优化很原创 2021-04-24 01:41:17 · 104 阅读 · 0 评论 -
TASK9 Boosting
Boosting PAC学习(概率近似正确学习) PAC总结理论 同等条件下,模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下,其数量越大,模型泛化误差越小,因此还可以说模型越复杂越吃样本。 某个训练样本对正确目标的映射,而称为‘概念’,用符号ccc表示,即存在一个映射,使得c(x)=yc(x)= yc(x)=y,这只是某一个结果,并不是集合。 所有我们希望所有训练目标的映射集合为‘概念类’,用符号CCC表示。 模型经过训练后得到的所有结果映射集合,称为‘假设空间’,用符号H表示。 首先PAC学习原创 2021-04-19 20:12:56 · 287 阅读 · 0 评论 -
Task8 Bagging
Task8 Bagging 与 Random Forests Bagging想法来源 在做集成学习时,我们的想法是要想集成后的模型泛化性能强,应当使个体学习器尽可能“独立”,尽管绝对独立在实际中没办法实现,但可以采取一些手段使得个体学习器尽可能具有较大差异。 给定一个训练集,一种可达成的做法是对训练样本进行采样,产生出许多训练子集,再从每个训练自己中训练个体学习器。这样,由于训练的数据不同,获得的个体学习器就会具有较大的差异,比如说,某些学习器对“性别区分”敏感,而另外的学习器对“成绩”比较敏感,这样就可以原创 2021-04-17 21:53:41 · 193 阅读 · 0 评论 -
Task7 投票法
集成学习(中) Task7 投票法的思路 投票法的思想来源来自于我们日常常见的“少数服从多数”,对于参与这次“研讨会”的每一个机器学习模型,对同一个“分类”问题都有有一个看法,我们统计所有模型的投票结果,被多次认同的结果,作为这个融合模型的最终结果。这就是集成学习中的投票法想法来源。 对于回归模型来说,投票法最终的预测结果是多个其他回归模型预测结果的平均值。 对于分类模型,硬投票法的预测结果是多个模型预测结果中出现次数最多的类别,软投票对各类预测结果的概率进行求和,最终选取概率之和最大的类标签。 常见的投票原创 2021-04-14 00:39:43 · 478 阅读 · 0 评论 -
集成学习(下)——Task6 分类模型
机器学习专题 机器学习三要素 模式识别 贝叶斯推导 机器学习训练的套路 考试前千万不要背书 你以为好好学习就可以考好了? 分类模型 你以为好好学习就可以考好了?机器学习专题进度条基于```fetch_lfw_people```人脸数据的分类实战[^1]构建管道(make_pipeline) 知识笔记 (https://blog.csdn.net/weixin_43913783/article/details/114852227?spm=1001.2014.3001.5501) 进度条 Mon 15Mon 2原创 2021-03-29 21:39:17 · 113 阅读 · 0 评论 -
集成学习(上)——Task5 分类模型
机器学习专题 机器学习三要素 模式识别 贝叶斯推导 机器学习训练的套路 考试前千万不要背书 你以为好好学习就可以考好了? 你以为好好学习就可以考好了?机器学习专题进度条回归与分类的本质区别那么能否利用回归问题做分类任务呢?如何利用线性模型更好的做分类任务?如何确定www与bbb呢?多分类模型基于概率的多分类模型:线性判别分析:朴素贝叶斯支持向量机(SVM)SVM的核心思想Lagrange 乘子法KKT条件Hard-margin SVM (https://blog.csdn.net/weixin_439137原创 2021-03-27 22:12:04 · 145 阅读 · 0 评论 -
集成学习(上)——Task4 你以为好好学习就可以考好了?
机器学习专题 机器学习三要素 模式识别 贝叶斯推导 机器学习训练的套路 考试前千万不要背书 你以为好好学习就可以考好了?机器学习专题进度条你以为学习可以“一招鲜吃遍天”?参数与超参数[^3]三种常见的调参贪心调参(坐标下降)[^1]网格调参贝叶斯调参随机搜索与常规的网格搜索或者随机搜索的区别是:代码实战[^2]贪心调参Grid Search 调参贝叶斯调参网格调参随机搜索 (https://blog.csdn.net/weixin_43913783/article/details/114852227?spm原创 2021-03-25 00:04:07 · 151 阅读 · 0 评论 -
集成学习(上)——Task3 考试前千万不要背书
机器学习专题 机器学习三要素 模式识别 贝叶斯推导 机器学习训练的套路 考试前千万不要背书机器学习专题进度条考试前千万不要背书!我们要怎么学习?[^1]世界上难的不是无路可走,而是选择太多我们怎么解决过拟合?从统计的角度看模型选择[^2]偏差-方差的权衡:模型不能波动太大小结那究竟怎么学啊啊啊!!!正则化怎么机器学习这么多风险[^3]正则化的正确性交叉验证最优子集选择向前逐步选择[^4]降维 (https://blog.csdn.net/weixin_43913783/article/details/114原创 2021-03-22 23:27:00 · 170 阅读 · 0 评论 -
集成学习(上)——Task2 机器学习训练的套路
机器学习专题 机器学习三要素 模式识别 贝叶斯推导 机器学习训练的套路机器学习专题进度条从“应试”的角度,怎么做一个机器学习项目以回归为例,我们来做一个项目从线性回归开始如果画不出图了,我该怎么办?从多角度对线性回归进行理解代数运算几何解释概率角度其他的度量标准搞起来要是没那么线性怎么办?多项式回归怎么实现?广义可加模型(GAM):怎么实现?回归树回归树与线性模型的对比怎么实现? (https://blog.csdn.net/weixin_43913783/article/details/114852227原创 2021-03-18 16:11:14 · 146 阅读 · 0 评论 -
《模式识别》课本一个小推导
对于一个二分类{ω1\{ \omega_1{ω1,ω2}\omega_2\}ω2}问题,我们记将属于第一类ω1\omega_1ω1样本xxx误分类成ω2\omega_2ω2的概率为P1(e)=∫R2p(x∣ω1)dxP_1(e) = \int _{\R_2}p(x|\omega_1)dxP1(e)=∫R2p(x∣ω1)dx ,同理,将属于第一类ω1\omega_1ω1样本xxx误分类成ω2\omega_2ω2的概率为 P2(e)=∫R1p(x∣ω2)dxP_2(e) = \int _{\原创 2021-03-18 00:52:49 · 394 阅读 · 0 评论 -
集成学习(上)——Task1 机器学习三要素
机器学习三要素进度条踩的小坑机器学习到底学习啥?文科生能搞定机器学习吗?常用的工具有哪些?[^1]回归具体过程数据导入数据概览模型训练——线性回归制作训练集和测试集的数据训练模型分类无监督学习 进度条 Mon 15Mon 22Mon 290 ML 回归 偏差 评估调参 分类 评估调参 现有任务机器学习基础 踩的小坑 R原创 2021-03-16 00:16:23 · 277 阅读 · 0 评论