深度学习,机器学习理论知识
文章平均质量分 74
主要可能是一些啃书笔记,以及备忘的机器学习知识
古承风
写代码,但不做码农
展开
-
池化层的反向传递
转自:Pooling池化操作的反向梯度传播CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单,就是把1个像素的梯度传递给4个像素,但是需要保证传递的loss(或者梯度)总和不变。根据这条原则,mean pooling和max pooling的反向传播也是不同的。1转载 2021-12-10 15:51:59 · 141 阅读 · 0 评论 -
特征金字塔池化
1. 特征金字塔池化如上图所示:将特征图的所有像素划分为n×nn\times nn×n个网格,并将其经过核为n×nn\times nn×n,步长为(n,n)(n,n)(n,n)的池化(可以选择最大池化或者平均池化) ;经过较为密集的池化($ 4\times 4),形成),形成),形成N\times C\times n\times n的特征图,将其串联形成的特征图,将其串联形成的特征图,将其串联形成C\times*$的格式;之后,在第2个步骤池化得到的特征图的基础上,取不同的nnn值,进行下一个池原创 2021-11-17 14:52:16 · 761 阅读 · 0 评论 -
牛客网专题训练 算法岗
深度学习考虑某个具体问题时,你可能只有少量数据来解决这个问题。不过幸运的是你有一个类似问题已经预先训练好的神经网络。可以用下面哪种方法来利用这个预先训练好的网络?(样本少,相似性低)–> 冻结训练(样本多,相似性低)–> 重新训练(样本少,相似性高)–> 修改输出层(样本多,相似性高)–> 预训练权+重新训练样本少,相似性低 --> 冻结训练样本多,相似性低 --> 重新训练样本少,相似性高 --> 修改输出层样本多,相似性高 --> 预训原创 2021-10-09 16:25:30 · 584 阅读 · 0 评论 -
ML-支持向量机 SVM 直观理解
视频讲解地址硬间隔SVMhttps://www.bilibili.com/video/BV1Hs411w7ci?p=1https://www.bilibili.com/video/BV1Hs411w7ci?p=2https://www.bilibili.com/video/BV1Hs411w7ci?p=3软间隔https://www.bilibili.com/video/BV1Hs411w7ci?p=4约束优化https://www.bilibili.com/video/BV1Hs411w7原创 2021-08-19 19:04:53 · 253 阅读 · 0 评论 -
ML - EM算法
视频讲解地址https://www.bilibili.com/video/BV1Mx411o7ti?share_source=copy_web假如有一个事件,其有四种可能,发生的概率分别为:$(\frac{1}{2} - \frac{\theta}{4}),(\frac{1}{4}-\frac{\theta}{4}),(\frac{1}{4}+\frac{\theta}{4}),(\frac{\theta}{4})$概率12−θ4\frac{1}{2} - \frac{\theta}{4.原创 2021-08-18 00:11:42 · 949 阅读 · 0 评论 -
ML聚类-KMeasn 谱聚类 幂迭代聚类PIC
1. 常用聚类算法聚类算法是机器学习中非常重要的算法,聚类是将大量数据以相似度为基础形成若干类,使得类内之间的数据最为相似,各类之间的数据相似度差别尽可能大。聚类分析就是以相似性为基础,对数据集进行聚类划分,属于无监督学习。聚类分析可以直接比较各事物之间的性质,将性质相近的归为一类,将性质差别较大的归入不同的类。聚类具有广泛的应用领域,对于网络流量的监控和数据挖掘,可以实现舆情分析,获知出现的前所未有的热点事件。在商业上,市场消费数据的聚类,可以使企业相关人员获知新的消费趋势和市场需求。而在城市规划领域原创 2021-08-16 13:21:22 · 748 阅读 · 0 评论 -
ML-聚类
常用聚类算法聚类算法是机器学习中非常重要的算法,聚类是将大量数据以相似度为基础形成若干类,使得类内之间的数据最为相似,各类之间的数据相似度差别尽可能大。聚类分析就是以相似性为基础,对数据集进行聚类划分,属于无监督学习。聚类分析可以直接比较各事物之间的性质,将性质相近的归为一类,将性质差别较大的归入不同的类。聚类具有广泛的应用领域,对于网络流量的监控和数据挖掘,可以实现舆情分析,获知出现的前所未有的热点事件。在商业上,市场消费数据的聚类,可以使企业相关人员获知新的消费趋势和市场需求。而在城市规划领域,对于原创 2021-08-15 17:22:42 · 195 阅读 · 0 评论 -
ML-线性回归
1. 理论数据集: (x(i),γ(i)),i=1,2,…,m\left(x^{(i)}, \gamma^{(i)}\right), i=1,2, \ldots, m(x(i),γ(i)),i=1,2,…,m为一个训练数据,其中x(i)=(1,x1(i),x2(i),⋯ ,xn(i))x^{(i)}=\left(1, x_{1}^{(i)}, x_{2}^{(i)}, \cdots, x_{n}^{(i)}\right)x(i)=(1,x1(i),x2(i),⋯,xn(i))拟合公式hθ原创 2021-08-14 18:14:08 · 112 阅读 · 0 评论 -
sklean中自带的数据集
转载于: 知乎1. 调用方式例如:from sklearn import datasetsboston = datasets.load_boston() # 导入波士顿房价数据bostondataname.datadataname.targetdataname.feature_names2. Toy Datasets2.1. 波士顿房价-回归from sklearn import datasetsboston = datasets.load_bo.转载 2021-08-13 23:45:50 · 2294 阅读 · 0 评论 -
ML----一文入门机器学习
1. 前言这篇文章其实是人工智能程序员面试笔试宝典第一章的笔记。不同的是,它提到的大多数知识点我都作了实现。书中有部分老代码已经跑不通了,我给它改了一下;有些地方一笔略过,但是我感觉有用的也写了代码。还有一些待完善的地方,后续会继续增加内容的。书链接:豆瓣2. 分类2.1. 任务类型回归模型 : 预测某个无法枚举的数值,例如股价预测.分类模型 : 将样本分为n个类别,如信用风险异常识别结构化学习模型学习链接应用的领域包括: 语音识别\翻译\语法分析\目标检测\Summarizatio原创 2021-08-13 17:27:33 · 846 阅读 · 1 评论 -
ML-Boosting 集成算法
来自: https://www.biaodianfu.com/boosting.html简介Boosting 即集成学习.其核心思想是训练若干个弱学习器,并通过一定的结合策略,从而形成一个强学习器. 有时候也被称之为多分类器系统(multi-classifier system), 基于委员会的学习(committee-based learning)分类同质同种类型的个体学习器集成,如决策树集成.此类算法被称为基学习器算法 base learning algorithm异质不同类型的个体学转载 2021-08-08 22:27:52 · 254 阅读 · 0 评论 -
聚类--评估指标--轮廓系数
让我们来分析一下这个评价指标:轮廓系数分析对于第iii个对象,计算它到所属簇中所有其他元素的平均距离,记作aia_iai(体现凝聚度)对于第 iii 个对象和不包含该对象的任意簇,计算该对象到给定簇中所有对象的平均距离,记 bib_ibi (体现分离度)第 i 个对象的轮廓系数为 si=(bi−ai)max(ai,bi)s_i = \frac{(bi-ai)}{max(ai, bi)}si=max(ai,bi)(bi−ai)对应于sklearn中,这个包的调用是在sklear转载 2021-07-09 14:34:06 · 3389 阅读 · 1 评论 -
Optimizer 之 RMSprop
类似于Momentum,是通过消除梯度下降过程中的摆动来加速下降的方法。不同于Momentum类似,他是从二阶距入手的。理论分析有空再聊,但是最后你可以得到这样的下降方式。tensorflow 应用optimizer = keras.optimizers.RMSprop(0.01)0.01是超参数,可以调整。其所在位置就是原来学习率所在的位置。...原创 2021-06-28 15:57:40 · 3010 阅读 · 0 评论 -
AI基础-NLP概览-极速入门
笔记来源:《python自然语言处理核心算法与技术》 涂铭 等1. NLP 简介1.1. 定义nlp 即自然语言处理。1.2. 研究领域机器翻译情感分析智能问答文摘生成文本分类舆论分析知识图谱1.3. 相关术语分词 setgment英文分词自然的以空格作为分隔符。中文分词比较困难,典型的思路是基于字典的最长字符匹配,可以解决部分问题,但是对于歧义性很难解决。词性标注 part-of-speech tagging词性指的是:动词、名词、形容词等。标注的目的是表征.原创 2021-03-13 20:11:30 · 723 阅读 · 0 评论 -
AI基础—pytorch2—自动求导
数学中的案例假设y=x2,x=3y=x^2,x=3y=x2,x=3,那么我们对其求导的结果是这样的。∂y∂x=∂x2∂x=2x=6\frac{\partial y}{\partial x} = \frac{\partial x^2}{\partial x} = 2x = 6 ∂x∂y=∂x∂x2=2x=6∂(∂y∂x)∂x=∂(2x)∂x=2\frac{\partial (\frac{\partial y}{\partial x})}{\partial x} = \frac{\parti原创 2021-03-11 19:05:48 · 145 阅读 · 0 评论 -
AI基础-pytorch-1 张量tensor
张量的创建张量创建的方式有许多种直接创建直接数组创建import torchimport numpytorch.tensor([[0.1,1.2],[2.2,3.1],[4.9,5.2]])上面是直接创建,这样的方式我们最容易理解。直接给出原始数据。需要注意的是,参数必须是一个数组,多个数组的话需要合成一个数组。从numpy数组创建a = numpy.array([1,2,3])t = torch.from_numpy(a)t因为机器学习中numpy比较常用,但是它们想利用p原创 2021-03-11 16:18:56 · 721 阅读 · 0 评论 -
龙珠计划-机器学习-day03-基于LightGBM的分类预测
1. LightGBM简介1.1 简介LightGBM是的XGBoost的升级版,与XGBoost有近似精度的前提下,又大大提高了训练速度。LightGBM的主要优点:简单易用。提供了主流的Python\C++\R语言接口,用户可以轻松使用LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度,对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果。LightGBM直接支持缺失值与类别特征,无需对数据额外进行特殊处理原创 2021-03-11 10:46:37 · 491 阅读 · 0 评论 -
AI基础---matlab---十行代码图像分类
1. 图像分类基本思路我们讨论的前提是可以利用已有的模型进行训练,而不用再单独训练。一般来说,有以下流程:读取图像数据加载预训练模型利用分类函数classify(model,img)进行分类得到标签画出图像和标签实战—googlenet图像分类img = imread("1.png");net = googlenet;img = imresize(img,[224,224]);label = classify(net,img);figure;imshow(img);ti原创 2021-03-09 19:11:17 · 579 阅读 · 0 评论 -
龙珠计划-机器学习- day02 利用XGBoost 进行分类
1. XGBoost简介1.1 简介XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型,而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型,并对模型中的算法进行了诸多优化,在取得高精度的同时又保持了极快的速度,在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。XGBoost在机器学习与数据挖掘领域有着极为广泛的应用。据统计在2015年Kaggle平台上29个获奖方案中,1原创 2021-03-08 08:09:40 · 1329 阅读 · 0 评论 -
龙珠计划-机器学# 龙珠计划-机器学习-day01-逻辑回归
课程链接:龙珠计划逻辑回归就是用回归的方法解决分类的问题.其具有以下特点:优点:实现简单,易于理解和实现;计算代价不高,速度很快,存储资源低;缺点:容易欠拟合,分类精度可能不高1. 逻辑回归demo!pip install seaborn!pip install scikit-learn先安装必须的包,如果是在阿里的DSW环境中的话,这些包应该已经配置好了.首先,导入必须的工具包.import numpy as npimport matplotlib.pyplot as pl原创 2021-03-06 14:31:36 · 229 阅读 · 0 评论 -
AI基础_pandas数据分析实战
AI基础__天池pandas数据分析学习赛赛事链接: 天池pandas学习赛1. 数据准备数据可以在赛事指南中按照文档描述进行下载,一共需要以下三个数据集.候选人信息表格委员会信息个人捐款档案数据的预处理,官方给了一个baseline.数据预处理baseline2. 数据分析根据数据准备阶段得到的数据.现在的数据结果如下.其中,各个字段的意思如下:CAND_PTY_AFFILIATION 党派名称2.1 党派分析下面计算各个党派所获得的捐款总额:c_itco原创 2021-03-05 08:26:57 · 216 阅读 · 1 评论 -
AI基础_matplotlib极速入门
1. 前言matplotlib 对于机器学习和深度学习的数据可视化是极其重要的。本文将依据天池的matplotlib教程进行叙述,只记录最核心的内容,力求最快的速度入门matplotlib,其他内容敬请各位边用边学。2. 第一个例子——折线图import matplotlib.pyplot as pltimport numpy as npfig,ax = plt.subplots()ax.plot([1,2,3,4],[1,4,2,3])上述代码也可以简化为如下:plt.原创 2021-03-03 23:05:49 · 244 阅读 · 2 评论 -
AI基础_pandas极速入门
1. 前言pandas 在机器学习和深度学习的过程中是十分重要的。这个教程基于天池的pandas实践课程。不同的是本文会对其进行简化。力求用到最核心的内容,其他部分请各位参考原文链接:天池 pandas基础课程在进行所有的操作之前,必须的操作为:本文的pandas版本为1.1.5import pandas as pdimport numpy as np 2. 文件读取由于数据集的类型还是比较复杂的,所以这里多写一些数据类型。以鸢尾花数据集为例:2.1 读入csvdf_csv =原创 2021-03-02 20:06:15 · 459 阅读 · 0 评论 -
各个深度模型解读专题(6) 正则化
背景在炼丹的时候,经常会遇到的情况是过拟合.过拟合就是训练出的模型对训练数据可以很好的拟合,但是对于验证数据却拟合程度很差.出现过拟合就意味着目前这个模型没法应用了.假如上图是股票数据,如果按照上图中的第3张图中的拟合模型,任意预测一天,可能和真实值相差较大.需要想办法解决这个问题.有学者提出了一些解决方案.过拟合的常见解决方案数据清洗增大训练集正则化本文着重介绍正则化方案:正则化正则化的效果比如我们要进行一个分类任务. 在没有加入正则化之前,模型的训练效果是这样的:加入原创 2020-09-29 21:12:16 · 313 阅读 · 0 评论 -
各个深度模型解读(5) 多层感知机
实现代码:GardenLu的Giteee理论感知机从广义上来说,感知机可以是一种可以接受信息的模型,我们的神经系统就可以接受信息,比如你看到了美女,眼睛就很难移开,所以我们的神经系统就是一个典型的感知机,这个概念也是由此而来。同样的,机器学习模型可以接受数据,并形成动作和输出,所以我们的机器学习模型,同样也是一个感知机。由来在生物领域对人体感知的探索中,需要回答三个问题:神经系统是以怎样的方式接受到外界信息的。信息是以怎样的形式存储的/被记忆的已经存储的信息是怎样对我们的认知和行为产原创 2020-09-24 01:45:27 · 883 阅读 · 0 评论 -
各个深度模型解读(4) Softmax + mlxtend
写在前面理论没什么好讲的,参考之前的文章. 本文只是加了多分类的可视化.请看之前的文章:各个深度模型解读(3) softmax 回归 (多分类)实战包导入 与超参数设置import torchsnooper as torchsnooperfrom torchvision import datasetsfrom torchvision import transformsfrom torch.utils.data import DataLoaderimport torch.nn.functio原创 2020-09-22 20:46:40 · 483 阅读 · 0 评论 -
各个深度模型解读(3) softmax 回归 (多分类)
原理softmax 回归一般用于多分类.如果我们下图遇到这种分类任务,没得说,反手就是一个逻辑回归.逻辑回归按照上图的数据,我们建立一个模型:y=XW+by = XW+by=XW+blabel=sigmoid(y)label = sigmoid(y)label=sigmoid(y)然后,我们的任务就是训练这个W和b,由于这玩意明显只有两个维度的特征, 输出就是一个一维的0或者1,所以我们的W的形状就是(2×1). 然后:数据正则化参数初始化为0或随机初始化计算梯度和error原创 2020-09-21 22:07:21 · 1671 阅读 · 0 评论 -
各个模型解读专题(2) 逻辑回归
代码来源: gihub导入import matplotlib.pyplot as pltimport numpy as npfrom io import BytesIOimport torchimport torch.nn.functional as Fimport pandas as pdprint(torch.__version__)数据集准备阶段df = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learni.原创 2020-09-20 17:21:13 · 271 阅读 · 0 评论