机器学习
文章平均质量分 65
万物琴弦光锥之外
复杂的世界需要简单的东西,专业不一定复杂,简单才是终极
展开
-
关于xgboost的零碎记录
xgboost记录原创 2022-11-02 10:27:56 · 9101 阅读 · 0 评论 -
xgboost特征重要性的相关资料
xgboost特征重要性,参考资料原创 2022-10-26 10:22:10 · 9748 阅读 · 0 评论 -
机器学习流程与方法
机器学习流程方法原创 2022-06-15 22:21:53 · 9182 阅读 · 0 评论 -
找不到bayes_opt包怎么办?
最新版本其实它的正式名字是 bayesian-optimization,所以你直接conda install bayes_opt当然不会成功。第一种:conda install bayesian-optimizationpip install bayesian-optimization第二种,离线安装1anaconda.org搜索bayesian-optimization,下载**.tar.bz2** 结尾的包。将下载的包,放入anaconda3中的pkgs文件夹里。然后打开原创 2021-06-29 21:45:07 · 12469 阅读 · 0 评论 -
PyTorch的Modules的使用
传送门原创 2021-03-18 16:29:04 · 8757 阅读 · 0 评论 -
PyTorch的广播机制
广播机制的语法三点1. 从内到外追溯比如 (1,2,3,4) 的追溯顺序为4, 3, 2 然后 1,也就是追溯他的存储结构。底层先存储4, 然后。。。(z, y, x)这么记忆吧2.张量必须有一个维度3.追溯过程中,要么两张量,维度大小一样 或者 其中一个为1 又或者 其中一个没有维度。>>> x=torch.empty(5,7,3)>>> y=torch.empty(5,7,3)# same shapes are always broadcastab原创 2021-03-18 15:23:42 · 8274 阅读 · 0 评论 -
PyTorch的 autograd
AutoGrad简介从概念上讲,autograd记录一个图,记录在您执行操作时创建数据的所有操作,从而为您提供一个有向无环图,其叶是输入张量,根是输出张量。通过从根到叶跟踪这个图,您可以使用链式法则自动计算梯度。AutoGrad机制 有助于自动求梯度每个张量都有一个flag:requires_grad,允许从梯度计算中具体的排除某些子图,并可以提高效率。输入变量中,只要有存在requires_grad = True的情况,那么输出变量的requires_grad 标志就为 True>>原创 2021-03-18 14:41:51 · 6296 阅读 · 1 评论 -
金融科技中的机器学习,学习笔记更新中。。。。
卡评分中的知识点原创 2021-01-05 16:42:54 · 6398 阅读 · 0 评论 -
推荐系统入门 2020-09-21
推荐系统入门总领什么适用推荐系统?总领什么适用推荐系统?没有明确需求+数据对用户过载搜索引擎推荐系统行为主观被动需求明确模糊个性化弱强流量分布马太效应长尾效应目标快速满足持续服务指标简单复杂长尾效应,英文名称Long Tail Effect。“头”(head)和“尾”(tail)是两个统计学名词。正态曲线中间的突起部分叫“头”;两边相对平缓的部分叫“尾”。从人们需求的角度来看,大多数的需求会集中在头部,而这部分我原创 2020-09-21 18:08:47 · 5885 阅读 · 0 评论 -
拼写纠正器:贝叶斯和编辑距离的应用
Feb 2007to August 2016How to Write a Spelling CorrectorOne week in 2007, two friends (Dean and Bill) independently told methey were amazed at Google’s spelling correction. Type in a search like [speling] and Googleinstantly comes back with Showing r.转载 2020-09-02 11:19:34 · 4751 阅读 · 0 评论 -
XGBoost,我看过的讲解很清晰得一篇博客
转载 2020-08-29 16:22:02 · 4263 阅读 · 0 评论 -
L1,L2正则有何用?线性代数意义,贝叶斯先验和实际意义
http://blog.csdn.net/pipisorry/article/details/52108040机器学习和深度学习常用的规则化方法之一:L范数正则化(规格化)。一般来说,监督学习可以看做最小化下面的目标函数):规则项Ω(w) loss项可参考[机器学习算法及其损失函数 ...转载 2020-08-29 15:28:46 · 4867 阅读 · 0 评论 -
反向传播,卷积的反向传播,池化的反向传播
卷积层如何反向传播?重点在 需要旋转 kernel 180度池化的反向传播直接对应位置,返回误差!BN层反向传播梯度计算过程原创 2020-08-26 10:29:42 · 3673 阅读 · 0 评论 -
SSD架构,你不来看看么?
SSD前言总结SSD骨架网络结构SSD特征提取网络结构锚点框Anchor Boxes和选框预测SSD骨架网络结构SSD特征提取网络结构锚点框Anchor Boxes和选框预测如何根据特征图中的点计算原图中的坐标?那知道了原图中对应的中心点坐标,如何知道对应原输入图像中的宽高呢?我们求到了输入原始图像中,真实框的大小和坐标(x,y,w,h), 然后和神经网络预测的框直接求误差?前言总结SSD骨架网络结构VGG16部分作为特征提取SSD特征提取网络结构SD300 也叫 VGG16Extracto原创 2020-08-16 10:52:29 · 574 阅读 · 0 评论 -
Resnet-吴恩达学习笔记
main pathshort cut/skip connection总之,中间的网络层至少不会使得情况更坏,顶多没学,就是恒等。幸运的话,performance更好。原创 2020-08-05 18:57:35 · 456 阅读 · 0 评论 -
推荐给AI工程师的一份指南!必须点赞哦
快去白嫖吧原创 2020-08-09 11:45:46 · 87 阅读 · 0 评论 -
转:基音周期估计(Pitch Detection)
传送门一、概述1.1、基音与基音周期估计人在发音时,根据声带是否震动可以将语音信号分为清音跟浊音两种。浊音又称有声语言,携带者语言中大部分的能量,浊音在时域上呈现出明显的周期性;而清音类似于白噪声,没有明显的周期性。发浊音时,气流通过声门使声带产生张弛震荡式振动,产生准周期的激励脉冲串。这种声带振动的频率称为基音频率,相应的周期就成为基音周期。通常,基音频率与个人声带的长短、薄厚、韧性、劲度和发音习惯等有关系,在很大程度上反应了个人的特征。此外,基音频率还跟随着人的性别、年龄不同而有所不同。一般来说转载 2020-08-08 09:53:29 · 918 阅读 · 0 评论 -
机器学习 手写字母项目 程序知识总结
with open() as fpython openr: 就是默认的 读w: 写之前,清除文件内内容。b: 二进制Bytes。 未解码成strt: str 已经解码过,可阅读文字+: 用于更新。a: 尾+pickle模块 pickle 实现了对一个 Python 对象结构的二进制序列化和反序列化。 “pickling” 是将 Python 对象及其所拥有的层次结构转化为一个字节流的过程,而 “unpickling” 是相反的操作,会将(来自一个 binary file 或者 bytes原创 2020-07-18 15:43:03 · 790 阅读 · 0 评论 -
YOLO,你想知道的都在这
YOLO英文原文预测中心为以标签框的中心格子Being a FCN, YOLO is invariant to the size of the input image.无视图片大小。但是,实际上,由于各种问题,我们可能希望保持不变的输入大小,而这些问题只会在实现算法时浮出水面。In YOLO, the prediction is done by using a convolutional layer that uses 1 x 1 convolutions.Feature map通过最后原创 2020-08-05 15:25:42 · 1140 阅读 · 6 评论 -
转:如何做卷积???通道是什么?
传送门卷积 在深度学习的算法学习中,都会提到 channels 这个概念。在一般的深度学习框架的 conv2d 中,如 t转载 2020-08-05 09:23:04 · 349 阅读 · 0 评论 -
梯度下降的正确性(泰勒一阶展开证明)
原创 2020-08-04 23:44:46 · 763 阅读 · 0 评论 -
转:super().__init__()详解
Python3 super().init()含义(单继承,即只有一个父类)传送门测试一、我们尝试下面代码,没有super(A, self).__init__()时调用A的父类Root的属性和方法(方法里不对Root数据进行二次操作)class Root(object): def __init__(self): self.x= '这是属性' def fun(self): #print(self.x) print('这是方法')转载 2020-08-04 22:31:24 · 10992 阅读 · 7 评论 -
转载: dropout为啥要rescale?
dropout可以让模型训练时,随机让网络的某些节点不工作(输出置零),也不更新权重(但会保存下来,下次训练得要用,只是本次训练不参与bp传播),其他过程不变。我们通常设定一个dropout radio=p,即每个输出节点以概率p置0(不工作,权重不更新),假设每个输出都是独立的,每个输出都服从二项伯努利分布p(1-p),则大约认为训练...转载 2020-08-04 16:02:25 · 1233 阅读 · 0 评论 -
深入浅出Pytorch之机器视觉案例,学习总结
图像分类任务简介图像分类神经网络基本结构就是:卷积层线性层Softmax层目标检测任务简介回归框(Bounding Box)分类(Classification)根据两个小任务的同步异步来分:One-stageTwo-stageSSD/ YOLO/ RetinanetR-CNN速度快,精度稍低速度慢,精度高分别用什么损失函数?目标检测网络基本结构总的方法论:不同级别的卷积神经网络中提取不同尺寸的目标的特征信息图像分割任务简介原创 2020-08-04 11:31:30 · 1266 阅读 · 0 评论 -
各种机器学习小知识总结:更新
AdaBoost 弱串 RF强并解释:AdaBoost 弱base函数,underfitting 的个体串联组合成强学习器RF:过拟合,并联分离卷积:分C,11C解释:各通道卷积,然后经过(1,1,C)卷积(1,1)卷积相当于通道方向上的全连接层批次归一C, 层归一N解释: 批归一化后输出(C,1)向量…...原创 2020-08-04 10:14:16 · 183 阅读 · 0 评论 -
转:深度可分离卷积与其计算量实例
开篇总结:图片转自 下面这个文章介绍了深度可分离卷积是怎么做的:https://towardsdatascience.com/a-basic-introdu转载 2020-08-04 09:38:25 · 1134 阅读 · 0 评论 -
转载:如何对池化层进行反向梯度传播?
原文传送门 Pooling池化操作的反向梯度传播CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法对位的进行传播下去。其实解决这个问题的思想也很简单转载 2020-08-04 08:54:30 · 798 阅读 · 0 评论 -
手写SVM
原创 2020-08-03 23:52:54 · 702 阅读 · 0 评论 -
手写,KNN与k-d树简述
原创 2020-08-03 22:04:38 · 191 阅读 · 0 评论 -
AdaBoost, BDT, GBDT手推
Adaboost 前向模型回归提升树GBDT原创 2020-08-03 17:16:58 · 463 阅读 · 0 评论 -
one class SVM
星际穿越之传送门转载 2020-08-03 11:26:03 · 164 阅读 · 0 评论 -
孤立森林之大家都很长!
孤立森林的使用场景和效果只根据isolation的概念,不用密度,距离等衡量标准。由于下采样subsampling,只需要线性时间复杂度,空间复杂度也不高。比one class svm,ORCA, LOF(以AUC为标准) 效果好iForest是two-staged方法,训练和验证 train and evaluateReference:基本理念异常点一般来说是稀疏的使用k-d树类似的空间切分方式。 每次选择一个维度,切分空间,分成左右子空间,递归切分至只空间只有一个点或者每个点值都原创 2020-08-03 11:09:16 · 169 阅读 · 0 评论 -
深入浅出pytorch-02 pytorch深度学习框架简介
张量k维度张量,维度为(n1,n2,...,nk)(n_1, n_2,...,n_k)(n1,n2,...,nk)存储顺序是一般从nkn_knk开始:先填满nk,nk−1,nk−1,...,n1n_k, n_{k-1}, n_{k-1}, ..., n_1nk,nk−1,nk−1,...,n1,一个元素张量中的下标为(i1,i2,i3,...,ik)(i_1, i_2, i_3, ..., i_k)(i1,i2,i3,...,ik), 那么它在内存中是第(ik)+(ik−1∗原创 2020-07-07 13:11:16 · 1116 阅读 · 0 评论 -
深入浅出Pytorch--深度学习概览
1. 2015年,ILSVRCC比赛中,ResNet错误率首次降到5%以下,战胜了人类。2. 机器学习中数据的类型图片文本音频数据RGB / RGBA字符串通用格式:16bit 振幅44.1kHz采样频率图片:1. 包含了很多像素点,一个像素一个字节,值为0~2552. 图像处理中,处理不同图片大小,resize可以用最近邻插值,双线性插值法。3. 处理流程图图片数据增强单张图片的归一化数据集尺度的归一化HSV: Hue(色相),Saturation(饱和度),V(Brightness Va原创 2020-07-06 13:11:55 · 892 阅读 · 0 评论 -
深入浅出pytorch -批归一化?如何卷积?如何转置卷积?
基础图像变换操作1 空间域Gamma Correction 伽马校正v′=αvγv' = \alpha v^{\gamma}v′=αvγ第一:图像像素值代表着亮度(Brightness)第二:γ>1\gamma>1γ>1的时候,高亮度区域的变化即细节增加,低亮度细节减少。sober算子边缘检测具体可以搜索百度百科2 频域傅里叶变化高频为细节,为轮廓。低通滤波可以过滤细节。图像特征提取SIFT:scale-invariant feature Trans原创 2020-07-09 19:00:49 · 878 阅读 · 0 评论 -
SPRT test和CUSUM
开篇总结:SPRT 是监测当前是处于哪个状态!CUSUM 是监测是否切换了状态,状态改变!SPRTSequential Probability Ratio Test 序贯概率比测试SPRT给CUSUM提供起始点SPRT是用来确定当前是属于哪个假设,哪个模型,也就是海牛还是噪声。nmaxn_{max}nmax下,判断。适合快速判断,但是会False AlarmLog-likelihood ratio , 对于LijL_{ij}Lij,如果i是真序列,那么Li∗jL_{i^*j}Li∗j原创 2020-07-31 21:07:55 · 1229 阅读 · 0 评论 -
机器学习时间序列之KLMS,KRLS, QKLMS和MCC
手稿均来自Principe大佬, 硕士上过他的机器时间序列。大佬对kernel空间的LMS很有研究。附上老师的首页RKHS 希尔伯特核再生空间Reproducing Kernel Hilbert Spaces希尔伯特空间是一个完备的内积空间线性泛函将希尔伯特空间映射到实数集,并且此泛函是连续,有界的, 此时就变成了RKHSKLMS线性LMS的缺点,速度受到特征值(λmin\lambda_{min}λmin)的控制神经网络和核函数滤波对比,核方法会模型会变大,但是满足凸优化,不原创 2020-07-31 17:34:43 · 3162 阅读 · 2 评论 -
机器学习时间序列之LMS和NLMS和RLS和APA
以下手稿属于Principe大佬,我是在硕士时期上的大佬的课LMSw⃗k=w⃗k−1+ηx⃗(n)e(n)\vec{w}_k = \vec {w}_{k-1} + \eta \vec x(n)e(n)wk=wk−1+ηx(n)e(n)1.更新方向,梯度下降的方向。梯度和方向导数2. 本例中, wk⃗\vec{w_k}wk => ϵxk⃗\epsilon \vec{x_k}ϵxk对比steepest descend 和 LMSLMS 逐点更新Steepest Des原创 2020-07-31 12:26:15 · 2858 阅读 · 0 评论 -
机器学习时间序列之Wiener Solution
wiener solution信号+additive noise > 线性系统=>y(n)信号 ============> 维纳滤波>d(n)利用过去的M个点(包括当前)预测对代价函数求导=0,引出P和R根据上图,我们定义如下:互相关方程(crosscorrelation function)P(i)=E[x(n−i)d(n)]P(i) = E[x(n-i)d(n)]P(i)=E[x(n−i)d(n)]自相关方程(autocorrelation function)原创 2020-07-30 23:12:45 · 1099 阅读 · 1 评论 -
EM和PCA和LDA和Ensemble Learning
EM琴生不等式Jensen Inequality参考下图黑洞传送门MLE最大似然估计 一个数据集出现了,我们就最大化这个数据集的似然概率。 数据集中每个点都是独立出现的,因此可以概率连乘。 求得使得似然概率最大(当前数据集出现的估计概率)的参数。MLE的对数累加形式 log是凹函数,因此log(E(x))≥E(log(x)) log(E(x)) \ge E(log(x)) log(E(x))≥E(log(x)) 简便记忆法,`log(累加)&原创 2020-07-30 19:24:15 · 477 阅读 · 0 评论