笔记
付费
优惠券已抵扣
余额抵扣
还需支付
¥299.90
¥399.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
AI看世界
算法工程师,CSDN内容合伙人,李秋键,大龙剑神合作伙伴,业余时间做一些代码分享。好玩的代码免费公开兼文章介绍,优质项目或毕设付费源码下载。
展开
-
算法知识点-线性回归、岭回归
线性回归是假设数据是服从正态分布,通过均方误差来计算损失,其本质是最小二乘法。自变量和因变量满足线性关系假设;误差的方差为常数假设;数据服从正态分布假设;自变量相互独立假设;原创 2023-03-03 08:30:00 · 94 阅读 · 0 评论 -
算法知识点-逻辑回归
定义:假设数据服从伯努利分布,通过极大似然估计来预测数据,然后通过使用梯度下降算法来优化参数的算法。其对于多分类问题上使用交叉熵损失函数,本质是极大似然估计;二分类问题上使用sigmoid函数。原创 2023-03-03 08:00:00 · 62 阅读 · 0 评论 -
算法知识点-SVM
X作为原点到超平面上任意点的连线向量,它的模作为其点到面的距离。1、将求解参数问题转换为求解对偶问题,就是将求解W和B的问题转换为求解核函数和B的问题,这样通过新的目标函数拉格朗日函数可以更快求解;2、其次,原始求解问题复杂度与样本的维度有关,而引入了拉格朗日函数算法复杂度只与样本数量有关,即拉格朗日算子数。γ越小,则考虑全部样本点,难以捕捉超平面的形状;当模型低偏差,高方差的时候,模型过拟合,需要减小C值,因为C值的作用相当于时反正则项。当模型高偏差,低方差时,模型欠拟合,需要增大C值。原创 2023-03-02 08:30:00 · 100 阅读 · 0 评论 -
算法知识点-AdaBoost
因为在训练每个基分类器时,当某个样本易分辨错误,则增大其权重,这样下一次训练时,为了提高模型效果,就会把权重大的样本识别正确,这样即使每个分类器都可能分类错误,但是可以保证权重大的样本分类正确。首先初始化AdaBoost样本权重分布;然后查找到错误率最小的基分类器;接着计算所有基分类器的权重;然后更新每个样本权重;最后将每个基分类器组合构成强分类器。为什么AdaBoost可以快速收敛?简述AdaBoost权重更新方法?但是对于异常样本敏感。原创 2023-03-01 08:45:00 · 185 阅读 · 0 评论 -
算法知识点-GBDT
GBDT是以CART为基分类器的加法结构树模型,其每个基分类器的输入由上一个分类器的残差作为输入,通过不断减少残差达到训练的目的。其中残差由损失函数的负梯度在当前模型的值进行估算。对特征进行预排序,并存储为block结构,可以对特征进行重复利用,并利用多线程快速查找,加速查找特征。GBDT相对于逻辑回归具有树模型的优点,也就是抗噪声能力强,对异常点不敏感,鲁棒性强;通过计算当前特征的基尼指数与所有特征的比例作为权重。同时GBDT对于缺失值有很好的处理方法,而LR没有。中间节点保存特征分割的阈值;原创 2023-03-01 08:15:00 · 113 阅读 · 0 评论 -
算法知识点-Inception和瓶颈层
在模型最后阶段引入两个分类器,用来扩大差异,增加反向传播的网络信号,提供额外的正则化。1的卷积核降低特征图通道数,减少后续卷积计算量,避免计算瓶颈。使用1*1的卷积核减少通道数,避免计算瓶颈;使用不同尺寸的卷积核进行并行卷积堆积;1的卷积核进行维度裁剪;原创 2023-02-28 08:30:00 · 206 阅读 · 0 评论 -
算法知识点-AlexNet、VGG、ResNet简述
通过引入残差结构,使得原始的输出y变成y-x,构成残差结构residual mapping。这样当模型达到最佳时,residual mapping 会被Push为0,这样相当于模型学习的的是恒等映射,所以模型性能不会随着训练而下降。使用连续几个3*3的卷积核代替大卷积核;通过堆积小卷积核优于直接使用大卷积核,原因在于堆积小卷积核增加了模型的非线性表达能力,使得模型拟合能力增强。堆积小卷积核组合优于一个大卷积核;resnet中引入了BN,相当于自带噪声,具有正则化效果,无需引入droupout。原创 2023-02-28 08:15:00 · 522 阅读 · 0 评论 -
算法知识点-激活函数
sigmoid激活函数:1/(1+e^-z)。容易造成梯度消失,原因在于输入极大或者极小时,其导数趋近于0.relu激活函数:大于0时为本身,小于等于0为0。可以使得部分输出为0,形成网络稀疏性,有效缓解梯度消失。小于0时不为0.带参数为p。softmax:用于分类概率。tanh双正切函数:(e。原创 2023-02-27 08:30:00 · 120 阅读 · 0 评论 -
算法知识点-优化算法
Adagrad:自适应梯度下降,可以自适应调整学习率,每个参数拥有自己的学习率,对低频参数更新较大高频参数更新小。但是由于其分母为梯度平方的累加和,容易导致随着模型训练其越来越小。SGD随机梯度下降:每次训练对一个样本计算更新梯度,速度快,但是震动频繁,易局部最优。BGD批量梯度下降:对整个样本计算和更新梯度,速度缓慢,但是可以收敛到全局最优点。Adam:综合考虑了梯度的均值和梯度平方,使用了梯度的一阶和二阶导数信息一般更优。动量梯度下降:在SGD基础上,加上一定惯性值,缓解震荡程度。原创 2023-02-27 08:00:00 · 83 阅读 · 0 评论 -
算法知识点-神经网络归一化方法
BatchNorm:在Batch上对NHW进行归一化,常用于图像上,原因在于图像特征提取认为通道信息对于图像特征具有重要意义,所以需要保留通道信息,对每个Batch归一化。LayerNorm:在通道上对CHW进行归一化,常用于自然语言处理,认为文字本身含义与句子长短等信息无关,故在通道上归一化。归一化:对神经网络参数的标准化,使其参数分布更为均衡统一。可以有效的环境梯度消失和梯度爆炸问题。InstanceNorm:在像素上进行归一化,常用于风格迁移。GroupNorm:对通道进行分组,然后分组归一化。原创 2023-02-26 08:15:00 · 511 阅读 · 1 评论 -
算法知识点-感受野及其计算
计算:从前往后计算。r_in 和j_in初始为stride。r_in为上一次的r_out。定义:卷积神经网络每一层特征图像素对应于原图的区域大小。原创 2023-02-26 08:15:00 · 72 阅读 · 0 评论 -
算法知识点-池化
平均池化:计算每个patch均值传递给下一层。反向传播时将值分为n为传递给前一层,以保证其传递梯度和不变。最大池化:计算每个patch最大值传递给下一层。反向传播时直接将值传递给前一层,其余部分为0.下采样,减少参数量,可以防止过拟合加快计算速度。原创 2023-02-25 08:45:00 · 151 阅读 · 0 评论 -
算法知识点-神经网络初始化
3、BatchNorm归一化,其参数分布相对均匀,具有正则化效果。1、初始化为0或一个常数,容易导致每个神经元学到相同特征。2、随机初始化,随着网络层数加深,其激活函数输出趋近0;过小初始化和过大初始化易造成梯度消失和梯度爆炸。原创 2023-02-24 09:00:00 · 82 阅读 · 0 评论 -
算法知识点-神经网络预处理
3、PCA降维和百画(首先通过零均值,然后再通过协方差矩阵求得特征值特征向量,然后投影降维,求解其相关性)。Min-Max标准化(求取最大值和最小值每个样本与最小值之差除以最大最小差);随机初始化、BatchNorm、layernorm等,加快网络拟合;零均值标准化(每个样本值减去均值);原创 2023-02-24 08:15:00 · 93 阅读 · 0 评论 -
算法知识点-CNN卷积网络特点
pooling池化,减少维度;局部卷积,提取局部特征;权值共享,特征不变性;原创 2023-02-23 08:30:00 · 98 阅读 · 0 评论 -
算法知识点-前向和反向传播
梯度下降算法需要有明确的求导,对于神经网络隐藏层不含有误差,需要反向传播算法传递误差,然后再通过梯度下降调参。首先计算最后一层预测值与真实值之间的误差,然后按照链式法则进行反向传递到上一层,得到误差更新权重。比如第l层某神经元误差=该神经元的梯度*与该神经元相连的第(l+1)层误差项权重和。按照激活函数加权重传递,f(Wx+b)原创 2023-02-23 08:00:00 · 58 阅读 · 0 评论 -
算法知识点-Epoch、Iteration区别
对BatchSize完成一次训练,包括一次前向和一次反向。对所有数据完成一次训练。每次训练的样本数量;原创 2023-02-22 08:15:00 · 189 阅读 · 0 评论 -
算法知识点-过拟合和欠拟合
增大样本数,数据增强等;使用droupout层随机神经元失活;使用Bagging随机思想;使用boosting集成学习。过拟合指的是模型在训练集上表现很好测试集表现差,模型方差大;欠拟合指的是模型在训练集和测试集表现都不佳,模型偏差大;原创 2023-02-22 08:00:00 · 89 阅读 · 0 评论 -
算法知识点-正则化
目标函数后面加上权重的绝对值,使得部分权重变为0,形成稀疏性矩阵,可以防止过拟合同时可以用来进行特征选择。目标函数后面加上权重的平方,使得权重不断减小,但始终不为0,使其权值分布均衡,防止过拟合。原创 2023-02-21 08:30:00 · 69 阅读 · 0 评论 -
算法知识点-神经网络各个评价指标
以TPR为纵坐标,FPR为横坐标绘制的曲线。其曲线越接近于左上角,表示模型效果越好。正确预测为正的样本占全部预测为正的样本的比例。P=TP/(TP+FP)正确预测为正的样本占实际全部为正的样本比例。R=TP/(TP+FN)正确预测为正的样本占实际全部为正样本比例。TP/(Tp+FN)错误预测为正的样本站实际全部为负样本比例。FP/(TN+FP)精确率和召回率的调和平均值。ROC曲线的面积,为1表示完美分类器。正确预测的样本占全部样本的比例;原创 2023-02-21 08:15:00 · 637 阅读 · 0 评论 -
算法岗面试知识点-随机森林优点
优点:具有较高的准确率,以及不易过拟合,对噪声具有很好的抗干扰能力,同时可以处理高维数据,并且不用做特征选择。原创 2023-02-20 08:45:00 · 150 阅读 · 0 评论 -
算法岗面试知识点-决策树
CART在生成子树时,选择一个特征作为切分点生成子树,其中特征选择的依据是基尼指数,选择基尼指数最小的特征用来作为切分点。ID3(基于信息增益);C4.5(基于信息增益比);CART(基于基尼指数)。boosting+决策树=adboost;gradient+决策树=GBDT;Bagging+决策树=随机森林;原创 2023-02-20 08:15:00 · 51 阅读 · 0 评论 -
算法岗面试知识点-bagging与boosting区别
2、Bagging各样本之间权重相等,属于均匀采用;而boosting各样本权重不相等,错误率越大的样本权重越大;1、Bagging是有放回的抽样,各数据集之间相互独立;boosting使用的是全局数据集,数据集不发生变换;3、Bagging各预测函数权重是相等的,而boosting每个弱分类器都有各自的权重;4、Bagging各预测函数是可以并行生成的,而boosting只能按顺序生成。原创 2023-02-19 08:30:00 · 424 阅读 · 0 评论 -
算法岗面试知识点-K-means聚类步骤
循环反复直至簇不发生变换或者到了最大迭代次数。随机选取或者按照固定规则选取k个点作为质心;计算每个点到质心之间的距离,形成k个簇;重新计算每个簇的质心;原创 2023-02-19 08:15:00 · 108 阅读 · 0 评论 -
算法岗面试知识点-KNN算法概述
KNN定义:通过计算测试样本与训练样本之间的距离,从小到大排序,选取前k个距离最小的样本,其类别频率最高的类别为输出结果。KNN是有监督分类学习算法,需要训练;K-means是无监督聚类算法,不需要训练。原创 2023-02-18 08:45:00 · 70 阅读 · 0 评论 -
判别式模型和生成式模型
生成式模型:高斯混合模型(GMM);马尔科夫随机场(MRF);隐马尔可夫模型(HMM);线性判别分析(LDA)生成式模型:由数据学习联合概率分布,求解出其联合概率密度,然后再求出条件概率作为预测的模型。判别式模型:逻辑回归,SVM,随机森林、奇异值分解(SVD),PCA主成分分析等很多。判别式模型:直接对决策函数或者是条件概率进行建模;原创 2023-02-18 08:30:00 · 215 阅读 · 0 评论 -
算法岗面试知识点-GBDT、AdaBoost、XGboost区别
Adaboost是以错分数据点来定位模型的不足;而GBDT是以梯度来定位模型的不足。GBDT使用CART回归决策树作为基分类器,而XGboost还支持线性分类器;XGBoost损失函数中加入了正则化,可以防止过拟合;XGboost使用了列抽样,随机选取样本。原创 2023-02-17 08:30:00 · 171 阅读 · 0 评论 -
算法岗面试知识点-GBDT梯度提升树
定义:GBDT作为一种加法模型,集成学习算法,由多个基分类器线性组合构成,通过不断减小训练过程中的残差来进行数据分类或者回归的算法。GBDT作为树模型,具有树模型的优点,对异常点鲁棒性强,不相关特征干扰低(逻辑回归则需要标准化),具有很好处理缺失值的方法等。另一方面借鉴投票机制,分别对每个特征训练模型,计算每个特征分类正确样本数占所有每个特征分类正确数之和的比例作为权重。一方面,计算每个特征的信息增益,然后计算其每个特征信息增益占所有特征的比重作为权重;对特征进行预排序,可以加速查找特征。原创 2023-02-16 08:45:00 · 306 阅读 · 0 评论 -
算法岗面试知识点-SVM与逻辑回归异同
SVM损失函数自带正则化,结构风险最小化(在训练误差和模型复杂度之间寻求平衡),可以防止过拟合,达到真实误差最小。SVM使用的是合页损失函数hinge loss,逻辑回归使用的是交叉熵损失函数;SVM依赖于数据之间的距离进行分类,需要预先标准化;SVM样本只考虑局部边界点,而逻辑回归考虑的是全局点;SVM在非线性问题上引入核函数,而逻辑回归不用;不考虑核函数,都为线性分类面;都为有监督学习算法;原创 2023-02-16 08:00:00 · 412 阅读 · 0 评论 -
算法岗面试知识点-SVM支持向量机总结概述
对数据寻找其分离超平面时会存在多个分类超平面可以使得数据分开,而使用间隔最大化寻找到的最优分离超平面,可以保证其解是唯一的。当数据线性不可分的时候,通过引入核函数使得当前数据映射到高维空间中,使得其在高位特征空间中线性可分。SVM将求解参数问题转换为求解对偶问题本质上是将求解W和b的问题转换为求解核函数和b的问题。一方面,可以将目标函数和约束融入到新函数中,使得求解问题更易处理;线性核函数,用于线性可分时,速度快,可用于特征数较大时;拉普拉斯核函数,多项式核函数,sigmoid核函数等。原创 2023-02-15 10:15:57 · 433 阅读 · 0 评论 -
算法工程师面试-逻辑回归与线性回归区别
(2)线性回归模型求解其自变量与因变量直接关系,为回归模型,线性关系;逻辑回归其求解自变量与因变量之间的概率关系,为非线性分类模型;(1)线性回归模型其变量服从正太分布;而逻辑回归模型其变量服从伯努利分布;(3)线性回归损失函数为均方差损失函数,逻辑回归损失函数为交叉熵损失函数。原创 2023-02-15 08:00:00 · 160 阅读 · 0 评论 -
算法工程师面试知识点-逻辑回归知识点简述
按照逻辑回归的数学模型推导,其使用均方差损失函数曲线存在多个局部最优解,而使用交叉熵损失函数则满足全局最优解条件。数学模型表达:h(x)=g(参数矩阵的转置(x))。其中g为sigmoid激活函数,为1/(1+e^(-x))。sigmoid激活函数满足最大熵原则,且任意阶可导,方便使用。逻辑回归为何使用交叉熵损失函数,不用均方差函数?逻辑回归为何使用sigmoid激活函数?特点:二分类算法,速度快,适应性差。激活函数:sigmoid激活函数。损失函数:交叉熵损失函数。原创 2023-02-14 15:01:29 · 95 阅读 · 0 评论 -
极大似然估计与逻辑回归
首先逻辑回归针对P(Y|X,参数)=(H(x))的y次方*(1-H(x))的(1-y)次方。原因在于其逻辑回归所使用的是交叉熵函数是由极大似然估计推导而来。其中取其似然函数,则有连乘符号,然后取对数,变成叠加。使其似然函数取最大则为逻辑回归所求。原创 2023-02-14 14:52:33 · 202 阅读 · 0 评论 -
七天零基础实现AI实战训练课程
本课程通过七天打卡学习的方式引导大家了解和学习人工智能,在学习理论的基础上更侧重实践,同时完成任务的还能获取官方的奖品礼物哦原创 2022-01-19 18:45:47 · 1357 阅读 · 0 评论 -
GPU服务器应用搭建
高配云服务器,GPU欢迎大家前往滴滴云机器学习平台。使用大师码7749更可以享受9折优惠哦。谢谢大家支持滴滴云账号注册地址:https://app.didiyun.com/#/dc2/add?srvType=ebs.gpu.p4原创 2020-10-21 15:03:52 · 277 阅读 · 1 评论