机器学习理论
文章平均质量分 65
机器学习
爱编程的喵喵
双985硕士毕业,现担任AI大模型全栈工程师一职,热衷于将数据思维应用到工作与生活中。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。官方认证“人工智能领域优质创作者”,入选2023年中国开发者影响力年度榜单,荣获付费内容优质创作者称号。代表专栏《Python基础课程》、《Linux解决方案》、《Windows实用技巧》、《机器学习理论与实战》、《从零开始学Java》等。
展开
-
markdown
参考链接:https://blog.csdn.net/appleyuchi/article/details/84036985https://www.cnblogs.com/void-lambda/p/12304274.htmlhttps://www.jianshu.com/p/2de4df0bb1fa原创 2021-08-05 09:34:43 · 260 阅读 · 0 评论 -
逻辑回归及其衍生
1. 回顾(多元线性回归)多元线性回归表达式:y⃗=Xω⃗+b⃗\vec{y} = X\vec{\omega} + \vec{b}y=Xω+b,其中,对于变量y,每个值yiy_iyi都是期望值(平均值)用图形表示为:2. sigmoid函数多元线性回归,顾名思义,是一种回归模型,假如现在要做分类,如何用多元线性回归模型来做分类任务呢?一种简单通俗的想法如下:假如上图中红色的x是需要拟合的数据,由于yiy_iyi是一种期望值,因此拟合出的多元线性模型就是图中的紫色线。想要借此做分类,可以设原创 2020-10-12 22:16:13 · 444 阅读 · 10 评论 -
从Adaboost到GBDT
1.boosting 回顾Boosting 基本思想如下图所示: Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1,根据弱学习的学习误差率表现来更新训练样本的权重,使得之前弱学习器1学习误差率高的训练样本点的权重变高,使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.,如此重复进行,直到弱学习器数达到事先指定的数目...原创 2019-01-29 20:19:29 · 394 阅读 · 3 评论 -
机器学习概念
在机器学习中,对于一组数据,可以有很多f能利用数据中的x预测出一个y,但是哪个f是最好的呢?机器学习的目的就是选出这个最好的f∗f^*f∗,并拿其进行预测。如linear model就相当于图片中的goodnees of function fstructured learning:结构化学习semi-supervised learning:半监督学习transfer learning:迁...原创 2019-03-11 17:08:42 · 257 阅读 · 6 评论 -
通过变量理解bigru的工作过程
vecvec:array of word vec:[[-0.058550 0.125846 -0.083195 0.031818 -0.183519…], —>’,’[0.087197 -0.083435 0.057956 0.143120 -0.000068…], ---->‘的’…]每一行都是一个词的向量,最后两行是随机生成的正态分布数据,对应下面的UNK和BLA...原创 2019-05-03 11:23:48 · 2839 阅读 · 6 评论 -
激活函数讲解
1. sigmoidsigmoid是很常用的非线性激活函数,其取值范围为[0,1],连续可导函数,因此,实际应用中可以把sigmoid的结果当成概率值。典型例子如逻辑回归sigmoid的导数为:图像如下:当 z 值非常大或者非常小时,sigmoid函数的导数 g′(z) 将接近 0 。这会导致权重 W 的梯度接近 0 ,使得梯度更新十分缓慢,即梯度消失(sigmoid后值都在0-1...原创 2019-07-30 09:50:34 · 645 阅读 · 5 评论