![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 57
Avada__Kedavra
这个作者很懒,什么都没留下…
展开
-
近似最近邻(Approximate Nearest Neighbor, ANN)检索
参考链接干货 | 一文读懂 ANN一文尽览近似最近邻搜索中的哈希与量化方法最近邻检索(NN)和近似最近邻(ANN)检索Facebook深度学习应用 | 最近邻搜索算法速度数百倍之差,有人断言KNN面临淘汰,更快更强的ANN将取而代之...原创 2021-03-03 18:37:42 · 4548 阅读 · 1 评论 -
L1 L2 正则化
1. L1、L2正则化 L1正则化是参数的绝对值累加和,L2正则化是参数的平方和。假设现在只有两个参数要学,蓝色的圆心是误差最小的地方,每条蓝线的误差都一样。正规化的方程就是在黄线上产生的额外误差,黄线和蓝线交点处误差和最小,这也是、正规化后的解。使用L1的后果可能是,只有被保留,L1倾向于选择对结果贡献最大的重要特征。用批训练的话L1不稳定...原创 2020-10-12 15:05:26 · 109 阅读 · 0 评论 -
Kaggle Click-Through Rate Prediction 点击率预测/CTR预估
前言点击率(Click through rate)预估用来判断一条广告被用户点击的概率,对每次广告的点击做出预测,把用户最有可能点击的广告找出来,是广告技术最重要的算法之一。数据集数据来源于kaggle赛题 Avazu:Click-Through Rate Prediction提供了11天的Avazu数据来构建和测试预测模型:任务输入:数据集文件:train.csv 和 test.cs...原创 2019-07-05 20:55:50 · 17191 阅读 · 23 评论 -
Kaggle Event Recommendation Engine Challenge 活动推荐
前言赛题链接为:Event Recommendation Engine Challenge赛题介绍根据用户信息与活动(event)信息,预测用户将对哪些活动感兴趣。数据集共有六个文件:train.csv,test.csv, users.csv,user_friends.csv,events.csv和 event_attendees.csv。train.csv 包含六列:user:用...原创 2019-06-30 17:26:26 · 934 阅读 · 5 评论 -
样本不均衡
样本不均衡容易发生过拟合。1. 过采样小样本(扩充小类,产生新数据)该方法通过增加分类中少数类样本的数量来实现样本均衡,最直接的方法是简单复制少数类样本形成多条记录,这种方法的缺点是如果样本特征少而可能导致过拟合的问题;经过改进的过抽样方法通过在少数类中加入随机噪声、干扰数据或通过一定规则产生新的合成样本,例如SMOTE算法。2. 欠采样大样本欠抽样(也叫下采样、under-sam...原创 2019-06-28 20:49:13 · 903 阅读 · 0 评论 -
监督学习和无监督学习的区别
监督无监督根据训练数据是否有标签,学习任务可大致划分为“监督学习”和“无监督学习”。监督学习方法必须要有训练集与测试样本。利用训练数据集学习一个模型,再用模型对测试样本集进行预测。无监督学习没有训练集,只有一组数据,在该组数据集内寻找规律。试图使簇内差距最小化,簇间差距最大化。距离度量 曼哈顿距离 欧式距离切比雪夫距离余弦距离...原创 2019-06-28 19:16:23 · 712 阅读 · 0 评论 -
生成学习算法
生成方法、判别方法、先验概率、条件概率、后验概率、极大似然估计、似然函数与概率函数。监督学习方法又可以分成生成方法和判别方法,所学到的模型分别为生成模型和判别模型。生成方法生成方法学习的是联合概率分布 ,然后根据条件概率公式计算作为预测的模型,即生成模型。 判别方法判别方法直接学习决策函数或者条件概率分布作为预测的模型,即...原创 2019-06-18 14:57:02 · 1646 阅读 · 0 评论 -
分类 手写体数字识别
1.数据集我们将会使用 MNIST 这个数据集,它有着 70000 张规格较小的手写数字图片,由美国的高中生和美国人口调查局的职员手写而成。这相当于机器学习当中的“Hello World”。Scikit-Learn 提供了许多辅助函数,以便于下载流行的数据集。MNIST 是其中一个。下面的代码获取 MNIST。在这里插入代码片编码器OneHotEncoder,用于将整数分类值转变为独热向...原创 2019-06-12 09:42:46 · 6327 阅读 · 0 评论 -
训练模型
训练模型1.线性回归The Normal Equation计算复杂度梯度下降批量梯度下降随机梯度下降小批量梯度下降2.多项式回归学习曲线3.线性模型的正则化岭(Ridge)回归Lasso 回归弹性网络(ElasticNet)早期停止法(Early Stopping)7.逻辑回归概率估计训练和损失函数决策边界8.Softmax 回归9.参考链接在之前的描述中,我们通常把机器学习模型和训练算法当作黑...原创 2019-06-13 22:50:17 · 10130 阅读 · 2 评论 -
线性回归为什么使用平方损失函数
线性回归的模型及假设: ,随机误差服从正态分布(高斯分布)are distributed IID,随机误差是独立同分布的于是目标变量的条件概率分布:注意:整个训练集的似然函数为:对数似然函数为:因此,最大化对数似然函数,相当于最小化...原创 2019-06-06 15:53:44 · 2403 阅读 · 0 评论 -
机器学习三要素
机器学习三要素是:模型、策略、算法。实现机器学习方法的步骤中,有如下步骤实现求解最优模型的算法通过学习算法选择最优模型让我产生了一些疑惑,例如“线性回归是模型还是算法?”,“SVM是模型还是算法?”模型模型就是要学习的条件概率分布或决策函数。例如线性回归模型: SVM的分类决策函数: ...原创 2019-06-06 14:23:34 · 2238 阅读 · 0 评论 -
Logistic Regression 逻辑斯谛回归 LR
目录1.定义2.参数的似然函数3.LR的代价函数4.梯度下降的计算5.为什么LR一般不适用均方误差来作为Loss Function6.交叉熵损失函数7.逻辑回归是线性模型吗?8.逻辑回归与线性回归的联系和区别?10. LR为什么使用sigmoid函数?11. 逻辑回归怎么实现多分类?12. 逻辑斯谛回归是处理线性问题还是非线性问题?参考链接1.定...原创 2019-06-12 16:04:38 · 522 阅读 · 1 评论