![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习与深度学习算法
文章平均质量分 83
莱维贝贝、
这个作者很懒,什么都没留下…
展开
-
利用Keras搭建神经网络做多分类任务
第一步:加入Macro-F1: 根据每一个类别的准召率计算F1值,然后求均值. 忽略了样本间分布出现的不平衡问题.或者:Micro-F1: 不区分类别,直接用总体样本的准召率计算F1-score.第二步:修改上面的训练代码。原创 2023-04-18 23:09:53 · 867 阅读 · 0 评论 -
推荐模型之多任务模型:ESMM、MMOE
的全称是Entire Space Multi-task Model (ESMM),是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例,最大化场景商品交易总额(GMV)是平台的重要目标之一,而GMV可以拆解为流量×点击率×转化率×客单价,因此转化率是优化目标的重要因子之一; 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。,其存在如下问题:ESMM模型利用用户行为序列数据在完整样本空间建模,避免了传统CVR模型经常原创 2022-06-23 19:15:31 · 9544 阅读 · 1 评论 -
推荐算法之召回模型:DSSM、YoutubeDNN
,由微软研究院提出,利用深度神经网络将文本表示为低维度的向量,应用于文本相似度匹配场景下的一个算法。不仅局限于文本,在其他可以计算相似性计算的场景,例如推荐系统中。根据用户搜索行为中(文本搜索)和(要匹配的文本)的日志数据,使用深度学习网络将query和doc映射到相同维度的语义空间中,即query侧特征的embedding和doc侧特征的embedding,从而得到语句的低维语义向量表达sentence embedding,用于预测两句话的语义相似度。模型结构:user侧塔和item侧塔分别经过各自的D原创 2022-06-22 10:21:11 · 1652 阅读 · 0 评论 -
推荐模型之DeepFM与DIN
DeepFM主要在FNN和PNN的基础上,采用并行方式,结合FM Layer和Deep Layer,提高模型计算效率。主要功能:有效地训练出交叉特征的权重FM Layer主要是由一阶特征和二阶特征组合,再经过Sigmoid得到logitsFM Layer的优点:2. DIN (深度兴趣网络)2.1 DIN产生背景历史信息关注度不足单方面点击预测难以预测用户广泛的兴趣历史数据量大2.2 DIN模型Activation Unit:作用: 在当前候选广告和用户的历史行为之间引入注意力的机原创 2022-06-19 23:58:31 · 765 阅读 · 0 评论 -
决策树原理总结(ID3、C4.5、CART)+ 常见面试问题
系统梳理树类型算法原理加常见面试问题类容按照决策树、Adaboost、GBDT、XGBoost、LightGBM 顺序进行梳理本次的重点类容是决策树的CART树ID3、C4.5介绍请转移到:ID3、C4.5的原理与案例介绍1. CART树ID3与C4.5虽然可以通过多叉树尽可能的挖掘特征信息,但是随着数据量的增加,其决策树分支也会大量增多。CART算法的二分法简化了决策树的规模,提高了生成决策树的效率。1.1 CART分类树实现过程输入: 训练集D,基尼系数的阈值,切分的最少样本个数阈值.原创 2022-06-02 15:13:56 · 2633 阅读 · 1 评论 -
lightGBM分类模型
import lightgbm as lgbimport numpy as npfrom sklearn.model_selection import StratifiedKFoldfrom sklearn.metrics import roc_auc_score, accuracy_score, f1_score, precision_score, recall_scoreimport warningswarnings.filterwarnings('ignore')X_train, X原创 2022-04-20 21:06:23 · 1217 阅读 · 0 评论 -
分类模型的评价指标及实现(Python)
本文根据自己对分类模型的评价指标的理解以及其它博主的理解进行总结而成,有疑问或不对地方,请留言指出。1. 什么是评价指标?评价指标:是针对 同份数据,不同算法模型 或者 同模型但不同模型参数,而给出这个算法或者参数好坏的定量指标;常用的评价指标(分类模型):准确率(Accuracy)、精确率(Precision)、召回率(Recall)、P-R曲线(Precision-Recall Curve)、F1 Score、混淆矩阵(Confuse Matrix)、ROC、AUC。为什么要有这么多度量指标呢?原创 2022-03-12 21:59:30 · 8346 阅读 · 2 评论 -
Python画ROC图与AUC值
ROC和AUC定义ROC全称是“受试者工作特征”(Receiver Operating Characteristic)。ROC曲线的面积就是AUC(Area Under the Curve)。AUC用于衡量“二分类问题”机器学习算法性能(泛化能力)计算ROC的关键概念P(Positive):预测值为正例N(Negative):预测值为反例T(True):预测值与真实值相同F(False):预测值与真实值相反TP:被模型预测为正类的正样本TN:被模型预测为负类的负样本FP:被模型预测为正类原创 2021-11-17 15:48:24 · 2473 阅读 · 0 评论 -
Windows安装Anaconda+Pycharm+机器学习基础环境(pandas、opencv、matplotlib、pytorch、tensorflow、scikit-learn.....)!!!
目录1.安装Anaconda1.1安装流程:1.2 创建自己的环境2 Anaconda安装numpy、 pandas、opencv、matplotlib、pytorch、tensorflow........2.1 确保你的conda环境是最新的2.2 切换仓库地址到清华镜像2.3 查看你目前的环境有哪些东西2.4 安装scipy、numpy、matplotlib、pandas、statsmodels、scikit-learn2.5 安装opencv2.6 安原创 2021-05-24 22:45:10 · 2683 阅读 · 22 评论 -
机器学习基础概念练习题与答案
1.你会怎么定义机器学习?答:机器学习是一门能够让系统从数据中学习的计算机科学2.机器学习在哪些问题上表现突出,你能提出四种类型吗?答:机器学习非常利于: 1.不存在已知算法解决方案的复杂问题2. 需要大量手动调整或是规则列表超长的问题, 3.创建可以适应环境波动的系统, 4.以及帮助人类学习(比如数据挖掘)3.什么是被标记的训练数据集?答:被标记的训练集是指包含每个实例所期望的解决方案的训练集4.最常见的两种监督式学习任务是什么?答:最常见的两个监督式任务是回归和分类5.你能举出四原创 2021-04-19 16:25:48 · 3372 阅读 · 2 评论 -
这些机器学习基础概念练习题,您能回答出来吗?
1.你会怎么定义机器学习?2.机器学习在哪些问题上表现突出,你能提出四种类型吗?3.什么是被标记的训练数据集?4.最常见的两种监督式学习任务是什么?5.你能举出四种常见的无监督式学习任务吗?6.要让一个机器人在各种未知的地形中行走,你会使用什么类型的机器学习算法?7.要将顾客分成多个组,你会使用什么类型的算法?8.你会将垃圾邮件检测的问题列为监督式学习还是无监督式学习?9.什么是在线学习系统?10.什么是核外学习?11.什么类型的学习算法依赖相似度来做出预测?12.模型参数与学习算法的原创 2021-04-19 16:00:44 · 298 阅读 · 0 评论 -
一文弄懂:训练集、测试集、验证集
训练集:训练集的数据来训练模型 测试集:用测试集的数据来测试模型,通过测试集来评估你的模型,就可以得到对这个误差的评估 验证集:当使用正则化等算法防止过拟合时,需要用验证集得到最佳的超参数和模型 了解一个模型对于新场景的泛化能力的唯一办法就是,让模型真实地去处理新场景。做法之一是将其部署在生产环境,然后监控它的输出。这个方法用起来不错,不过如果模型非常糟糕,你的用户就会抱怨——所以这显然不是最好的办法。 更好的选择是将你的数据分割成两部分:训练集和测...原创 2021-04-19 09:38:52 · 6949 阅读 · 0 评论 -
胶囊神经网络详解
目录背景介绍卷积神经网络不足之处位姿胶囊是什么?胶囊的工作原理1.输入向量的矩阵乘法2.输入向量的标量加权3.加权输入向量之和4. 向量到向量的非线性变换囊间动态路由算法(精髓所在)背景介绍Geoffrey Hinton,深度学习的开创者之一,反向传播等神经网络经典算法的发明人,2017年10月发表了论文,介绍了全新的胶囊网络模型,以及相应的囊间动态路由算法。论文https://arxiv.org/pdf/1710.09829.pdfGeo..原创 2021-04-17 22:52:56 · 19806 阅读 · 13 评论 -
一文搞懂,监督式/无监督式学习,批量学习/在线学习
监督式/无监督式学习根据训练期间接受的监督数量和监督类型, 可以将机器学习系统分为以下四个主要类别: 监督式学习、 无监督式学习、 半监督式学习和强化学习。监督式学习在监督式学习中,所有数据被打了标签或标记。分类任务是一个典型的监督式学习任务。垃圾邮件过滤器就是个很好的例子:通过大量的电子邮件示例及其所属的类别(垃圾邮件或是常规邮件)进行训练,然后学习如何对新邮件进行分类。还有典型的任务,是通过预测变量,也就是一组给定的特征(里程、使用年限、品牌等)来预测一个目标数值,例如汽车的价格.原创 2021-04-16 11:12:47 · 3078 阅读 · 5 评论 -
Batch Normalization算法
目录Batch Normalization算法Batch Normalization的评估Batch Normalization算法Batch Normalization(下文简称 Batch Norm)是 2015 年提出的方法。Batch Norm虽然是一个问世不久的新方法,但已经被很多研究人员和技术人员广泛使用。实际上,看一下机器学习竞赛的结果,就会发现很多通过使用这个方法而获得优异结果的例子。为什么Batch Norm这么惹人注目呢?因为Batch Norm有以下优点..原创 2021-04-11 16:40:12 · 594 阅读 · 0 评论 -
正则化、Dropout抑制过拟合
目录1 过拟合2 L2范数的权值衰减3 Dropout机器学习的问题中, 过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据,但不能很好地拟合不包含在训练数据中的其他数据的状态。机器学习的目标是提高泛化能力,即便是没有包含在训练数据里的未观测数据,也希望模型可以进行正确的识别。我们可以制作复杂的、表现力强的模型,但是相应地,抑制过拟合的技巧也很重要。1 过拟合发生过拟合的原因,主要有以下两个。• 模型拥有大量参数、表现力强。• 训练数据少这里,我们故意满足这两个条件,.原创 2021-04-10 13:43:37 · 618 阅读 · 0 评论 -
神经网络中的权重初始化
目录权重的初始值1 可以将权重设置为0吗?2 隐藏层的激活值的分布(sigmoid函数为例)3 ReLU的权重初始值4 总结权重的初始值在神经网络的学习中,权重的初始值特别重要。实际上,设定什么样的权重初始值,经常关系到神经网络的学习能否成功。接下来介绍下权重初始值的推荐值1 可以将权重设置为0吗?如果我们把权重初始值全部设为0以减小权重的值,会怎么样呢?从结论来说,将权重初始值设为0不是一个好主意。事实上,将权重初始值设为0的话,将无法正确进行学习。为什么不能将.原创 2021-04-09 11:15:41 · 3964 阅读 · 2 评论 -
SGD、Momentum、 AdaGrad、Adam
目录1.SGD1.1 SGD的缺点2. Momentum3. AdaGrad4. Adam5 使用哪种更新方法呢神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化(optimization)。遗憾的是,神经网络的最优化问题非常难。为了找到最优参数,我们将参数的梯度(导数)作为了线索。使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数,这个过程称为随机梯度下降法(stochastic gradie原创 2021-04-08 17:40:01 · 1971 阅读 · 0 评论 -
通俗易懂的反向传播法(python 代码实现)
1. 计算图计算图将计算过程用图形表示出来。这里说的图形是数据结构图,通过多个节点和边表示(连接节点的直线称为“边”)。用计算图求解几个常见的问题:问题1: 太郎在超市买了2个100日元一个的苹果,消费税是10%,请计算支付金额。问题2: 太郎在超市买了2个苹果、 3个橘子。其中,苹果每个100日元,橘子每个150日元。消费税是10%,请计算支付金额。综上,用计算图解题的情况下,需要按如下流程进行。1.构建计算图。2.在计算图上,从左向右进行计算。这里的第2歩“从左向右进行计算”原创 2021-04-07 21:19:51 · 8314 阅读 · 5 评论 -
感知机与神经网络
感知机是具有输入和输出的算法。给定一个输入后,将输出一个既定的值。感知机将权重和偏置设定为参数。 权重相当于电流里所说的电阻。电阻是决定电流流动难度的参数,电阻越低,通过的电流就越大。而感知机的权重则是值越大,通过的信号就越大。 不管是电阻还是权重,在控制信号流动难度(或者流动容易度)这一点上的作用都是一样的。使用感知机可以表示与门和或门等逻辑电路 实现与门AND:实现非门 NAND ...原创 2021-04-06 10:37:30 · 854 阅读 · 0 评论 -
期望最大化(EM)算法的案列讲解
目录1.什么是EM呢?2 EM算法的具体介绍2.1 极大似然估计2.1.1 问题描述2.2 用数学知识解决现实问题2.3 最大似然函数估计值的求解步骤3 算法实例3.1 一个超简单的案列3.2 加入隐变量Z后的求解3.2.1 EM初级版3.2.2 EM进阶版1.什么是EM呢?EM算法也称期望最⼤化(Expectation-Maximum,简称EM) 算法,它是⼀个基础算法, 是很多机器学习领域算法的基础, 比如隐式⻢尔科夫算法(HMM) 等等。它.原创 2021-03-28 14:22:35 · 1547 阅读 · 2 评论 -
支持向量机(SVM)与案列讲解(Python 实现案列)
1. SVM算法简介1.1 SVM 算法导入在很久以前的情⼈节, ⼤侠要去救他的爱⼈, 但魔⻤和他玩了⼀个游戏。魔⻤在桌⼦上似乎有规律放了两种颜⾊的球, 说:“你⽤⼀根棍分开它们? 要求: 尽量在放更多球之后, 仍然适⽤。 ”于是⼤侠这样放, ⼲的不错?然后魔⻤, ⼜在桌上放了更多的球, 似乎有⼀个球站错了阵营。怎么办? ?把分解的⼩棍⼉变粗。SVM就是试图把棍放在最佳位置, 好让在棍的两边有尽可能⼤的间隙。现在即使魔⻤放了更多的球, 棍仍然是⼀个好的分界线然后, 在S原创 2021-03-27 19:27:49 · 5377 阅读 · 1 评论 -
K-means聚类的实现以及案例讲解
1 k-means聚类步骤1、 随机设置K个特征空间内的点作为初始的聚类中⼼ 2、 对于其他每个点计算到K个中⼼的距离, 未知的点选择最近的⼀个聚类中⼼点作为标记类别 3、 接着对着标记的聚类中⼼之后, 重新计算出每个聚类的新中⼼点(平均值) 4、 如果计算得出的新中⼼点与原中⼼点⼀样(质⼼不再移动) , 那么结束, 否则重新进⾏第⼆步过程通过下图解释实现流程:2. 案例联系1、 随机设置K个特征空间内的点作为初始的聚类中⼼(本案例中设置p1和p2)2、 对于其他每个点.原创 2021-03-26 16:03:49 · 57229 阅读 · 10 评论 -
集成学习(Bagging与Boosting)及案列讲解
1 什么是集成学习集成学习通过建⽴⼏个模型来解决单⼀预测问题。 它的⼯作原理是⽣成多个分类器/模型, 各⾃独⽴地学习和作出预测。 这些预测最后结合成组合预测, 因此优于任何⼀个单分类的做出预测。2 机器学习的两个核心任务任务⼀: 如何优化训练数据 —> 主要⽤于解决⽋拟合问题任务⼆: 如何提升泛化性能 —> 主要⽤于解决过拟合问题3 集成学习中Boosting 和 Bagging只要单分类器的表现不太差, 集成学习的结果总是要好于单分类器的4 Bag...原创 2021-03-26 08:43:29 · 1133 阅读 · 0 评论 -
决策树算法实现:泰坦尼克号乘客生存预测 (python实现)
1 案例背景2 决策树算法apiclass sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)1.criterion特征选择标准"gini"或者"entropy", 前者代表基尼系数, 后者代表信息增益。 ⼀默认"gini", 即CART算法。2.min_samples_split内部节点再划分所需最⼩样本数这个值限制了⼦树继续划分的条件, 如果某节点的样本数少于mi原创 2021-03-24 17:37:48 · 5858 阅读 · 1 评论 -
决策树分类基本原理加案列说明
1.认识决策树什么是决策树呢?决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-else结构,最早的决策树就是利用这类结构分割数据的一类分类学习方法。决策树:shi'y原创 2021-03-24 15:30:13 · 2887 阅读 · 0 评论 -
梯度下降法介绍( 案列:波士顿放假预测)
一、详解梯度下降算法1.1 梯度下降饿相关概念复习在详细了解梯度下降的算法之前, 我们先复习相关的⼀些概念。步长(Learning rate): 步长决定了在梯度下降迭代的过程中, 每⼀步沿梯度负方向前进的⻓度。用之前帖子的下山列子, 步⻓就是在当前这⼀步所在位置沿着最陡峭最易下⼭的位置⾛的那⼀步的⻓度。特征(feature): 指的是样本中输⼊部分, 比如2个单特征的样本则第⼀个样本特征为x , 第⼀个样本输出为y 。假设函数(hypothesis function)...原创 2021-03-09 08:51:54 · 1967 阅读 · 1 评论 -
线性回归
一、线性回归简介1.1 线性回归的应用场景房价预测、销售额度预测、贷款额度预测等1.2 什么是线性回归线性回归( Linear regression)是利用回归方程(函数)对一个或者多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析。特点:只有一个自变量的情况称为单变量回归,多于一个自变量的情况的叫做多元回归线性回归用矩阵表示举例 写成矩阵形式: ...原创 2021-03-07 15:43:16 · 567 阅读 · 1 评论 -
朴素贝叶斯的原理及python代码案例实现
一、概率论基础复习1.1 概率定义概率定义为一件事发生的可能性(例如:扔出一个硬币,结果头像朝上的可能性是多少)P(X) :取值在[0,1]之间1.2 案列:判断女神对你的喜欢情况问题如下:1. ⼥神喜欢的概率?2. 职业是程序员并且体型匀称的概率?3. 在⼥神喜欢的条件下, 职业是程序员的概率?4. 在⼥神喜欢的条件下, 职业是程序员、 体重超重的概率?计算结果为下:P(喜欢) = 4/7P(程序员, 匀称) = 1/7(联合概率)P(程序员|喜欢) = 2原创 2021-03-05 21:45:24 · 1884 阅读 · 2 评论 -
K-近邻算法(k-NN)的原理及python代码案例实现
1 K-NN算法的原理1.1 K-NN概念 K Nearest Neighbor算法⼜叫KNN算法, 这个算法是机器学习⾥⾯⼀个⽐较经典的算法, 总体来说KNN算法是相对⽐较容易理解的算法。定义: 如果⼀个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某⼀个类别, 则该样本也属于这个类别。(起源:KNN最早是由Cover和Hart提出的一种分类算法);俗话就是:根据“邻居”来推断出你的类别。1.2 基本流程1)计算已知类别数据集中...原创 2021-02-28 11:23:59 · 2160 阅读 · 0 评论