Machine Learning & Algorithm
文章平均质量分 92
soullines
只若初见
展开
-
浅谈Attention注意力机制
Attention注意力机制注意力机制模仿了生物观察行为的内部过程,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时,会通过快速扫描全局图像,获得需要重点关注的目标区域,也就是注意力焦点。然后对这一区域投入更多的注意力资源,以获得更多所需要关注的目标的细节信息,并抑制其它无用信息。这种机制普遍使用与cv和nlp的相关领域,事实证明确实有很大的...原创 2020-01-29 21:59:25 · 2393 阅读 · 1 评论 -
集成学习 (投票分类器 & bagging/pasting & RandomForest & Boosting)
集成学习本文主要介绍voting (投票学习器)bagging / pasting3.随机森林boosting1.集成学习概述1.1 概述集成学习通过结合多个单一学习器,并聚合其预测结果的学习任务,也可以称作多分类系统等,下面是集成学习的概要图:单一的学习器可以被称为个体学习器,聚合的过程对应结合模块根据学习器是否一致可以分为 同质 和 异质同质集成中的个体学习...原创 2020-01-15 19:39:11 · 8028 阅读 · 2 评论 -
决策树原理解析
决策树原理解析1.决策树算法以及基本流程决策树是基于树结构进行决策的,其机制就是通过判定每个属性分类的纯度来进行自上而下决策分类决策树包含 根结点 ,内部结点, 叶结点; 根结点和内部结点对应与分类的属性(也就是分类的基准),叶结点对应决策结果(也就是纯度很高且不需要继续分裂的类别);从根结点到某一个叶结点的路径便是当前叶结点对应类的整个决策过程,下面来看决策树的算法流程:可以看到决...原创 2020-01-10 20:39:06 · 3326 阅读 · 0 评论 -
协同过滤推荐 -- 基于行为相似的召回
1.推荐计算 — UserCF & ItemCF源码代地址:Movielens_Recommend1.1 基于用户的协同过滤(UserCF)中心思想:基于用户对物品的偏好找到相邻用户,然后将相邻用户喜欢的物品推荐给当前用户1.1 计算向量: 将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度1.2 根据相似度找到K个相邻用户之后,根据相邻用户的相似度权重以及他们对...原创 2020-01-07 20:32:20 · 970 阅读 · 0 评论 -
贝叶斯分类 & 朴素贝叶斯分类
该博客摘自周志华-机器学习,有加入自己的感悟,一方面作为学习的笔记,再者有基于此做一些实际的思考1. 贝叶斯分类贝叶斯策论是概率框架下实施决策的基本方法,适用于各种分类任务;简单聊一下 先验 和 后验 概率:条件: 今天风大/小(用A表示该事件)结果:是否可以骑行(用B表示该事件)那么: 先验概率就是 P(A)P(A)P(A),后验概率就是 P(A∣B)P(A|B)P(A...原创 2019-11-19 16:45:15 · 575 阅读 · 1 评论 -
python中张量的广播机制详解 -- 附实例
python中张量运算的广播机制在python中,尤其是深度学习方向,在构建网络过程中,初始化参数会频繁用到下面来看下广播的原理:如果两个数组的后缘维度(从末尾开始算起的维度)的轴长度相符或其中一方的维度长度为1(但是其他维度必须相同),则认为它们是广播兼容的。广播会在缺失维度和(或)轴长度为1的维度上进行。1.后缘纬度相同进行广播(后缘纬度就是从后开始对比矩阵维度,要求相同) ...原创 2019-11-13 17:50:12 · 867 阅读 · 0 评论 -
深度学习--- GAN网络原理解析
Generative Adversarial Network对抗生成网络,这是当下机器视觉比较热门的一个技术,由两部分组成生成器(GnetG_{net}Gnet)和判别器(D_{net})组成GAN区别与传统的生成网络,生成的图片还原度高,主要缘于D网络基于数据相对位置和数据本身对realrealreal数据奖励,对fakefakefake数据惩罚的缘故1.GAN思想 & 与单个...原创 2019-10-16 20:32:45 · 5767 阅读 · 0 评论 -
深层神经网络前馈 && 反向传播
学习深度学习,深层神经网络是一个绕不过的话题,包括其前向以及反向的计算过程是很有必要搞清楚,这样对于之后的调参,以及梯度消失 & 爆炸的处理会很有帮助;所以立足于此,尽可能详细的阐述其前向 & 后向的计算过程:1.为什么使用深层神经网络2.深层神经网络的 前向 & 反向 计算过程详解1.为什么使用深层神经网络1.1 神经网络神经网络,顾名思义就是模拟大脑皮层,从...原创 2019-08-09 18:14:41 · 711 阅读 · 0 评论 -
梯度消失 & 梯度爆炸
神经网络(DNN)其实就是人工神经网络(ANN)的多层实现,一个ANN有2个或者2个以上的隐藏层,则被称为深度神经网络(DNN),下面的内容我们会针对神经网络反向微分过程中产生的梯度爆炸和梯度消失,以及当前有效的缓和方法做一些具体的论述;**当然有兴趣的同学建议自己去推导神经网络反向传播BP算法的推导 **1.神经网络2.梯度消失 & 梯度爆炸3.缓和梯度消失 &...原创 2019-07-01 23:46:51 · 7725 阅读 · 5 评论 -
Machine Learning & 概率 & 随机变量 & 概率分布 & 事件的独立性
概率于Machine Learning而言还是比较重要的,但是概率的难点在于,其不够直观,那么换一个视角,我们称之为"上帝视角",将概率转化为面积,这样便会变的直观;1.概率的定义概率,顾名思义就是某事件发生可能性的一种量化,这是我们最直观的感受;下面从一个比较经典的案例来作为引入 — 蒙提霍尔问题:有ABC三扇门,其中有一扇是正确的门,打开有一辆豪车,其余两扇,门为错误的门,门内...原创 2019-06-05 19:29:01 · 473 阅读 · 0 评论