科研:机器学习&深度学习
文章平均质量分 79
机器学习,深度学习等算法的学习笔记
雪的期许
这个作者很懒,什么都没留下…
展开
-
笔记:伯努利分布、二项分布、类别分布、多项分布
文章目录✨机器学习常见概率分布1. 伯努利分布(0-1分布/两点分布)2. 二项分布3. 类别分布4. 多项分布四种概率分布的关系多分类任务与多项式分布有什么关系?✨机器学习常见概率分布1. 伯努利分布(0-1分布/两点分布)源自伯努利试验,对于一个事件,只有两种结果:是/否({1,0}\{1,0\}{1,0}),概率分别为ppp和1−p1-p1−p。例如抛一枚硬币,一般认为正面概率为0.50.50.5,反面概率也是0.50.50.5。设随机变量XXX表示伯努利试验结果,则伯努利试验的概率分布为P原创 2022-04-08 17:24:18 · 1330 阅读 · 0 评论 -
笔记:机器学习中的熵、KL散度、交叉熵、均方误差;对比:交叉熵 VS 均方误差
文章目录🎈前言🍅信息论1. 信息量2. 熵3. 相对熵(KL散度)4. 交叉熵🍉机器学习中的交叉熵1.🎈前言本文整理了交叉熵损失函数的使用及其推导方法,帮助理解在机器学习中交叉熵损失函数是如何工作的。主要参考了以下文章,如有错误请指教。https://blog.csdn.net/tsyccnh/article/details/79163834https://www.zhihu.com/question/65288314/answer/244557337🍅信息论要理解交叉熵,需要从信息论基础知原创 2022-03-28 14:55:51 · 1360 阅读 · 0 评论 -
机器学习中的似然、最大似然估计、先验概率、后验概率、类条件概率、贝叶斯公式
文章目录🎈概率和似然1. 概念2. 举例理解3. 似然函数4. 最大似然估计🍉条件概率🍅全概率公式✨贝叶斯公式🏀先验概率🍔后验概率🎈机器学习中的类条件概率🎀难点:先验、后验、似然的区别1. 先验概率2. 后验概率3. 似然🍒朴素贝叶斯分类器🎈概率和似然1. 概念概率(probability)和似然(likehood)是一对相互的量,两者都用来描述某件事的可能性大小。概率是指通过各种因素影响(参数)推测出的某事件发生的可能性;似然是指通过客观事实(结果)推测出某些因素影响程度(参数)的可能性。但是在统原创 2022-03-27 21:43:05 · 1888 阅读 · 0 评论 -
深度学习激活函数总结(sigmoid,tanh,ReLU,Leaky ReLU,EReLU,PReLU,Softmax,Swish,Maxout,Softplus)
摘要本文总结了深度学习领域最常见的10中激活函数(sigmoid、Tanh、ReLU、Leaky ReLU、ELU、PReLU、Softmax、Swith、Maxout、Softplus)及其优缺点。前言什么是激活函数?激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型,激活函数最终决定了要发射给下一个神经元的内容。在人工神经网络中,一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标原创 2022-01-06 12:07:49 · 5612 阅读 · 0 评论 -
7种Normalization总结(batch normalization,layer normalization,Weight Normalization,Cosine Normalization)
文章目录七种normalization1. Normalization动机原理优点缺点2. Batch Normalization动机原理优点缺点3. Layer Normalization动机原理优点4. Instance Normalization动机原理优缺点5. Group Normalization动机原理6. Weight Normalization动机原理优点7. Cosine Normalization动机原理参考文献七种normalization机器学习中,模型最喜欢的数据就是服从独立原创 2022-01-02 18:03:37 · 3748 阅读 · 0 评论 -
CNN 卷积神经网络 笔记 通俗讲解
文章目录1. 卷积的数学定义1.1 举例:离散卷积1.2 举例:连续卷积2. 二维离散卷积2.1 二维卷积的简单案例2.2 卷积神经网络中的卷积3. 卷积神经网路3.1 卷积层(特征提取)3.2 池化层(特征压缩)3.3 激活函数3.4 归一化3.5 全连接层3.6 卷积神经网络的前向传播3.7 目标函数与反向传播4. 总结原创 2020-10-09 17:54:13 · 890 阅读 · 5 评论 -
循环神经网络 RNN LSTM GRU 笔记
文章目录1. 神经网络基础2. RNN 循环神经网络2.1 背景与概念2.2 RNN基本方法2.3 拓展3. LSTM3.1 概念3.2 LSTM基本方法3.3 原理解释4. GRU4.1 概念与背景4.2 GRU基本方法1. 神经网络基础上图是一个简单的全连接神经网络结构,每一条连接线上都有一个权重,蕴含着网络学得的“能力”。不妨记输入x={a1,a2,a3,...,am}x=\{a1,a2,a3,...,am\}x={a1,a2,a3,...,am},隐层s={z1,z2,...,zn}s=\{原创 2021-12-03 15:32:37 · 663 阅读 · 0 评论 -
GCN 图卷积网络 实践 pytorch (空手道俱乐部数据集)
文章目录1. 背景2. 优秀文章3. GCN模型4. GCN模型实现(pytorch 1.60)1. 背景卷积神经网络(CNN)的输入是图片等具有欧几里得结构的图结构,也就是矩阵形式,很容易在其上做卷积操作。而对于图来说,没有一个通用的结构框架,也就是非欧几里得结构Non Euclidean Structure。 在图上没法直接做卷积,那怎么提取图的特征呢?答案是图卷积网络(GCN)GCN,图卷积神经网络,实际上跟CNN的作用一样,就是一个特征提取器,只不过它的对象是图数据。GCN精妙地设计了一种从原创 2020-10-09 23:12:33 · 3784 阅读 · 2 评论 -
pytorch可视化使用graphviz+torchviz查看计算图
安装graphviz和torchvizpip install graphvizpip install git+https://github.com/szagoruyko/pytorchvizWindows用户请注意,需要到graphviz官网下载windows版本并安装,然后添加系统环境变量(右键开始菜单-> 系统 -> 右侧高级系统设置 -> 环境变量 -> 系统变量 -> 双击Path -> 新建):然后重启pycharm!在Terminal(或cmd)中原创 2021-08-29 21:20:47 · 4457 阅读 · 1 评论 -
深度学习入门 FashionMNIST数据集训练和测试(30层神经网路)
使用pytorch框架。模型包含13层卷积层、2层池化层、15层全连接层。为什么叠这么多层?玩。FashionMNIST数据集包含训练集6w张图片,测试集1w张图片,每张图片是单通道、大小28×28。import argparseimport torchimport torch.nn as nn # 指定torch.nn别名nnimport torch.optim as optimimport torchvision # 一些加载数据的函数及常用的数据集接口import torchvisi原创 2021-04-23 20:03:25 · 1265 阅读 · 0 评论 -
HOG+SVM学习过程收藏的深度学习文章
基于传统图像处理的目标检测与识别(HOG+SVM附代码)较全面的HOG+SVM目标识别讲解图像处理之gamma校正通俗理解伽马校正,很简单(代码:https://blog.csdn.net/z827997640/article/details/80461756)一文弄懂神经网络中的反向传播法——BackPropagation较通俗,可以快速理解BP算法[Deep Learni...原创 2019-06-03 11:03:33 · 770 阅读 · 0 评论 -
python实现K-means K-均值聚类分类算法 - 无监督学习
无监督学习 根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习。 我的理解:给出样本,我们忽略所有样本的类别标签,而直接让程序自己去分类K-均值聚类算法 用户给出一个正整数k,程序将样本分为k类。算法步骤根据用户给出的k,在样本数据范围内随机选出k个点,作为质心 进行迭代。每次迭代,首先遍历样本...原创 2019-04-23 10:50:51 · 1167 阅读 · 0 评论