- 博客(39)
- 收藏
- 关注
RSS订阅原创 python安装tensorflow1.15.2遇到的问题
现在是芬兰的早上5点半，在斗争了两个小时之后，我终于知道我的问题出在哪里了😭最近需要调试一个github的代码，里面的tensorflow使用的是1的版本，本来是一件很简单的事情，python使用等待安装完成就可以了。
2023-12-23 11:44:29
578
原创 sublime编辑latex 出现参考文献无法编译报错：citation “...” undefined
我电脑的路径为C:\Users\weimengting\AppData\Roaming\Sublime Text\Packages\LaTeXTools\LaTeXTools.sublime-settings。其它bib文件已经配置好的模板一般不太会出现文献编译不了的情况，上面这种情况通常出现在自己重新写一个latex文件的时候。但是把文件放到overleaf上就可以直接编译出来，说明是本地编译器的问题。
2023-09-03 19:10:49
1330
原创 diffusion models 扩散模型公式推导，原理分析与代码（二）
接上一节我们还不知道pθxt−1∣xt是什么形式，扩散模型的第一篇文章给出其同样也服从某个高斯分布，这个好像是从热动力学那里得到证明的，不做深入解释，我们现在要求解的就是其服从的分布的均值和方差是什么，才能够满足将损失函数最小化的要求，原文中给出的pθxt−1∣xtpθxt−1∣xtNxt−1;μθxttΣθxtt来看损失函数的第二项∑t2TDKL。
2023-04-06 14:11:46
964
1
原创 diffusion models 扩散模型公式推导，原理分析与代码（一）
近几年来，以对抗生成网络（GAN）和变分自编码器（VAE）为主流的生成模型一直作为研究的热点，这两种模型有各自的特点，也有其本身的原理特性所带来的不足，对这两种模型有过一定了解的一般会有这样的认知：以图像生成为例，GAN的优势在于可以生成更加逼真的图像，但是容易出现生成图大部分局限在同一个模式下，不能够很好的概括数据的分布，除此之外，GAN有时难以训练，一个好的GAN模型通常需要繁琐的参数调整，正则化等等。相对地，VAE这种以数据分布的对数似然（log-likelihood）为逼近目标的模式，要比GAN能够
2023-04-05 17:11:38
831
1
原创 Ubuntu显卡报错：Failed to initialize NVML Driver/library version mismatch
根据系统版本选择相应的cuda，并按照官网给出的教程依次安装，这里选用的网络安装，你也可以选择本地安装包的方式，按照教程操作就可以。看起来好像是版本不匹配，在网上查了很多都没有解决问题，重启也不行，结果证明最好的办法是重新安装cuda。这时只需要将电脑重启，待重启完成后，再次输入。更改完成后保存并关闭文件。
2023-03-29 11:53:17
779
原创 Ubuntu使用pip安装时出现的网络问题：ssl module in Python is not available
但是在Ubuntu上一般使用yum时会显示仓库为空，这种方法很麻烦，容易失败。也就是有的注释的地方去掉。一些回答给出的方案是使用。出现如上则说明安装成功。
2023-03-27 14:51:14
895
原创 马尔科夫过程——马尔科夫链
从上篇的收银台案例中我们可以抽象出来一个关于什么是离散时间有限状态的马尔科夫链的定义。首先，马尔科夫过程的核心，是它关于“状态”的概念，它描述了我们所感兴趣的系统的当前情况。在收银台案例中，任意时刻的顾客数量这一状态可以合适地反应系统的情况，在初始时刻，在每个连续的时间步长内，系统从当前状态，随机选择进入到下一个状态，经过nnn次这样的转换，系统的状态将是随机的，因此我们将时刻nnn对应的状态表示成随机变量XnX_nXn。
2023-03-06 16:46:53
243
原创 马尔科夫过程——收银台案例
假设你来到一个商场购物，并观察某一个收银台的排队情况，在每个时刻，都可能会有人过来排队，也可能会有人结账离开，对于排队的情况，每个时刻是否有人加入队伍服从伯努利分布，即每个时刻都有ppp的概率有一个新的人加入队伍。同样地，对于结账离开的情况，每个时刻有人结账离开的概率为qqq。
2023-03-06 15:47:51
107
原创 推荐几本计算机的入门书
后续更新，没有基础的不建议直接阅读经典大黑皮，主要是翻译的不太友好!《操作系统导论》王海鹏 译。《数据结构与算法之美》《网络是怎样连接的》
2023-01-28 20:44:03
496
原创 Latex如何控制表格的宽度和高度
其中第一个括号表示的表格的宽度(或者也可以直接写为\textwidth，表示与文字宽度一致)，第二个括号表示表格的高度。
2022-07-25 11:18:50
14098
原创 训练过程中出现loss为nan的问题
在训练时，第一个batch打印出来的loss还很正常，但是后面逐渐增大的不可控制，直接显示为nan值，之前设计对比学习损失函数的时候也出现过类似的情况，当时的问题出在抽取的特征向量没有归一化，导致两向量的乘积过大。但是这次的情况不一样，这次是因为网络设计中有除的情况，产生了数值不稳定，如下：解决我没有仔细打印.div后面的每项数，但是粗略的看了一下结果中有大量的零值，所以推测可能是由于除数出现零值导致的无穷大，在后面加上一项微小常数后就可以正常收敛了。......
2022-07-14 11:13:49
487
1
原创 docker入门使用
实验室的服务器都是各自为战，每次需要跑实验的时候都需要根据不同的服务器设置不同的文件路径，折腾数据超过三次就开始炸了，docker的好处就是可以让程序看起来只在一个虚拟机上面运行，而这个虚拟机打包后放置在不同的宿主机上，从而避免了反复修改数据路径的问题。推荐阅读：docker + python必须要进入dockerfile的目录才能够build为当前目录建立镜像显示所有的镜像从一个镜像启动容器上面三者区别：第一个启动运行，程序结束后自动停止第二个启动运行，并进入交互模式第三个启动运行
2022-07-11 20:39:16
69
原创 混合密集网络（Mixture Density Networks）
考古了1994年的一篇文章，写的很朴实，不像现在很多的AI文章有一种过度包装的感觉，论文题目《Mixture Density Networks》。混合密集网络是一种将高斯混合模型和神经网络结合的网络，与一般的神经网络不同，它在网络的输出部分不再使用线性层或softmax作为预测值，为了引入模型的不确定性，认为每个输出是一种高斯混合分布，而不是一个确定值或者单纯的高斯分布，至于为什么不是通过高斯分布引入不确定性，这也是混合密集网络的一大亮点：高斯混合分布可以解决高斯分布不好解决的多值映射问题。设输入为x\b
2022-06-04 21:36:55
3469
原创 论文阅读《What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?》
前言通过前面几节我们对评估模型的不确定性有了一个大概的认识：多次预测的值围绕均值上下浮动的程度，也称为方差。这篇文章主要是介绍计算机视觉的回归任务里面如何计算epistemic uncertainty 和 aleatoric uncertainty，并且对回归任务给出了新的损失函数，对噪声数据有更好的鲁棒性，如果对不确定性不了解的话不建议直接阅读，文章有的地方表述并不友好，结合贝叶斯基础和程序观察会更容易理解作者想表达什么。损失函数（以回归任务为例）通过dropout+变分推断近似贝叶斯神经网络所得到
2022-05-27 21:01:08
403
2
原创 传统深度模型的uncertainty----Monte Carlo dropout
前言贝叶斯的一系列方法让我们在对数据建模的时候可以评估模型的认知不确定性，即：我们可以获得一种模型对自己的预测值有多大把握的评价指标，这种评价在许多方法中通常以方差的形式出现。本文介绍2016年在模型uncertainty方面比较有影响力的一篇文章，文章的附录中有大量的推导，考虑到其中有些公式的变换涉及到额外的文献，对一些推导细节不做深入讨论，只大概了解其过程和思想，重点看如何搭建模型，以及如何体现uncertainty。文章：Dropout as a Bayesian Approximation: R
2022-05-26 12:28:47
3028
4
原创 L1，L2正则化与最大后验估计(MAP)的关系
前言机器学习中的正则化常常用来约束权重的范围，防止模型过拟合，有的文章通过损失函数的求导来证明经过正则化之后的损失函数可以保证参数www不容易有无限解，从而防止模型过拟合，本文主要是推导最大后验估计是如何很自然地考虑正则化的，并简单介绍极大似然估计与最大后验估计在机器学习中的角色。模型L2正则化：y=f(x)=wTx+ϵϵ∼N(0,σ2)y=f(x)=w^Tx+\epsilon \quad \epsilon \sim N(0,\sigma^2)y=f(x)=wTx+ϵϵ∼N(0,σ2)，ϵ\eps
2022-05-23 22:59:14
615
1
原创 高斯过程回归----MC dropout前导篇
前言最近从贝叶斯网络的最初版本开始看，看到Monte Carlo Dropout （MC dropout）的时候被高斯过程扼住了喉咙，翻了一天的视频和各种帖子，大概搞懂它在做什么了，这篇文章不讨论高斯过程的整个框架，对于一些理论也不做深入解释，只介绍其在机器学习中作为高斯过程回归（或者分类）的物理含义。从实际的拟合曲线入手现在有一个数据集表示为D={X,Y}D=\{X,Y\}D={X,Y}，其中X={x1,x2,...,xN}∈RN×MX=\{x_1,x_2,...,x_N\}\in \mathbb{
2022-05-21 14:51:12
2147
原创 贝叶斯线性估计----统计学习基础
前言本来是想看模型uncertainty的，也不知怎么就回溯到了这里，建议提前看下极大似然估计，最大后验估计，贝叶斯公式。线性回归这里以一个多维的特征向量举例：假设输入样本为x\bm{x}x，模型的输出为不同参数在该样本上的线性组合f(x)=wTxf(\bm{x})=w^T\bm{x}f(x)=wTx，样本的标签为y=f(x)+ϵ\bm{y}=f(\bm{x}) + \epsilony=f(x)+ϵ，其中ϵ∼N(0,σ2)\epsilon \sim N(0, \sigma^2)ϵ∼N(0,σ2)。首
2022-05-20 19:23:10
640
原创 贝叶斯神经网络----从贝叶斯准则到变分推断
“如果一个知识你觉得学起来费力，很可能是你关于该知识的基础没有掌握”前言在认识贝叶斯神经网络之前，建议先复习联合概率，条件概率，边缘概率，极大似然估计，最大后验估计，贝叶斯估计这些基础极大似然估计一个神经网络模型可以视为一个条件分布模型p(y∣x,w)p(y|x,w)p(y∣x,w),即在x,wx,wx,w已知的条件下求出yyy的分布，如果是分类问题，该分布对应分到各类的概率，如果是回归问题，则认为是高斯分布并取均值作为预测结果，相应地，神经网络的学习可以视作一个最大似然估计（Maximum L.
2022-05-15 22:46:50
1968
3
原创 Adobe Premiere 导出视频时遇到的问题
问题描述需要用PR剪一个会议录制的视频，输出为MP4格式，本来输出的设定都已经改好了：输出为100%大小没有问题，编码格式为H.264也没毛病，但是导出之后用播放器播放出来是这个鬼样子：就像是开了全景视频一样，之后又改成QuickTime编码，输出为.mov格式时可以正常播放，但是再用mov转mp4格式时又变成了扭曲的视频，左思右想不知道哪里出了问题，偶然间去查看序列的设置，发现问题出在这：默认生成序列的时候竟然默认开启VR属性，把它关掉再导出就可以正常显示了。2021版的pr已经这么优秀了吗
2022-04-16 16:39:10
1451
2
原创 LaTeX的一些用法整理
设置字体加粗\textbf{**} 文本环境加粗，在数学环境中使用的话，会使斜体效果消失，并且无法对希腊字母加粗。\boldmath{**} 在数学环境中可以加粗同时不使斜体消失，需要添加\usepackage{amsmath}的宏包。\boldsympol{**} 可以对希腊字母加粗，需要添加\usepackage{amsmath}的宏包。\bm{**} 在数学环境中可以对任意加粗，包括文本，公式，希腊字母等，同时不会使斜体消失， 需要添加\usepackage{bm}的宏包，所以一般推荐使用
2022-04-15 10:23:41
1531
原创 训练过程出现nan值的情况
问题描述：设计了一个损失函数，输入是一个在嵌入层输出的特征向量，shape=(btz,dim)shape=(btz, dim)shape=(btz,dim)，在计算无监督损失的时候出现loss无穷大的情况，超出了浮点数的表示范围，直接导致nannannan值。一开始以为是损失函数写的有问题或者是学习率等设计的有问题，百度了一下说这是梯度爆炸，本来今天心情就很爆炸，现在写个程序还遇到梯度爆炸 ╥﹏╥…解决回去翻看官方给出的无监督对比学习的时候，发现在encoder后的多层感知机的输出有一个标准化，
2022-02-24 20:48:21
381
1
原创 对比学习(Contrastive Learning) (4)
《Unsupervised Feature Learning via Non-parametric Instance Discrimination》2018年的cvpr论文，之后的许多对比学习的工作都有这篇文章的影子。Introduction作者通过观察监督学习的实验结果发现，视觉分类任务中，在softmax计算目标属于某一类的概率时，得分排在第二位的与得分排在第一位的类别在视觉上也会更接近，这种现象暗示出，一个好的学习方法能够认为相近的类别有大的相似度，如美洲豹与美洲虎；而不怎么有相似特征的类别，则
2022-02-17 21:00:15
655
原创 对比学习(Contrastive Learning) (3)
《What Makes for Good Views for Contrastive Learning》Introduction在数据增强的时候，不同view的选择方式如何影响实验的结果？作者认为好的view的选择应该在减少不同view的共同信息（mutual information）的同时，尽可能使提取到的下游任务需要的信息简洁。直观上来讲，我们从什么角度看待一个物体并不会改变这个物体本身，多视角学习的关键任务就是对观察目标建立视角不变的表征。什么是好的视角（view）？ ------>
2022-02-10 11:40:39
879
原创 对比学习(Contrastive Learning) (2)
《Supervised Contrastive Learning》该工作将原来自监督学习(self-supervised)的对比学习思想扩展到全监督学习(full-supervised)，相比于上一篇SimCLR，SupCon在数据增强，encoder，投影网络的设计上没什么区别，在正样本与负样本的定义上稍有不同：在一个batch中，对于每一个选择的锚样本，与其属于同一类的都认为是正样本，不属于同一类的都认为是负样本。监督学习的损失函数Loutsup=∑i∈ILout,isup=∑i∈I−1∣P(i)
2022-02-09 13:48:17
2214
7
原创 对比学习(Contrastive Learning) (1)
三篇论文《Supervised Contrastive Learning》《A Simple Framework for Contrastive Learning of Visual Representations》《What Makes for Good Views for Contrastive Learning》对比学习的思想起源于无监督学习，相比于监督学习算法，无监督学习由于没有标签的指导，训练过程学习样本的特征会更加困难。对比学习的核心思想就是通过数据增强构造原来样本的多样性，损失函数的
2022-02-08 11:24:07
6219
原创 pycharm配置远程服务器的特定python编译器
虽然pycharm很耗内存，但这依然阻挡不了它灰常好用的优势，电脑配置不够的话建议选择19年的pycharm版本，16G的内存带2021.2.1运行起来是这样：首先确定pycharm用的是专业版，社区版不提供远程服务的功能。1. 配置远程服务器信息并测试菜单栏Tools ----> Deployment ----> Configuration显示如下界面：新建一个连接，协议类型选择SFTP，不要选其他两种，其他两种实现的功能不一样，并且一般服务器上也不会开放21端口，SFTP使用的是
2022-01-28 21:35:52
2480
原创 Ubuntu如何安装python虚拟环境
从GitHub上面下载别人的代码时，经常会遇到作者使用的库函数在服务器上面没有的情况，如果使用服务器默认的编辑器运行，容易出现一堆bug ==！。之前一直采用懒人应对法：换成其他功能相同的函数，或者，干脆放弃这个文件，重新写一个，昨天上午看了看图卷积的程序，下载之后打算调一调，发现2021版的pycharm已经不支持Python3.5了，然而实验室服务器的默认版本仍然是：被逼走投无路，遂决定长痛不如短痛，花点时间解决一下。如何安装python虚拟环境因为我已经在服务器上安装好了，所以
2022-01-28 20:31:46
3908
原创 torch.optim.lr_scheduler 不同的学习率调整策略
1. torch.optim.lr_scheduler.StepLRtorch.optim.lr_scheduler.StepLR(optimizer,step_size,gamma=0.1,last_epoch=-1,verbose=False)函数作用：每隔step_size个epoch，将学习率衰减为（上一次的学习率 * gamma）参数说明： optimizer(Optimizer) – 训练过程中使用的优化器. ...
2021-11-27 20:38:22
3704
1
原创 引用计数算法为什么不能处理相互引用的问题
问题来源：《深入理解Java虚拟机》第三版第三章开篇介绍垃圾回收中的引用计数算法，先简单说一下：判断一个对象是否存活，在对象中添加一个引用计数器，每当有一个地方引用它时，计数器的值加一；引用失效时，计数器的值减一，当计数器的值为0的时候，认为该对象不可使用，通知垃圾回收机制来回收。但是对于互相引用的情况，计数器无法为0，如下面的代码：public class ReferenceCount { public Object instance = null; private static
2021-11-08 17:12:31
282
原创 sigmoid 和 softmax的区别在哪里？
今天看vision transformer的程序，看到sigmoid激活函数，偶然想起几个月前跟师兄争论注意力机制中使用sigmoid函数的合理性，发现自己错了，老脸一红????关于这两种函数的介绍网上有很多，为了方便就不列公式了，只说当时没有搞清楚的一点：sigmoid和softmax都是对一个batch_size的数据进行归一化到（0， 1）（这里用归一化可能有误导性，重点在（0， 1）），这两者有什么区别？sigmoid相当于一种投影，即将大小不一的一组数据的每个数都映射在0-1之间，将原来的
2021-11-06 20:54:20
3153
1
原创 Java中使用接口类型引用对象的灵活性体现在哪？
//定义一个接口，表示与数据库交互的规范public interface UserDao{ public User queryByUserName(String username); public int saveUser(User user);}//用一个类来实现public class userDaoImpl implements userDao(){ @Override public User queryByUserName(String u.
2021-11-02 20:17:51
199
5
原创 VS code 2021 连接远程服务器并调试C程序
Visual Studio 2021 连接远程服务器并调试C程序《操作系统导论》中的源代码需要在Linux环境下调试，直接使用xshell在终端上调试很不友好。因为才开始接触C，对它的一些编译器的用法不是很熟练，之前在服务器上使用pycharm调试python程序时，pycharm的专业版提供了可以使用ip连接远程服务器的设置，既然传说Visual Studio 功能很强大，它应该也会提供这种服务。假设你已经安装好了Visual Studio ：1.Windows安装openSSH在windows下安
2021-10-10 17:24:37
1623
1
原创 Latex 编译时出现no appropriate script or program found: fmtutil
在赶着提交论文的时候出现了编译失败的问题，炸毛.jpg在网上找了好久终于找到了问题所在：翻译成人话就是texlive下载的安装文件不对，正确的网址为：Index of /CTAN/systems/texlive/Images下载相应的镜像文件，然后静静的看着它装完 (￣y▽,￣)╭...
2021-10-08 21:54:51
1118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人