- 博客(48)
- 收藏
- 关注
RSS订阅原创 transformer小白入门
transformer是与MLP, CNN, RNN相并列的一种基础网络结构。在transformer中只使用MLP与attention结构。当前对于注意力机制的介绍，仅介绍与transformer最相关的部分。attention的计算方式如下图所示参照内容总结来说，注意力机制是通过一个查询变量Q，去找到V里面比较重要的东西。在注意力中假设K==V（often），然后QK相乘得到相似度A，然后AV相乘得到注意力值Z。
2024-02-19 16:48:57
454
原创 vscode右键菜单栏功能说明
本文主要介绍在vscode中的python代码文件中，单击鼠标右键出现的菜单栏功能。部分功能可能与安装插件相关，主要用于个人查阅。
2024-02-18 08:11:39
2841
原创 python 多线程 多进程
将计算机的cpu理解为工厂，但是假定这个工厂的电力有限，一次只能给一个车间供电。1）进程：看做工厂的一个车间，拥有独立内存。代表cpu所能处理的单个任务，任一时刻，cpu总是运行一个进程，其他进程处于非运行状态。能够运行的多进程的数量一般等于cpu的核数。2）线程：看做工厂车间的一个工人，可以共享内存，他们可以协同完成一个任务。以dell latitude 7430为例，他的设备参数为10核 12线程。线程为什么也能用cpu来定义？
2023-06-28 16:40:00
221
原创 dataset dataloader tensor list情况
如上面代码所示，getitem期望返回一个tensor list 一个tensor，但是调用dataloader时只能接收到一个list，从打印内容中可以看到，dataloader中将getitem中返回的两个值都合并了。
2023-06-25 21:57:34
786
原创 weight decay
使得拟合的模型更平滑，更具泛化性。是正则化网络的一种方式。是一种降低模型容量的方法，使得过拟合的模型不会过度拟合。每一步将权重衰减到零，下面的代码表示了weight_decay发挥作用的机制。weight_decay取值范围：1e-5 to 1。
2023-05-21 19:48:17
147
原创 python装饰器
3、python装饰器和被装饰函数的关系：调用被装饰的函数，等价于调用装饰器返回的函数。python装饰器是一个函数，一般情况：输入函数，输出参数。对函数统一增加功能，在函数实现基础功能的基础上进行装饰。
2023-05-05 11:40:02
96
原创 压缩感知ADMM ALM
上下界表示的是一个集合，上下确界表示的是一个数值。将拉格朗日的等式约束转换到不等式约束。最大最小值与上确界 下确界的关系。上确界：一个集合的最小上界。下确界：一个集合的最大下界。从可行域中间开始搜索。
2023-04-17 11:31:16
228
原创 python基础知识一
1、zip：用于将多个列表中的元素进行组合a=[1,2,3]b=[4,5,6]c=[6,7,8]print(list(zip(a,b,c)))#结果：[(1, 4, 6), (2, 5, 7), (3, 6, 8)]2、lambda：简洁定义运算map：将运算与实际数字结合fun2=lambda x,y:x+yprint(list(map(fun2,[1,3],[4,5])))#输出：[5, 8]3、多线程#duoxianchengimport threadingimpo
2022-11-14 18:31:19
175
原创 深度学习激活函数对比
输入是非常小的负数，输出为0；输入时非常大的正数，输出为1；相当于对输出进行了归一化不足：1）深层神经网络在更新参数时，需要从输出层到输入层逐层进行链式求导。但是sigmoid的导数的输出时0-0.25，会造成梯度消失，使得参数无法继续更新。2）希望输入每层神经网络的特征是以0为均值的小数值，但是sigmoid处理后的数据都是整数会使收敛变慢。3）sigmoid运算存在幂运算，计算复杂度大、训练时间长。优势：输出值为0均值不足：依旧存在梯度消失和幂运算问题优势：在正区间内，解决了梯度消失问题
2022-07-08 15:48:44
451
原创 jupyter运行pyside2采坑
1、jupyter显示挂掉的内核解决方案1）找到pyside2存储位置import PySide2print(PySide2.__file__)2）在该路径下找是否有pyqt5,若有，删掉3）打开pyside2的init文件参照此链接进行修改
2022-04-21 14:35:14
642
原创 配置jupyter中的环境变量
背景：jupyter中是默认中base环境的，但是为了便于管理（下载的相应包），我们一般会建立虚拟环境。但这就导致一个问题，如何将jupyter中的环境进行相应的转换？需要在Anaconda Promp下进行操作输入如下命令：1、conda activate 变换的环境名称2、通过anaconda安装ipykernel ：conda install ipykernel3、python - m ipykernel install --user --name 环境的名字 --display-nam
2021-10-11 22:15:47
3043
原创 2021-10-11-jupyter初学记录
anaconda安装pytorch资源：https://blog.csdn.net/cqldqsb/article/details/104550999/
2021-10-11 14:58:11
129
原创 攻占爬虫-2021-07-29
前言这是第二次进行爬虫任务了，第一次攻克了很多问题。navicat与mysql以及程序的连接；爬虫中正则表达式的使用但是由于没有及时进行相关记录，导致这次进行之前还是有一点手生。不过我相信，书读百遍其义自见，多进行一次可以更加熟练并没有什么不好。在此记录一下爬虫过程一来是为了后续相似任务可以快速上手，二来是希望可以帮助到和我一样刚刚上手的你们。准备工作navicat的激活，上一次使用的时候下载了navicat，但是没有激活。这次一下解决了这个问题，自己也找到了一些破解的方法，遇到了破解软件被电脑软件
2021-07-31 14:35:16
69
原创 算法题-vector+unique+distance
1、distance与unique都是STL中的函数，使用时需引入头文件#include //STL 通用算法2、例题给你一个有序数组 nums ，请你 原地 删除重复出现的元素，使每个元素 只出现一次 ，返回删除后数组的新长度。不要使用额外的数组空间，你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/remove-duplicates-from-sorted-array
2021-05-28 11:29:07
185
原创 机器学习扫盲系列2-代码常见参量
1、Epoch, Batch, Iteration1）Epoch：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次>epoch。（也就是说，所有训练样本在神经网络中都 进行了一次正向传播 和一次反向传播 ）再通俗一点，一个Epoch就是将所有训练样本训练一次的过程。2）然而，当一个Epoch的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成多个Batch 来进行训练。**Batch（批 / 一批样本）：将整个训练样本分
2021-05-09 10:25:58
116
原创 机器学习扫盲系列1
一、交叉熵损失（Cross entropy loss）二分类问题中常见，其是用于判断模型在样本上的表现1、why Cross entropy loss？example：希望根据一个人的年龄、性别、年收入等相互独立的特征，来预测一个人的政治倾向，有三种可预测结果：民主党、共和党、其他党。假设我们当前有两个逻辑回归模型（参数不同），这两个模型都是通过sigmoid的方式得到对于每个预测结果的概率值：模型一：模型二分析：虽然两个模型的预测结果都是正确两个，错误一个，但就评分而言，模型二的结果要优于
2021-04-28 09:03:46
214
原创 matlab-图像处理-图片显示数据类型转化问题+imshow的合理使用
1、为理想梯度函数传入double类型数据矩阵，子函数中转化为uint8类型 并用imshow（A，[]）显示 主函数%experiment_4_2clc;clear;I1=imread('wire.jpg');% I=rgb2gray(I);figure;subplot(2,2,1),imshow(I1);title('原图像');I=imnoise(I1,'salt & pepper',0.04);I2=imnoise(I1,'salt & pepper',0.04)
2021-04-25 11:59:42
1101
1
原创 安卓学习第一天
一、单元测试小技巧 可以单独创建一个jnuit类进行单元测试，学习了一个新的函数assertEquals第一个用于比较输出值和期望值是否相同public void test() { //fail("尚未实现"); MyMath math=new MyMath(); int result=math.add(2,3); assertEquals(8,result); }二、注解1、压制警告@SuppressWarnings("all")//可以关闭方法或某一行的警告2、@de
2021-02-23 20:41:54
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人