- 博客(23)
- 收藏
- 关注
RSS订阅原创 深度学习基础：标准化与池化
常见的有Max pooling（纹理特征）和 Mean pooling（整体数据特征）。其他池化方法：随机池化（以值的概率选取），混合池化（Max/Average随机选取）。Pooling，讲一个区域的信息压缩到一个值，完成信息的抽样，获得一定程度上的平移旋转不变性。目前经常用带步长的卷积替换池化的操作。提高训练速度，稳定模型训练。
2024-01-25 12:50:08
376
原创 深度学习基础：激活函数选取
如果没有选取激活函数，那么神经网络的层数的累积还是线性的；但选取激活函数后，神经网络具有非线性的性质。Xavier初始化：课程的激活值和梯度的方差在传播过程中保持一致，适合Sigmoid，Tanh函数。简单的初始化方法：随机初始化 np.random.randn(n)；标准初始化（配合归一化）等。ReLU (可能会陷入Dead)MSRA初始化：适合ReLU。
2024-01-25 11:27:55
477
原创 Pytorch代码事项
optimizer.step()通常用在每个mini-batch之中，而scheduler.step()通常用在epoch里面,但是不绝对，可以根据具体的需求来做。只有用了optimizer.step()，模型才会更新，而scheduler.step()是对学习率 learning rate 进行调整。loss.backward() # 反向传播，计算梯度。optimizer.step() # 更新模型参数。optimizer.zero_grad() # 清零梯度。
2024-01-24 20:56:35
405
原创 深度学习基础：泛化与正则化方法
泛化指，模型不仅在训练集表现良好，在未知数据（测试集）也表现良好，即具有良好的泛化能力。（模型会出现过拟合overfitting或者欠拟合underfitting的问题）。正则化，目的是要同时让经验风险和模型复杂度都较小，是对模型的一种规则约束。1. 提前终止模型训练2. 多个模型集成融合（Dropout：有n个节点的神经网络，可以看做是2**n个模型的集成；Dropout connect是随机去掉链接，可以看做2**边数量 模型的集成；等）3. K折验证。
2024-01-24 20:49:58
388
1
原创 深度学习基础：最优化算法（优化器，学习率，SGD，Adam， Momentum， NAG等）
Adam法同时包含了动量更新与学习率调整，使用梯度的一阶矩估计和二阶矩估计来动态调整学习率，Momentum和Rmspop相结合。优点简单，缺点不稳定，学习率敏感，迭代慢。其优缺点比较明显：优点是二阶的方法利用了导数的二阶信息，因为优化方向更加准确，速度更快；但是二阶需要计算或近似估计Hessian矩阵，一阶方法一次迭代更新复杂度O(N)，N是参数量，二阶方法就是O(N*N)，计算量大。Adam使用的是梯度的一阶矩估计和二阶矩估计（梯度的二阶矩估计，也称为梯度平方的指数加权移动平均）。
2024-01-24 17:55:55
950
1
原创 将本地代码上传到github（用vscode保持更新）
用vscode打开clone下载后的文件夹，修改后会显示U，即可点击同步。git clone git@ssh (github repository的ssh连接)1. 最简单的方式，无法同步更新： 在github网页打包上传所有代码。在github网页上创建repository。在本地机器的终端使用。
2023-11-20 18:47:11
344
1
原创 mac本地台式机连接github，配置公钥
再打开自己的github，找到ssh🔑配置的那一页，将公钥复制到key的这一栏。最后在本地机器上输入来测试是否已经连接成功。首先在本地terminal上输入。
2023-11-07 17:14:34
193
原创 VScode SSH 连接报错记录
terminal可以ssh连接到远程服务器；ping [服务器] 也可以连接；但是vscode总是报错。1. 远程服务器上.vscode-server 可能不适配 记得删除 rm。2. 删除后重新连接 可能无法创建文件夹 使用root账号。白费我删除vscode 再装上，没有必要，记得看报错。建议还是根据报错提示走！
2023-10-21 20:22:16
145
1
原创 Bash运行python文件
一般而言，执行一个python文件，需要先激活虚拟环境，再切换到对应的路径，在该路径下执行python文件。像这种重复性的命令，可以封装到一个shell脚本文件，执行一个shell脚本文件，就相当于操作多行命令。特别是一个项目中，可能要执行多个python文件的时候，这个封装就很有意义。而后面的3个启动方法，是新建子进程运行的，那样切换路径和激活虚拟环境就没有意义了。以前没留意它们的区别，导致我摸索了2个小时，感觉挺实用，就把这个经验分享给小伙伴们。
2023-09-16 03:45:40
360
原创 Numba的使用
上述代码如果不用numba会跑的更快。因为numba编译程序也需要时间，但是可以看到编译后的numba跑一次会快很多。因此，个人认为，numba的加速在于你需要多次调用某个for循环或某段数字计算，在经过一次编译后，后续会快非常多。
2023-09-10 21:52:58
179
1
原创 矩阵存储占用cpu内存
所以130000*130000的矩阵占用 130000*130000*8 字节，即占用 130000*130000*8/1024KiB，占用130000*130000*8/(1024**2)MiB，130000*130000*8/(1024**3)GiB。三者分别是16位、32位、64位，一个字节8位因此分别是2位、4位、8位，它们都分成3部分，符号位，指数和尾数。1TiB=1024GiB,1GiB=1024MiB， 1MiB=1024KiB，1KiB=1024Byte字节，1Byte=8bit二进制位。
2023-09-10 18:45:59
467
1
原创 使用Colossal-AI开源模型
默认数据集 togethercomputer / RedPajama-Data-1T-Sample 将在首次运行时自动下载，也可通过-d 或 —dataset 指定自定义数据集。已提供 7B 和 65B 的测速脚本，仅需根据实际硬件环境设置所用多节点的 host name 即可运行性能测试。对于实际的预训练任务，使用与速度测试一致，启动相应命令即可，如使用 4 节点 * 8 卡训练 65B 的模型。第一步、安装 Colossal-AI。1、安装 Colossal-AI。第二步、安装其他依赖项。
2023-09-06 21:44:40
406
1
原创 如何在Linux服务器上安装Anaconda，建立虚拟环境，安装Pytorch
这里我们需要在官网上查找自己需要的版本，地址链接在下面:这里以下面版本为例：这是我选择的版本，然后我们在控制台输入这句话：接下来我们需要首先赋权再执行安装程序，依次输入下面两句命令:此时显示Anaconda的信息，并且会出现More，继续按Enter打开新的终端后，进入自己的文件夹目录下，输入conda -V ,显示版本信息，若显示则表示安装成功。使用下面这条命令，激活环境：选择适合自己的pytorch版本，点击下面那个链接:“不建议安装最高版本torch，可以再左下角previous versions o
2023-08-25 22:09:47
712
1
原创 iterm2（terminal）连接远程服务器
填写Name， Tag 以/为分符，command写 expect /[pwd]/.ssh/X。打开iterm2，选择Profiles。然后在iterm当前默认路径下。假设创建一个名为X的文件。将下面的文本复制进去。
2023-08-25 21:01:23
1473
1
原创 Linux远程服务器与本地电脑互传
user_name]@[remote_linux]:/home/location /Users/local_user/location #拷贝文件夹，加-r参数 （拷贝远程location的一整个文件夹到本地location下，以location为名，即所有文件在location/location/...）
2023-08-24 22:39:49
650
1
原创 一步步教你如何下载Tigramite到远程服务器/本地电脑
2. 无法成功运行 setup.py：建议重新建立一个小的conda环境（conda create -n my_conda_env_py38 python=3.8) 在新的环境下安装这个包。转到git clone后的路径，即 "xxx/toolbox/tigramite-master"1. 校内网无法github clone： 那么就下载到本地电脑，然后传至远程服务器。在你想保存的路径下使用。输入下面这一行命令即可。
2023-08-07 06:21:09
134
1
原创 Linux 服务器命令
或者 pkill -u id 杀死命令 (id是你的用户名username)查看程序有没有赖皮程序 glances。查看程序占用内存 free -h。
2023-07-02 15:57:51
138
原创 linux 服务器配置github公钥
如果报错：Could not open a connection to your authentication agent。接下来会出现让你设置生成的ssh的保存路径以及密码，一路【回车】可以跳过。跳过的话，ssh密钥默认保存在。git config --global user.name '你的用户名'git config --global user.email '你的邮箱'ssh-keygen -C '你的邮箱' -t rsa。在保存位置/home/.. 使用命令。4. 把公钥拷入github账户。
2023-07-02 00:19:04
1611
原创 pycharm 连接服务器同步文件并运行
配置环境：pycharm专业版 学生可以免费首先选择deployment-> configurationconnection里连接远程服务器，mapping里面连接文件同步位置deployment path是文件同步位置，此时前面文件后缀已经在connection里面的root path，不需要重复。首先需要配置python interpreter，在pycharm右下角点加号 on ssh我们需要配置的就是 base interpreter 和 sync folders。
2023-07-01 23:05:10
2263
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人