- 博客(75)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 一文搞定Pytorch CUDA Toolkit与Driver的关系
1. 在我们使用Pytorch不同的版本时，有这样一个大致的对应关系，即：Pytorch版本=CUDA Toolkit版本=NVIDIA Driver 版本。这里既有关于Linux系统的也有关于Windows系统的，关于CUDA所能兼容的最低版本的驱动。
2024-03-05 20:17:23
404
原创 Pytorch中，dim形象化的确切意义是什么？
看完代码你应该会比较形象化的理解最后一句话：dim其实定义了参与操作的元素是什么样的。对于一个batch的数据来说，dim=0上定义的是一个个样本，dim=1定义了第二个维度即每个样本的特征维度，......， dim=-1代表了从最底层的逐个数值操作。在Pytorch中涉及张量的操作都会涉及“dim”的设置，虽然也理解个大差不差，但是偶尔还是有点犯迷糊，究其原因还是没有形象化的理解。首先，张量的维度排序是有固定顺序的，0，1，2，......，是遵循一个从外到内的索引顺序；
2024-02-29 11:32:57
534
原创 大模型微调学习记录-基于GLM-130B
训练大模型和全参数微调大模型需要使用配套加速套件如由HuggingFace(抱抱脸，不知道为什么起这样一个令人难忘的名字[震惊]）团队支持的。这里有个问题就是微调数据是否都是需要像这样组织，特别是prompt中是否需要“#” 和“*”进行划分。数据的组织还需要看训练数据是如何组织的。选择130B（1300亿参数）是从硬件性能考虑，可以在单张A100（40Gx8）上进行推理（高端A100 80Gx8），也可以进行INT4量化后在7GB的显存上运行。目前GLM2-130B优于或相当GPT-3-175B的性能。
2024-01-19 11:00:08
461
原创 分割数据清洗
数据清洗是算法工作的重要组成部分，对算法模型的成功有着至关重要的作用。数据清洗总体目标是将数据中不符合算法设定的情况的数据筛除，否则会干扰模型收敛。数据清洗一种是针对“野生”数据进行清洗，然后再做进一步处理；还有一部分是已经经过一阶段清洗，还需要进行人工标注，人工标注后再做一次清洗。特别是人工标注难免会有出错的时候，错标、漏标经常难以避免。进行数据清洗最好要提前做好规划，有利于后续清洗的条理清晰。下面以个人工作总结经验：针对分割任务；人工标注数据进行清洗；
2023-10-12 13:41:30
790
原创 OpenCV 高级形态学函数cv2.morphology()
morphology:形态学Python:cv.morphologyEx( src, op, kernel[, dst[, anchor[, iterations[, borderType[, borderValue]]]]] ) -> dstsrc:源图op:操作类型，主要是erode和dilate及两者的组合： cv2.MORPH_ERODE:腐蚀，扩大黑色, dst = erode(src) cv2.MORPH_DILATE：膨胀，扩大白色, dst = dilat
2022-04-11 10:42:43
5076
原创 Ubuntu 挂载硬盘
Ubuntu挂载硬盘分两步：1.找到硬盘位置:sudo fdisk -l如上图，找到一个1.8T的硬盘，在/dev/sda2.挂载硬盘到指定目录，可以挂载到自己建立的目录:sudo mount -t ext4 /dev/sda /your_dir将硬盘挂载到一个指定目录下，这样点开该目录显示的就是该硬盘的内容了。...
2022-04-07 17:46:58
21832
原创 如何阅读科技论文
我们自己在写一篇科技类文章的时候往往先把一堆定义摆在前面，后面才逐一介绍我们做了什么以及为什么这样做，因为这样在作者看起来是有一个先后的知识逻辑的。但是对于读者/学习人来说，这样并不了解作者目的、要做什么和为什么要这样做的时候，直接按文章的先后顺序看，只能看到一些不知所云的定义、定理等等，这样可能有些人还没看到最后就因为前面艰苦后面反而没有了兴趣。因此我主张看科技论文可以从后往前看，从大的思想到小的操作，最后或者在需要的时候顺藤摸瓜的去寻找自己需要的东西，这样更符合人们的学习逻辑。逻辑，逻辑，逻辑，是规
2022-01-13 17:05:14
248
原创 Python json 操作
最近需要用到取流操作，在编辑requests.post()请求时需要用到json，记一下基本操作：import json'''涉及的数据类型：dict，str涉及的方法：dump、dumps，load、loads其他：涉及文件的读写操作，入with open(filename,"r") as f'''dict 就是python字典，json数据对象看着很像字典，但是json操作的对象是字符串，这是刚接触时容易误犯的错误。字典是字典，在字典外面加单引号就是字符串。json.dump
2022-01-12 16:17:20
255
原创 AI之算法采样·
在实际的算法工程中，在模型基本不变的情况下，数据的采集及数据的表示学习往往具有非常关键的作用。这其中有以下几个重点：数据采集的全面型。我们需要的场景往往分布在一个 要做到全面性，主要考虑到算法会面对那些场景和行为。比如不同时间的...
2021-11-05 11:49:07
814
原创 C++的作用域与命名空间
C++的作用域主要分为ie这几块：跨文件作用域，主要用extern关键字标记变量/函数，这样变量/函数可以在不同的代码文件中被使用；单个文件的全局作用域，比如你在一个代码文件中定义的全局变量，使用static关键字标记，如果不写默认的也是static关键字标记，即单文件全局作用域。剩下的就是类（class）作用域、函数（function）作用域以及一些if、for、while等语法的局部作用域了。命名空间是为了防止命名冲突而设计的。比如在不同命名空间可以定义相同的类名、函数名等。...
2021-11-02 10:11:34
706
原创 PIL resize图片，放缩图片； 深度网络数据预处理、观察。
本答案来自于Stack Overflow，也希望有条件的同学自己去看看：from PIL import Imagebasewidth = 300img = Image.open('somepic.jpg')wpercent = (basewidth/float(img.size[0]))hsize = int((float(img.size[1])*float(wpercent))...
2021-10-08 08:42:02
408
原创 2021-02-25 Python 魔术方法及触发机制
目录Soft IntelligenceTechinology fieldSoft Intelligencemarkdown 文本编辑器学习的使用。基本目录、标题、表格、链接、注释引用、代码片段、字体对齐以及基于LaTex的数学公式编辑。使用MarkDown来编写、发布博文。（本篇即为第一篇使用MarkDown编辑器编辑的博文。对于暂时使用不到又比较复杂的甘特图、流程图、UML图等暂未学习。基于本人日常博文需求，文字编辑+代码+公式+简单表格 已经足够使用。Techinology fie
2021-07-26 15:36:03
273
原创 安装多版本CUDA要点总结
安装多版本CUDA可以看：https://cloud.tencent.com/developer/article/1726518这里做个要点总结：1、下载你需要的版本的CUDA Toolkit runfile2、在安装时如果之前安装过驱动则不再选择安装驱动；软链接也不选择；3、安装完成后修改配置文件~/.bashrc，在文件末尾添加#在文件结尾处添加export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64exp
2021-07-26 15:33:43
357
原创 带重叠的图像分割、子图合并
大家好～本人主要做目标检测、生成对抗网络和聚类相关方向的工作，平时写一丢丢平时工作遇到的问题，欢迎关注！带重叠的分割示意图：本篇主要讲目标检测中为了增加对小目标检测的性能，考虑在检测端即detector上对原图像进行分割检测。这样做的主要原因是在原图尺寸较大时，输入检测器时都会进行缩小，这样小目标的像素代表数就会严重缩水，导致检测器检测性能下降。对图像进行拆分、分开检测是为了减少缩小图像时小目标像素的损失。带有重叠的拆分是考虑了硬拆分可能将目标在边界上分割开导致目标无法识别...
2021-07-22 09:23:30
3070
2
原创 np.array ... 与 : 切片的不同
>>> import numpy as np>>> a = np.arange(10)>>> aarray([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>>> a = np.arange(10)>>> aarray([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>>> a[:,1]array([1, 3, 5, 7, 9])>>.
2021-07-19 08:36:23
135
原创 解决cp，mv，rm 命令 “Augments too long”的问题
在复制/移动/删除大量的文件时有时候会超出命令所允许的最大参数个数，cp 命令：将当前文件夹下的 .jpg 文件 (--exclude "*"表示排除其他文件) 复制到 /mnt/images/train2017文件夹下rsync -rv --include="*.jpg" --exclude="*" . /mnt/images/train2017/或for f in ".jpg"; do cp -rv "$f" /path/to/destination; donersync 命令是用于
2021-06-25 15:54:21
180
原创 2021-05-25
Linux 18.04 LTS 重新安装Nvidia 驱动 、CUDA Toolkit.最近手残安装docker Nvidia 镜像时把自己原有的环境给破坏了，得重新安装驱动。把当初一并安装的加速库也给卸载了。参考了一些博文关于“彻底卸载”的教程，记得前面安装还管用，但是这次却对我的电脑不起作用了，包括：#编辑配置文件sudo vim /etc/modprobe.d/blacklist.conf#在最后设置为：blacklist nouveauoptions nouveau modeset
2021-05-25 16:31:15
269
原创 Python numpy slice with None: expand dims
Python numpy 使用“None”进行切片时可以扩增数据元素的维度，效果等同于于np.newaxis()>>> b = np.arange(10)>>> barray([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>>> >>> >>> b[None]array([[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]])>>> b[:,None]a
2021-03-26 15:42:55
131
原创 Mac 配置tensorflow object_detection API + labelImg 安装
Mac OSX: 10.15Anaconda3参考链接????：TensorFlow Object Detection API tutorial mac OS 安装tensorflow并配置TensorFlow Object_detection API创建tensorflow环境：conda create -n tflow python=3.7激活环境tflow：con...
2019-11-18 14:50:09
598
原创 python non-keyword arg after keyword arg python 错误
我遇到的这种错误是因为定义函数时使用的关键字参数，在调用函数时部分使用了关键字对齐，部分参数又没有使用：定义函数时如上图，使用的是三个关键字参数，n_class,label,num_sample,在调用时部分使用了关键字对齐，部分没有使用关键字对齐直接使用的值：调用函数时，中间的参数直接用的值，左右两边的参数使用了关键字对齐如上图，调用时n_class,和num_sample...
2019-08-20 14:10:14
2801
转载 python 使用math模块进行向上取整、向下取整、四舍五入取整：
import math‘python 分别使用math模块中的ceil、floor和round函数进行向上、向下、四舍五入取整：‘math.ceil(2.7)math.floor(2.7)math.round(2.7)ceil：天花板——> 向上取整floor：地板——> 向下取整round: 大概的——> 四舍五入...
2019-07-27 08:29:26
5586
2
原创 python h5py 创建无限数据集、在无限数据集上添加新的数据
# -*- coding:utf-8 -*-import h5pyimport numpy as npfile = h5py.File('myunlim_dataset.hdf5','a')dt_unlimt = file.create_dataset('data',[10,224,224,3],maxshape=[None,224,224,3],chunks=True,comp...
2019-07-22 09:21:52
3679
3
原创 screen 用法
创建一个名为hello的会话：screen -S hellocontrl + a+d 回到主会话查看已创建的会话：screen -ls恢复会话：screen -r 会话名退出相应的screen：exitCtrl+a 再按D：退出当前窗口；screen -X -S 窗口pid quit : 不用进入（attache）该窗口就将该窗口杀死；screen -r...
2019-07-18 19:11:58
187
原创 MATLAB 使用小知识之——拼接数组
语法：cat(dim,A1,A2,A3,...) 沿着dim对A1，A2，...进行拼接# 建立两个size为(4,4,3,10)的4D数组a和b：>> a = rand(4,4,3,10);>> b = rand(4,4,3,10);>> c = cat(4,a,b);>> size(c)ans = 4 4...
2019-07-15 23:40:17
2683
原创 MATLAB创建(压缩）hdf5数据集+ python h5py 创建、压缩数据集。
MATLAB相关内容官方文档Python h5py filter pipline 官方文档顺着官方文档读就行，不懂的敲一敲代码试试就知道了；1、用到的函数：h5create(filename,datasetname,size,Name,value)h5write(filename,datasetname,data,start,count,stride)2、参数说明：file...
2019-06-16 22:01:46
2867
原创 Windows创建文件链接
最近小哥哥我遭遇实验室服务器维修后smb系统不可用，之前通过smb系统把远程服务器作为系统磁盘一样使用，使用git创建的代码仓库也在上面，现在升级后都不能用只好在自己电脑上设置新的仓库。为了使用的方便和不暂用C盘空间，采用把仓库建在D盘上同时通过软链接把该目录映射到桌面上，这样就达到了目的。首先进入D盘运行git clone 命令把仓库克隆到本地：git clone url这样你就得...
2019-06-10 17:35:52
1174
原创 python h5py 操作 —— 以cifar数据集为例
本文要做的是如何把cifar-10数据集创建并写入hdf5文件中，以介绍python操作HDF类文件的常用方法1、从官网下载数据集cifar-10：cifar官网（注意下载python版的）下载完后要先解压，不能直接上代码；Linux下解压：tar -zxvf 压缩包名.tar.gz # 适用于.tar.gz文件unzip filename.zip # 适用于zip文件解压后...
2019-05-23 11:13:25
596
原创 Word 插入参考文献 通过尾注插入并更改尾注罗马数字为阿拉伯数字
本人用的是 Word2016。Word通过尾注插入参考文献后的编号使用的是罗马数字： 之前都是通过查找&替换，就是查找^e 替换为 [^&]（如果编号已经有中括号了就不用再加中括号了，否则会出现双层中括号），我记得一开始还管用，但是后来发现没用了，...
2019-05-14 09:42:19
20056
原创 MATLAB 处理hdf5图像数据集使用总结
最近使用MATLAB要对要使用的图片进行小波变换（wavelet analysis）处理后再使用，顺便也学了一下MATLAB，虽然以前也接触过，但和“安装了一下软件”的接触水平没啥区别。最近也突然感悟到，编程的真谛在于你首先要清楚你要干什么，然后才是结合具体的语言的语法、函数、特性等具体的手段去实现它。所以编程语言虽然重要，但并不是最核心的，最核心的是你知道你要干什么，编程的核心不是编程语言，...
2019-04-16 16:34:21
4413
原创 tensorflow如何可视化feature map（无法在直接在服务器上可视化，先存储到本地再在其他地方可视化）
1、写作本文受一下两篇文章启发：http://baijiahao.baidu.com/s?id=1604877144040331406&wfr=spider&for=pc，介绍tensorflow的计算图和计算节点、会话；https://blog.csdn.net/missayaaa/article/details/80251823，讲解了可视化一只猫在VGG-19中各...
2019-04-13 16:33:49
688
转载 转载关于SKlearn.clustering.spectralClustering 工具的一些理解：
代码示例：import timefrom sklearn.cluster import SpectralClusteringfrom sklearn import metricsif __name__ == "__main__": start = time.clock() #X是训练集 for index, gamma in enume...
2019-03-18 11:20:24
768
原创 test.sh 脚本文件的执行及文件权限 chmod 的使用
执行 .sh 文件（以test.sh为例）的三种方式：test.sh中的命令脚本是：echo "Hello, shell script"以下三种方式任意一种皆可执行.sh 文件：1、前往.sh 文件的目录，在bash（终端）中使用 ./test.sh 命令执行；2、使用 绝对路径/test.sh 的方式执行；3、使用 sh test.sh 命令执...
2019-03-13 11:03:00
9182
原创 python super()的用法
我用的是python2.7，看了看菜鸟教程的例子：class A(object): def add(self,x): y = x+1 print(y) class B(A): def add(self,x): super(B,self).add(x) #括号中 self 是B的对象，通过sup...
2019-03-07 11:53:26
1272
原创 系统性的学习东西
有时候的学习吧真的像是“走马观花”，看到这个不错也想看一看，看一会看到困难处便又放弃继续追究下去因为往往这时候才想起自己的主业还没去做，再深究下去恐完成主业就遥遥无期了；但是其实到这个时候你已经浪费了许多时间，而往往总是这样的学习情况会导致一事无成。看这个难换下一个兴趣，看到难处又放弃，看下一个兴趣点，往往没有一个学习上的“主心骨”，东学一点，西学一点，这样你最后就是什么也不会，什么事都担不起来，...
2019-03-05 15:49:01
356
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人