- 博客(36)
- 收藏
- 关注
RSS订阅原创 OpenMP编程模型(OMP)
在train Pytorch模型的时候遇到的，但它是C++的Open Multi-Processing是一个应用程序接口（API），可用于显式指导多线程、共享内存的并行性。OpenMP是基于线程的并行https://www.cnblogs.com/lfri/p/10111315.html...
2021-04-30 11:09:43
502
原创 torch.distributed多卡/多GPU/分布式DPP(一) —— torch.distributed.launch & all_gather & init_process_group
分布式通信包 - torch.distributedPytorch中通过 torch.distributed 包提供分布式支持，包括 GPU 和 CPU 的分布式训练支持。Pytorch 分布式目前只支持 Linux。
2021-04-30 10:05:00
12600
原创 Cython (pyx)
安装只需要pip install cython 众所周知，Python是一种非常简单易上手的胶水语言(胶水语言的意思就是用来连接软件组件的程序设计语言，通常是脚本语言)。尽管近年来Python越来越火，也被各种吹捧，但它的执行速度始终逃不出被人所诟病的窘境。不过好在目前已经有不少较为成熟的解决方案来为Python提速，Cython就是一种非常不错的解决方案 ............
2021-04-30 09:41:49
254
原创 Python模块的本地发布 setuptools(setup.py)(包管理工具)(distutils)
setuptools是python标准的打包分发工具，它可以将我们编写的python项目打包安装，这样其他人就可以像调用标准库或python第三方库那样直接使用setuptools是Python distutils增强版的集合python setup.py develop =pip install -v -e ...........................
2021-04-29 18:03:49
1492
原创 1-NED
1-NED 指的是normalized edit distanceedit distance 编辑距离在NLP任务中经常会碰到比较两个字符串的相似度，比如拼写纠错和指代判断。用户很可能在搜索时输入错别字，比如“微信”输成了“为信”，但是搜索引擎返回的结果纠正为“微信”的搜索结果，如图1-1。另外比如“北京大学校长”和“北大校长”，“北京故宫博物院”和“北京故宫”都是指的同一个人或事物。上述问题，可以利用两个词或短语的编辑距离大小来解决。利用编辑距离可以判断两个字符串的相似程度，...
2021-04-28 10:46:51
1274
原创 人脸au
AU(Action Unit)是人脸运动单元，这些运动单元可以组合表示人脸表情所有可能的表情（包含皱眉，抿嘴等），AU是组成人脸表情的基石。
2021-04-28 09:38:02
1012
原创 linux swap内存(虚拟内存)
在Linux下，SWAP的作用类似Windows系统下的“虚拟内存”。当物理内存不足时，拿出部分硬盘空间当SWAP分区（虚拟成内存）使用，从而解决内存容量不足的情况。Swap 把不常访问的内存先写到磁盘中，然后释放这些内存，给其他更需要的进程使用。再次访问这些内存时，重新从磁盘读入内存https://www.cnblogs.com/pipci/p/11399250.html#:~:text=SWAP%E6%84%8F%E6%80%9D%E6%98%AF%E4%BA%A4%E6%8D%A...
2021-04-26 20:03:59
1519
原创 BLEU分数(bilingual evaluation understudy(双语替换测评)) —衡量机器翻译质量(BLEUScore)(pycocoevalcap)
BLEU 是 双语替换测评https://cloud.tencent.com/developer/article/1042161
2021-04-24 19:49:42
3944
2
原创 Raft算法
raft是工程上使用较为广泛的强一致性、去中心化、高可用的分布式协议Raft实现了和Paxos相同的功能，它将一致性分解为多个子问题：Leader选举（Leader election）、日志同步（Log replication）、安全性（Safety）、日志压缩（Log compaction）、成员变更（Membership change）等...
2021-04-24 12:59:21
68
原创 slurm(一) —— 简介
Slurm 是一个开源、容错、高可伸缩的集群管理和大型小型 Linux 集群作业调度系统。slurm不需要对操作系统内核进行修改，而是相对独立的。在超算平台上用的很多https://blog.mrzhenggang.com/supercomputer-courses-slurm/#%E6%9F%A5%E7%9C%8B%E5%8F%AF%E7%94%A8%E8%8A%82%E7%82%B9-yhi...
2021-04-23 22:47:03
8118
原创 linux ranger终端文件管理器/目录树
ranger 是一个终端文件管理器，通过 ranger 可以实现和 windows 中类似的资源管理器的展示功能ranger的使用ranger直接上下左右键切换目录然后可以像vim一样 :q退出
2021-04-23 15:47:21
610
原创 UGC 用户产生内容
UGC是“User Generated Content”的缩写，即用户生产内容，这一概念最早起源于互联网，指用户将自己生产的内容通过互联网平台进行传播并与其他的用户进行互动。.UGC的兴起是伴随着Web2.0时代的带来出现的...
2021-04-21 16:29:39
1724
原创 pip install git+
pip 从 git 源码仓库直接 install安装git仓库中的包pip install git+<git仓库地址>pip install git+<git仓库地址>@<分支名称>
2021-04-21 10:06:02
13366
5
原创 MMOCR——config文件
mmdetection合并了模块化与继承设计的思想来构成config系统，利用这种系统可以方便的执行多样化的实验。
2021-04-20 15:10:00
544
原创 NCCL 多卡通信框架(Nvidia)
NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，或者说是一个多卡通信框架Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。https://blog.csdn.net/Bruce_0712/article/deta...
2021-04-20 12:20:04
1035
原创 YAPF —— Python代码格式化工具
yapf lian.py会在屏幕上输出格式化后的结果，不会修改文件yaof -i lian.py会修改文件注意这样是不行的，yapf会报错这样可以
2021-04-19 18:08:48
1079
原创 动态语言 vs. 静态语言
动态语言(弱类型语言)是一类在运行时可以改变其结构的语言：例如新的函数、对象、甚至代码可以被引进，已有的函数可以被删除或是其他结构上的变化。通俗点说就是在运行时代码可以根据某些条件改变自身结构。主要动态语言：Object-C、JavaScript、PHP、Python、Erlang。静态语言(强类型语言)与动态语言相对应的，运行时结构不可变的语言就是静态语言。如Java、C、C++、C#。PS：C#不是动态语言，但是MS有将.NET支持动态语言的趋势，3.0吸收了一定动态特征,比如 ..
2021-04-19 10:24:35
124
原创 MMLab工具箱 —— Runner类
Runner是MMdetection中的一种深度学习算法“工厂”，是对深度学习算法各个组件的“容器”。简单来说，所有的机器学习算法所包含的无非就是数据、模型、训练策略、评估、推理这五个部分。Runner就是将这五个部分组合在一起的工具。Runner的源码封装在MMCV库当中...
2021-04-19 10:01:34
641
原创 mmdetection(二) —— Hook机制
MMOCR的hook定义在/home/xhhao/anaconda3/envs/open-mmocr/lib/python3.7/site-packages/mmcv/runner/hooks/hook.py
2021-04-16 17:11:04
764
原创 MMLab工具箱 —— Registry类(注册类机制/注册器)
Registry类(注册机制)在MMDection中所有功能都是基于注册器来完成模块化操作的实现是在 anaconda3/envs/open-mmocr/lib/python3.7/site-packages/mmcv/utils/registry.py作用是mapstringstoclasses
2021-04-16 16:34:14
848
1
原创 Bounding box regression 边框回归
Regression，即回归，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程，并对今后因变量的变化进行预测。举个简单的例子：给定一堆点(x, y)，然后根据这些点拟合出一条线(一个函数)，之后再给定一个x，那我们就可以预测出对应的y的值。那在目标检测中，为什么会需要回归呢？请看下图，红色的框是使用selective search提取出的region proposal，绿色的框是ground truth。当图中红色的框被分类器识别为飞机，但是由于红色框的定位.
2021-04-16 15:01:28
251
原创 MMOCR
python demo/image_demo.py demo/demo_text_recog.jpg configs/textrecog/crnn/crnn_academic_dataset.py pth/crnn_academic-a723a1c5.pth demo/demo_text_recog_pred.jpg --imshow
2021-04-14 12:02:41
2401
2
原创 Python等程序/linux运行程序 后台运行 —— nohup (2＞&1)
nohupno hang up 的缩写，就是不挂断的意思nohup python test.py
2021-04-13 14:45:04
1030
原创 CUB-200鸟类数据集
该数据集由加州理工学院在2010年提出的细粒度数据集，也是目前细粒度分类识别研究的基准图像数据集。该数据集共有11788张鸟类图像，包含200类鸟类子类，其中训练数据集有5994张图像，测试集有5794张图像，每张图像均提供了图像类标记信息，图像中鸟的bounding box，鸟的关键part信息，以及鸟类的属性信息...
2021-04-12 12:15:43
4255
原创 Knowledge Amalgamation 知识合并
知识合并就是指learn a student network from multiple teachers from different domains
2021-04-09 11:54:47
640
原创 Tiny Imagenet 数据集
Tiny Imagenet是斯坦福大学提供的图像分类数据集，其中包含200个类别，每个类别包含500张训练图像，50张验证图像及50张测试图像https://blog.csdn.net/u011281708/article/details/107977802
2021-04-08 19:59:30
4710
原创 CIFAR-100数据集
CIFAR100和CIFAR-10类似，它有100个类，每个类包含600个图像，其中500个训练图像和100个测试图像100类实际是由20个类(每个类又包含5个子类)构成(5*20=100)。
2021-04-08 19:38:05
2222
原创 NLP之N-Gram模型
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。N-Gram是大词汇连续语音识别中常用的一种语言模型N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段...
2021-04-07 21:18:10
783
1
原创 github国内镜像站
github总是被院里给墙，特别气人https://github.com.cnpmjs.orghttps://hub.fastgit.org比如你要下的是https://github.com/njulus/ReFilled那么就替换成https://hub.fastgit.org/njulus/REFILLED
2021-04-06 18:09:20
11053
2
原创 GPT/GPT-2/GPT-3(判别式模型&自回归模型AutoRegressive)
2018年OpenAI提出GPT全称Generative Pre-TrainingGPT底层也基于Transformer模型，与针对翻译任务的Transformer模型不同的是：它只使用了多个Deocder层。
2021-04-02 11:35:02
2504
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人