- 博客(23)
- 收藏
- 关注
RSS订阅原创 多机多卡训练组网及配置NCCL_GDR_IB
GPU+Mellanox HCA GDR TEST 环境部署1、安装nvidia驱动（建议采用最新驱动），根据操作系统和显卡型号选择即可https://www.nvidia.cn/Download/index.aspx?lang=cn2、安装CUDAhttps://developer.nvidia.com/cuda-downloads3、安装对应操作系统版本的Mellanox OFEDhttps://www.mellanox.com/products/infiniband-dri
2021-07-09 20:45:06
6473
原创 GB/Gb分不清楚？
这里，其实就是著名的大B和小b的区别。一般，通讯上说的，是小b，即bit，意思是位。8个位是一个字节，叫Byte，就是大B。内存一般不会说Gb，只有GB。 我们一般说的宽带，4M，就是4Mb，要除8，才是电脑上一般用的B，下载速度也就是400KB左右。基本上，b就是个传输速率才会涉及到的概念。...
2021-07-09 19:48:20
6152
原创 AI视频行为识别之SlowFast测试实践
AI视频行为识别之3D-SlowFast测试实践安防智能行为识别定义及理解开源数据集算法模型基于深度学习的方法C-3D开源项目实战1.视频分析模型（行为识别）：C3D工作流程网络结构3D卷积和池化kernel 的时间深度2.视频行为识别ActionRecognition：SlowFast与Two Stream、C3D的区别测试使用的数据集测试及代码理解1、环境部署（打包成镜像后续可以使用）2、运行基于骨骼关键点的图卷积开源项目前置任务：人体姿态估计安防智能行为识别暴力伤医、校园霸凌、天灾人祸等事件频频发
2021-06-18 09:40:20
3492
原创 ubuntu安装python-opencv
pip install opencv-pythonapt-get install libsm-dev libxrender1 libxext6 build-essential libgl1-mesa-dev
2020-11-24 22:25:41
248
原创 CNN卷积类型及相关计算
文档：CNN卷积类型及相关计算.note链接：http://note.youdao.com/noteshare?id=ef04cd6aa323f810f10583008a383fc1&sub=WEBcc67061760e92c41aac275df757582cc
2020-10-23 10:07:37
111
原创 ATT-CNN实现修改--循环变矩阵乘法
开篇对于自然语言处理（NLP）我是一个入门菜鸟，在后面一段工作时间中，我将大量接触金融的AI业务，因此需要补充些该领域的知识。经过了解发现AI金融有很多业务是和NLP相关的，当然也有OCR、图像检测分类、人脸识别和语音识别等。上周接触了一下文本分类，了解的不多，学习了一下ATT-CNN用于文本分类的代码，发现了一些问题，写这篇博客记录一下。首先描述下代码中实现文本分类（句子为单样本）的方式：1、中文文本分词、分字符，用的是jieba；2、构建字典、词典，最长句子作为所有句向量的长度；3、字、词向量嵌入用
2020-10-05 12:38:09
222
原创 opencv-python install error libXext.so.6...
import cv2File “/usr/local/lib/python3.6/dist-packages/cv2/init.py”, line 3, in from .cv2 import *ImportError: libXext.so.6: cannot open shared object file: No such file or directory解决：ubuntu：apt update；apt-get install libsm-dev libxrender1 libxext6
2020-10-05 12:28:03
406
原创 Linux系统下yum或apt源的使用
开篇本篇分享下yum和apt两个软件管理包的使用。yum是redhat或centos系统管理软件包的工具，apt是debian或ubuntu系统管理软件包的工具，有关于这两个工具使用频率是非常高的，了解并学习掌握是linux使用的重要步骤。Linux查看某个命令属于哪个包https://blog.csdn.net/t1anyuan/article/details/80448618 centoshttps://blog.csdn.net/imliuqun123/article/details/823
2020-10-05 12:24:32
1600
原创 EGX-PLATFORM，kubernets部署使用实践（jetson）
https://github.com/NVIDIA/egx-platform基于K8s&Helm实现云边协同https://www.cnblogs.com/zliW/p/12603536.html科学上网解决方案Jetson Xavier NX1、Xavier NX 以及安装jetpack4.42、更新docker配置runtime3、安装k8s相关组件 kubelet kubectl kubeadmkubelet ：运行在 Cluster 所有节点上，主要负责启动 Pod 和容器。
2020-09-28 08:44:31
511
原创 ubuntu下AI服务器环境的部署准备
本篇介绍下AI服务器的环境部署准备。基于深度学习技术的AI浪潮已经风靡了一段时间，但是每一次部署环境、准备一些测试都是东搜搜西看看，这次决定自己整理下常用的AI服务器环境部署工具及安装方法。1、系统，AI训练推荐使用Ubuntu，我用的是Ubuntu1604，现在2004都已经出来了。系统的获取地址 http://old-releases.ubuntu.com/releases/2、apt源，配置这些环境最好还是在有网络的环境下，如果没有网络可以考虑使用docker会少装一些东西。选一个好一些的apt源
2020-09-27 10:26:18
1741
原创 GPU架构理解和CUDA编程优化
研究生阶段我一直用基于cuda-c的编程语言加速我们的地震波模拟过程。准确讲就是用有限差分网格模拟声波方程、弹性波方程做正演和逆时偏移的模拟，逆时偏移是一个很费计算的阶段需要将最后记录的波形反传回模拟区，并且还需要每一时刻边界的信息，详细的东西可以参考我的研究生论文。（搜了半天没有搜到呢，知网搜逆时偏移吧） 近期因为工作的原因又接触了cuda编程，现在都已经是cuda10.2了，各种机遇cuda的数学库、深度学习框架让这个并行技术遍地开花，不过基于cuda+c还是还有意思的分享下近期做的两...
2020-09-24 18:09:26
555
原创 目标检测：FasterRCNN
开篇 fasterrcnn网络是接触到的第一类目标检测网络，之前的RCNN-fastrcnn到现在的fasterrcnn。网络上关于论文和网络本身的代码实现有非常多的介绍。我接触目标检测时间不长，后面将会在较长的时间里一直做目标检测推理优化的事情，所以学习一下几个典型的网络。本篇讲述fasterrcnn，内容大多都是网络上的资源在此引用链接，学习各位大神的高见。参考博客https:/...
2020-09-21 20:03:11
50
原创 pycharm远程连接docker调试
参考链接docker中安装ssh使用IDE远程连接https://blog.csdn.net/qq_39626154/article/details/82856865ubuntu宿主机端口放行https://blog.csdn.net/weixin_42949299/article/details/85048378ubuntu操作命令docker run -it --name centos6.8 -p 2222:22 6bdbedefc4d1*添加root密码 passwd*安装ssh服务
2020-09-19 17:45:16
221
原创 docker配置远程ssh登录-pycharm远程连接debug
本篇文章总计整理下docker远程连接使用的方法。基本环境服务器已安装docker或nvdocker、本篇演示操作系统为ubuntu1604、镜像用的nv-docker-tf1908步骤1、启动容器，将容器端口22映射给宿主机的其它端口#docker run -it --name centos6.8 -p 2222:22 6bdbedefc4d1 /bin/bash2、容器添加root密码，直接键入passwd按步骤添加新密码#passwd3、安装ssh服务#apt update;apt
2020-09-19 17:43:10
192
原创 启动NV-docker的几条命令
docker run -it -d -v /mnt:/mnt --cap-add=All -v /lib/modules:/lib/modules:ro -v /usr/local/docker-inspur/nvidia-volumes/volume:/usr/local/nvidia:ro --volume-driver=nvidia-docker --device=/dev/nvidiactl --device=/dev/nvidia-uvm --device=/dev/nvidia-uvm-tool
2020-09-19 17:40:53
405
原创 ATT-CNN实现修改--循环变矩阵乘法
开篇对于自然语言处理（NLP）我是一个入门菜鸟，在后面一段工作时间中，我将大量接触金融的AI业务，因此需要补充些该领域的知识。经过了解发现AI金融有很多业务是和NLP相关的，当然也有OCR、图像检测分类、人脸识别和语音识别等。上周接触了一下文本分类，了解的不多，学习了一下ATT-CNN用于文本分类的代码，发现了一些问题，写这篇博客记录一下。首先描述下代码中实现文本分类（句子为单样本）的方式：1、中文文本分词、分字符，用的是jieba；2、构建字典、词典，最长句子作为所有句向量的长度；3、字、词向量嵌入用
2020-09-19 17:35:42
215
原创 Jetosn--对于BSP和RootFS的理解
Jetson或者其他嵌入式设备在使用之前的第一件事情就是烧录系统，之前对这块没有接触，所以当听到内核、BSP、RootFS之后就很懵，导致在进行下载一些安装包、源码包的时候疑问越来越大，因此就决心自己理解一下。1、BSP是什么？2、RootFS是什么？3、内核编译？参考1 BSP的简单理解.Board Support Package顾名思义，就是板级支持包，说白了就是最底层的驱动+与某种操作系统的接口。学过单片机或arm的都知道驱动，如果这些驱动能够支持某种操作系统（如linux）运行在这个板.
2020-09-06 17:43:08
324
原创 语言模型笔记
参考n-gram：https://blog.csdn.net/songbinxu/article/details/80209197(n-gram、NNLM、RNNLM、word2vec)本篇讲述语言模型及重要的几个概念，nlp基础补一下。语言模型概念LM(language model)语言模型用来判断：是否一句话从语法上通顺。通过概率来判断链式法则CHAIN RULE联合概率通过条件概...
2020-02-16 19:39:32
47
原创 （转）联合概率、边缘概率、条件概率--贝叶斯定理
https://blog.csdn.net/LMJ15009207299/article/details/81517328转自上述链接。在不断的跟踪新项目学习新东西一段时间之后，发现很多东西几乎就是过目就忘，之前我的记忆力我觉得挺好的，想来想去可能是基础不牢，印象难以深刻，没有关联记忆很容易形成孤岛，自然就忘的很快，本篇中学习了一下经常提到的三个概率。下面的都是一些图片，文字不太好粘贴，我也没有必...
2020-02-13 08:18:02
41
原创 BERT和Transformer理解及测试（三）
FINETUNNNG---分类&SQuAD的问题Google fine-tuning with bertBert-large的结果用12-16GB显存的GPU是无法复现结果的Bert-base的结果最少12GB的GPU显存可以满足finetunning的需求Out-of-memory用缺省的脚本训练时，12GB titanx可以承受的极限batchsize和sequence_lengthT...
2019-11-20 19:54:22
74
原创 BERT和Transformer理解及测试（二）
BERT测试实践运行环境NF5288M5运行环境NF5488M5谷歌BERT预训练任务https://www.jianshu.com/p/22e462f01d8c样本生成Bert工程中发布了一个“生成预训练数据”的脚本。该脚本的输入是待训练的数据(纯文本文件)和字典，输出是处理得到的tfrecord文件。待训练的数据一句话一行，一个段落或文档中间用空格隔开。# Input file...
2019-11-20 19:21:52
87
原创 NLP文本分类--RNN（LSTM） ATTENTION
开篇文章参考：https://www.jianshu.com/p/8b78ac379e3a文本分类是NLP中的一个重要方向，它是智能问答、情感分析的基础。在未来自然语言处理的接触、学习中将持续在该方向上写一些文章总结。在前述的ATT-CNN中，参考了一篇文章是RNN-ATTENTION。在很早之前就对RNN有过一些了解但是知之甚少，概念也很不清楚，本篇决定在实现RNN_ATTENTION的同时，再...
2019-10-29 13:10:59
51
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人