- 博客(14)
- 资源 (5)
- 收藏
- 关注
原创 GitLab-CI中的artifacts和cache 的区别
在GitLab-CI中,cache与artifacts比较容易混淆.其中cache指的是缓存, 常用于依赖安装中, 如几个jobs都需要安装相同的依赖, 可以使用依赖, 此时可以加快依赖的安装进度;对于artifacts则是将某个工件上传到GitLab提供下载或后续操作使用, 由于每个job启动时, 都会自动删除.gitignore中指定的文件, 因此对于依赖安装目录, 即可以使用cache, 也可以使用artifacts.两个主要有以下几个区别:cache不一定命中,artifacts...
2022-03-06 13:04:49
5443
转载 python中的subprocess.Popen()使用
从python2.4版本开始,可以用subprocess这个模块来产生子进程,并连接到子进程的标准输入/输出/错误中去,还可以得到子进程的返回值。subprocess意在替代其他几个老的模块或者函数,比如:os.system os.spawn* os.popen* popen2.* commands.*一、subprocess.Popensubprocess模块定义了一个类: Popenclass subprocess.Popen( args, bufsize=0, exec...
2022-03-05 09:25:38
2671
原创 TVM 结构学习总结
最近对深度学习编译器TVM学习了一下,了解各部分的功能,根据自己的理解进行总结,如有不正确请指正,话不多说上脑图:TVM为解决各种深度学习训练框架的模型部署到各种硬件而诞生下图是TVM经典技术栈图:编译器层次抽象:编译器前端:接收C/C++/Java等不同语言,进行代码生成,吐出IR 编译器中端:接收IR,进行不同编译器后端可以共享的优化,如常量替换,死代码消除,循环优化等,吐出优化后的IR 编译器后端:接收优化后的IR,进行不同硬件的平台相关优化与硬件指令生...
2022-02-06 14:32:33
2684
原创 从ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 演进学习总结
本文主要总结一下最近学习ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 的演进,归纳了一下整个特点,话不多说先上图:1.ResNet1.1 结构特点1.shortcut connection增加了它的信息流动2.恒等映射,堆叠的非线性层1.2 当输入、输出通道数不同时1.将X相对Y缺失的通道直接补零2. 使用1x1的conv来表示Ws映射2. DenseNet2.1结构特点1. shortcut 连接所有层2. 信息...
2022-02-04 17:34:54
3418
转载 【Transformer 模型结构原理超级详细解析】
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型,现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制,不采用 RNN 的顺序结构,使得模型可以并行化训练,而且能够拥有全局信息。1. Transformer 结构首先介绍 Transformer 的整体结构,下图是 Transformer 用于中英文翻译的整体结构。Transformer 整体结构可以看到 Transf
2022-01-30 10:43:18
7152
原创 2021 CV NLP CTR 多模态深度学习 超越SOTA新模型整理
1 自监督1.1 MAE模型简介:Masked Autoencoders Are Scalable Vision Learners恺明提出一种用于计算机视觉的可扩展自监督学习方案Masked AutoEncoders(MAE)。所提MAE极为简单:对输入图像进行块随机mask并对遗失像素进行重建。它基于以下两个核心设计:我们设计了一种非对称编解码架构,其中编码器仅作用于可见块(无需mask信息),而解码器则通过隐表达与mask信息进行原始图像重建;我们发现对输入图像进行高比例mask(比如7
2022-01-29 23:00:36
3645
原创 将tensorflow 训练模型pb文件转为Relay_IR
举例:将推荐场景的DCN网络转为Relay_IR1 预训练模型保存为pbself.saver = tf.train.Saver()init = tf.global_variables_initializer()self.sess = self._init_session()self.sess.run(init)self.saver.save(self.sess, './checkpoint_dir/')constant_graph = tf.graph_util.convert_vari
2021-10-24 21:58:02
2185
原创 编程设计模式笔记
设计模式是项目编程必须掌握的技巧,可以让你的项目结构层次清晰,减少代码的冗余,同时也是面试过程中避免不了的话题,无论python,还是Java都有二十来套设计模式,但是大同小异。这两天看python 类继承时,顺便把常用的设计模式分为三类整理了一下,按创建型模式、结构型模式、行为型模式三大类来介绍。老规矩先上图,用一两句话总结每个模式的特点,便于区分记忆,具体例子demo参考其它博客。没有什么是一张图解决不了的,如果有就再画一张目录1. 创建型模式1.1 单例模式...
2021-06-24 21:48:48
128
原创 国内GPU 发展洞察
自从M国2018对我国高科技实施技术管制以来,让国内很多企业开始意识到“技工路”才是出路,在国家的大力倡导支持下,资本疯狂涌入这片蓝海,同时促生了一片造芯企业。造芯热情高涨,到底会不会像前几年的人工智能企业一样,技术迭代迅猛,但方案难以落地或者难以实现盈利(比如号称AI四小龙),毕竟流片难,建立生态更难。本文对国内相关的GPU企业进行了简短的洞察分析,还是坚持一贯风格,用一张图,一句话简单介绍各公司状况(主要是现在大多数人想在最短的时间内获取自己想要了解的知识),详情请查看各公司官网。主要...
2021-06-23 22:01:38
2442
3
原创 runtimeerror: output 0 of unbindbackward is a view and is being modified inplace.
【pytorch】ResNet中间层可视化时portch ResNet zhongjiancen出现错误
2021-06-11 14:56:24
668
原创 大数据知识图谱笔记
大数据组件繁多,五花八门,这里针对以前笔记对Hadoop、Spark 两大生态圈的相关组件进行了分类整理,用简短的几句话对相关特性进行了总结描述,供学习、选型、面试。详细组件功能jieshao
2021-06-05 16:02:32
1036
1
原创 怎样提取文本中指定两个字符中间的内容(每行开头和结尾相同,中间待提取长度不一样)
文本内容 例如:lib-hello.solib.world.solib_python-so方法一:利用python list 截取line[3:-2]方法二:python 正则匹配import rem1 = re.search(r'lib(.*)so',line)print((m1.group(1)))方法三:shell 处理sed-nr'/lib/{(.+)so\1/;p}'yourfile...
2021-05-09 17:11:25
2142
原创 window下安装Python scipy包报错 no lapack/blas resources found scipy
别看只是装个包,这个问题浪费了一天时间,网上查很多人也碰到过,方法挺多,大多不好使。现在总结一下,刚使用Python做图像处理,需要用到scipy我们都知道scipy依赖numpy,其实不仅仅依赖numpy,当你用pip install numpy后,再pip install scipy时发现少很多包最常见的是 no lapack/blas resources found 我的方法是:
2017-03-08 16:24:59
504
MobaXterm21_56918.zip (专业版)
2021-07-10
FastStone Capture 截图、录屏、图片编辑神器
2021-07-10
numpy-1.11.3+mkl-cp27-cp27m-win_amd64.whl
2017-03-08
LIRE(Lucene Image REtrieval)最新开发包
2016-08-14
jackson开发常用最新jar集合
2016-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人