- 博客(148)
- 资源 (7)
- 收藏
- 关注
原创 如何更好的使用cpm
用https访问git有个缺点,当repo比较大,或者网络不好的时候,其实会遇到各种原因的EoF问题,导致thirdparty的package抓不下来,即便设置很多git global config相关的参数也不行。在vim中操作:0,$s/https:\/\/github\.com\//git@github\:/https访问地址:https://github.com/google/benchmark.git。路径:rapids-cmake/rapids-cmake/cpm/
2024-04-30 16:29:54
501
1
原创 c++野指针如何处理?
野指针指向一个已删除的对象或未申请访问受限内存区域的指针。与空指针不同,野指针无法通过简单地判断是否为NULL避免,而只能通过养成良好的编程习惯来尽力减少,对野指针进行操作很容易造成程序错误。
2024-03-17 08:57:23
466
原创 能不能绕过c去学c++?
c不直接支持面向对象编程(只能用struct模拟),而c++是一种面向对象的编程语,c++通过类和对象的概念,提供了封装、继承和多态等特性,使得程序更易于组织、重用和维护。c基本是系统底层语言,一般系统底层开发用c(例如,linux桌面操作系统和嵌入式操作系统),它主要用stdio.h,stdlib.h,string.h等头文件。c++是在c的基础上发展而来的,因此它们有许多共同的基础,如变量、数据类型、运算符等。c++保持了对c的兼容性,可以使用c的代码,并且c++编译器可以编译c的代码。
2024-03-17 08:56:03
4905
6
原创 谁将是RAG的头部玩家?
混迹于检索领域也有多年,从2011年开始,先后经历过大小的检索相关项目:非线性编辑媒资库检索(图片检索+文本检索),字幕自动生成(语音识别+文本匹配检索),节目检索(图片检索+音频检索),搜剧(图片检索+视频处理),相册管理(图片识别检索+文本检索+视频分析)等项目,对end to end的流程及优化技术还算了解,对AI模型的ensemble使用及performence炼丹接触较多,后面针对RAG做一些粗浅的分析,欢迎指正和讨论,勿喷~。菩提修妙树,接引证法源,屠龙万仙阵,玉虚祭封神。
2024-03-16 07:49:16
1188
原创 transformer为何如此强大?
k和v是同一种事物的抽象表示,q是同一种或不同种的抽象表示,通过qk的相关性计算(attention score),得到v中真正核心有用的内容。transformer理论上能建模无限长序列,不像lstm或rnn(不能建模长序列,容易遗忘性),而且能够并行计算(lstm是有时序依赖的,不能并行计算),这是它强大的第二个原因。你可以理解为,v是你的本体,k是影分身,q是敌方忍者。transformer的mask机制,能挑选控制attention的位置和方向,从而进行效果或性能的优化,这是它强大的第三个原因。
2024-03-16 07:44:30
479
原创 为什么选用python开发web?
Tornado 具有完整的 Web 开发框架,是一个高效的网络库,提供了异步IO,超时事件处理等功能,提供了高效的 HTTPClient等服务器端框架,提供了基于异步框架的 HTTP 客户端。java和php在web开发领域积累较久,有丰富的web开发生态组件可以使用,性能稳定,扩展性强,这个是事实,从这方面来讲,在web开发领域,python的优势确实不明显,在应用的广泛性上与php和java存在一定的差距。目前,不少公司在用python做web开发,前司用python+flask做内容审核的后端。
2024-03-16 07:28:19
418
原创 谈谈对chatgpt的看法
ChatGPT还不是彻底的产品化(仍旧位居高成本,仍旧不够智能),虽然有各种融入产品的计划,但效果如何需要拭目以待。目前的自媒体宣传的比较浮夸,但其实ChatGPT的训练集仍旧比较不足,结果不像宣传的那样出众,并且有可能千篇一律。注重数据语料,目前国内互联网网民基数大,原始数据多,但如何标注及清洗,需要仔细考虑。结合自身领域,构建产品空间,借助ChatGPT,改变产品质量,切忌夸大。技术分析及可能的改进(性能+效果)我会在另外的帖子中拆解,敬请期待。注重产品化,注重持续投入,注重研究外的实战。
2024-03-14 14:02:02
771
原创 芯片架构设计及其作用
芯片设计,讲究一个软硬协同设计,如果不考虑软件或客户的使用方式,不从top down是看架构设计,那么,设计出来的芯片硬件大概率是烂尾楼,兼容性差,迁移性差,软件编程难用,过分注重单一计算或单一模型(性能泛化差),等等一系列问题和痛点。打个形象的比喻,芯片架构设计就像大楼施工前的图纸设计,各种事情(户型,地基,车位,绿化,布线,监控,采暖,上下水,采暖,空调,通风,电梯,安全,材料选取,成本等)都要考虑好,一经施工,无从更改,要么成为精品小区,要么成为烂尾楼。算力,和带宽一样,其实是一个重要的指标?
2024-03-14 13:59:47
1507
原创 pytorch中多stream加速应用
pytorch是eager mode,默认采用default stream执行所有的op和kernel,但是,有时候为了加速,需要考虑inter-op parallel,从而达到kernel concurrent execution的目的,提高gpu的利用率
2022-10-28 12:22:44
1220
1
原创 unauthorized: authentication required nvidia
当pull并build nvidia镜像的时候,会报错,原因是超时或者没授权,unauthorized: authentication required nvidia,解决方法如下:登录:https://ngc.nvidia.com/setup/api-key注册账户并登录账户,选择set up,点击Generate API Key, 在页面最下面生成Key, 复制下载并安装NGC...
2020-04-03 18:18:35
3524
原创 Ubuntu安装docker及nvidia-dockersudo apt-get update sudo apt-get install \ apt-transport-https \
1. 在安装nvidia-docker之前需要先安装docker,参考Ubuntu 安装 Docker CE1.1 使用 APT 安装sudo apt-get updatesudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-c...
2020-03-31 12:58:14
1869
原创 import_meta_graph:KeyError, no InUse
I think this is a general problem with ops defined in the tf.contrib namespace, because they are lazily registered on the first use of any tf.contrib module. If you add the statement dir(tf.cont...
2020-02-06 19:34:49
576
原创 ubuntu 16.04安装vscode
1. 通过官方PPA安装Ubuntu make sudo add-apt-repository ppa:ubuntu-desktop/ubuntu-make sudo apt-get update sudo apt-get install ubuntu-make2. 使用命令安装visual studio code umake ide visual-stu...
2020-01-13 09:06:41
238
原创 AttributeError: 'module' object has no attribute 'AbstractModule'
当使用sonnet进行网络构建时,出现AttributeError: 'module' object has no attribute 'AbstractModule',可以如下解决:pip uninstall sonnetpip install dm-sonnet另外一个错误,SystemError: Sonnet requires tensorflow_probability (m...
2019-12-30 14:21:19
494
原创 c++的右值引用具体用法
在c++11中,支持右值引用,右值引用的用处之一是移动语义,对象的资源所有权发生转移,在c++11之前,移动语义的缺失是c++饱受诟病的问题之一.什么是左值?什么是右值?凡有名者,皆为左值.左值对应变量的存储位置,右值对应变量的值本身,右值可以被赋值给左值,或者绑定到引用.右值引用的优点?类的右值是一个临时对象,如果没有被绑定到引用,在表达式结束时候,就会废弃,在右值被废弃之前,移...
2019-12-24 13:57:17
1169
原创 linux系统中,在anaconda2环境下,python2与python3共存?
有时,在anaconda中,项目需要python2与python3共存,安装过程如下:1.安装anaconda2:去清华的开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,下载对应Anaconda版本,下载的时候注意系统位数,x86为32位,x86_64为64位。 安装命令:$ bash Anacond...
2019-11-27 16:19:07
715
原创 Learning to See in the Dark
在做图像低曝光增强时,Learning to See in the Dark这篇文章能够达到较好的效果,如下图,网络能够很好的展示文章的逻辑,文章的其他部分比较好理解,有不理解之处可以做探讨. 在网络中,为了节省上采样时间,作者用了pixel shuffle功能, depth_to_space函数,函数的意思比较抽象,难于理解,下面通过简单程序表明,网络最后的feature m...
2019-11-25 14:24:20
331
原创 python单斜杠和双斜杠运算符的区别
在python程序设计中,单斜杠运算符和双斜杠运算符都表示除法操作,但是含义不同.单斜杠:除法求商,不做下取整双斜杠:除法求商,下取整(floor)>>> 3.2/21.6>>> 3.2//21.0>>> 但是,在python2.x和python3.x中,单斜杠的结果是不同的:python2.x:>&...
2019-10-25 16:10:11
3730
原创 python图片傅立叶频谱图分析
在数字图像处理中,经常需要进行傅立叶变换,分析数字图像的频谱,用python简单方便,如下:import numpy as npimport matplotlib.pyplot as pltimport cv2import sysimg = cv2.imread('%s.png' % sys.argv[1],0)dft = cv2.dft(np.float32(img)...
2019-10-25 09:33:31
5162
原创 python中运算符*和**的作用-参数传递
**和*常常用于参数传递中的打包和解包,对函数传递的参数进行打包(打包成元组tuple或字典dictionary)和拆解(分解成单个元素),其中元组tuple的打包和解包使用单星号,字典dictionary的打包和拆解使用双星号1.打包打包就是将传递给函数的任意多个非关键字参数/关键字参数打包成一个元组或字典(元组只能接收非关键字参数,字典只能接收关键字参数)打包tuple...
2019-10-23 10:27:32
7900
原创 Dense Scene Information Estimation Network for Dehazing?
一. 论文信息简介(1)题目的含义:个人理解,这里的dense包含两层含义:a. 论文针对真实场景中浓雾(dense haze covered)进行去除,这是dense的第一层含义;b. 论文的feature network基于dense net,这是dense的第二层含义;(2)作者信息:本文是NTIRE(New Trends in Image Restorat...
2019-09-11 16:35:50
584
原创 opencv使用中的segmentation fault?
如题,当使用opencv发生段错误时,检查一下是不是同时安装了两个版本的opencv一般情况下,是opencv3.1引起的,建议统一使用opencv-2.4
2019-09-11 11:44:48
1883
原创 caffe中thread-safe问题解决
caffe并不是thread safe的,在使用深度学习框架部署的实践中,一定注意这个问题, 其他的框架如mxnet, tensorflow也是如此,那么如何解决caffe的这个问题?先明确一个线程的概念:1. boost::thread_specific_ptr什么是线程不安全呢?多个线程执行同一段代码或接口,如果代码或接口中含有共享的变量,那么会引起线程竞争,引发conflict...
2019-09-02 14:39:18
342
原创 一些常用STL函数总结,省事的函数
stl是好用的东西,这些函数,省掉你写for函数的麻烦,如下:累加 (std::accumulate)accumulate(begin, end, init, op)返回给定区间内元素的累加值与给定初值的和,初值不可省略可指定求和运算,默认为std::plusvector<int>vec = {1, 2, 3, 4};cout<<accumulate...
2019-08-29 10:59:00
542
原创 如何关闭caffe库中的LOG输出
在编译libcaffe.so的时候,在src/caffe/net.cpp Init函数进入的时候加入fLI::FLAGS_minloglevel=3;即可
2019-08-29 10:37:19
490
原创 如何在c++平台上部署pytorch模型?
pytorch接口简单灵活,深受深度学习研究者的喜爱,不少论文及github上的开源代码是用pytorch写的,那么,训练完pytorch模型后,部署到c++平台上,着实让不少人头疼.好在,pytorch开放了libtorch c++接口,至此,caffe, mxnet, tensorflow, pytorch均完善了python以及c++接口,无论是在PC端,还是在移动端,均可满足大多数人的训练...
2019-08-16 15:40:19
11496
1
原创 注意一下cv::Mat的roi及clone
今天在执行libtorch程序的时候,有如下两句:cv::Mat img_patch = img_float(cv::Range(pos[0], pos[1]), cv::Range(pos[2], pos[3])); // img_patch为img_float的sub imageat::Tensor image_tensor = torch::from_blob(img_patch....
2019-08-14 17:51:20
1504
2
原创 pytorch c++部署编译?libtorch库加载报错?
pytorch有几个优点:(1)强大的python接口,便于实验,比起tensorflow方便(2)动态图计算,写网络就像写普通的加减乘除表达式一样,灵活组建网络,便于调试,mxnet等frame work也借鉴了这种模式,在这鄙视一下tensorflow,久久不支持动态图,直到去年2.0才效仿了动态图,美其名曰eager execution.pytorch的c++接口也发布了(...
2019-08-12 14:34:02
5894
7
原创 如何生成jni头文件?
比如包的名字是 com.example.test,类的名字是 hellojni,类文件路径是src/com/example/test/hellojni.java那么我们需要在src目录下,使用命令javah -jni com.example.test.hellojniok,即可在src目录下生成hellojni.h...
2019-08-07 19:20:17
629
转载 PYTHON PT时间格式 IOS8601 duration相互转换
在公司任务开发时,爬取youtube数据转换PT格式时间为duration解决方案安装 isodate 和 durationpip install isodatepip install durationIOS8601转durationfrom duration import to_secondsimport isodateprint(to_seconds(isodate.par...
2019-08-05 16:41:07
1401
原创 isotropy与anisotropy?各向同性与各向异性滤波?
这篇文章主要区分各向同性和各向异性滤波的区别,明白各向异性滤波的优点,熟悉适合各向异性滤波的应用场景.双边滤波(bilateral filter)的原理大家都还熟悉吗?双边滤波是一种非线性滤波器,优点是可以保持边缘,使得降噪平滑,双边滤波虽然采用邻域图像像素加权,但是,双边滤波的权重不仅考虑了像素的欧式距离(位置对中心像素的影响),还考虑了像素范围域中的辐射差异(像素与中心像素之间的相似程度,...
2019-07-31 09:47:09
5352
原创 如何判断一个文件是否是jpeg格式?
在处理训练样本的时候,有时你发现,虽然文件是jpg, jpeg结尾的,但是可能是被篡改过的,其实它有可能是png格式,假如这种图片很多,如何方便批处理呢? 两种方式: (1) JPEG的文件布局如下: JPEG SOI : FF D8 // 图片起始JPEG APP0:0xFFE0 // APP0 SIZE:...
2019-07-23 10:46:17
2945
原创 imagenet数据集下载
如果官网下载不了,尝试如下地址:下载地址http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_test.tarhttp://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_val.tarhttp://www.image-ne...
2019-07-22 18:13:42
10483
1
原创 百度图片爬虫,爬取高清图片
在做深度学习研究与应用的时候,经常需要爬取样本,例如,超分辨率重建,实际的训练与产品应用中,你需要爬取一些高清的图片,下面提供一个简单的爬虫:# coding=utf-8import reimport sysimport urllibimport osimport requestsdef get_onepage_urls(onepageurl): if not onep...
2019-07-22 18:11:40
2594
1
原创 ubuntu如何挂在NTFS格式的硬盘?
我的移动硬盘是在windows下格式化的,格式为NTFS,当在ubuntu系统上拷贝东西到硬盘时,需要挂载移动硬盘,如下操作:df -h 查看移动硬盘的盘符cd /mnt(可以挂在到任意空目录)mkdir copysudo mount /dev/sdb2 /mnt/copysudo umount /dev/sdb2 卸载移动硬盘如果挂载时出现错误,Mount is ...
2019-07-11 08:57:52
5360
原创 model based optimize? discriminative learning?有何区别?
如题,究竟有何区别呢?在看图像复原(超分)的论文IRCNN(Image Restoration by Convolution Neural Network)的时候,有所领悟哈,觉得写的很明白,只可意会,不可言传,翻译如下:首先,明确两个英文单词:matrix : 矩阵matrices: matrix的复数形式,多个矩阵The model based optimization...
2019-07-09 18:14:29
367
原创 图像复原中什么是数据保真项?什么是先验项?
在机器学习里,经常会看到两个词,data fidelity term, regularization(prior) term.例如,在image restoration中,我们需要最小化如下的object function(MAP, 最大后验概率),则:data fidelity term:regularization(prior) term:那么两项的作用是什么呢?Th...
2019-07-09 17:20:31
7513
3
原创 arxiv文章下载很慢怎么办?
对于我们这样的深度学习屌丝来说,没钱,没资源,没数据,没时间,只能看看别人的论文生存了,经常会到arxiv上下载一些文章,比如cvpr的文章,但是,由于国内封锁,下载很慢,甚至接连几天打不开arxiv的网站,咋办?强烈推荐使用中科院arxiv的镜像地址:http://xxx.itp.ac.cn具体使用方法:把要访问 arxiv 链接中的域名从https://arxiv.org换成ht...
2019-07-09 11:08:47
19984
21
原创 设置git commit的用户名和邮箱
1.全局设置(对所有git工程都有效)设置用户名:git config --global user.name 用户名设置邮箱:git config --global user.email 邮箱2.对特定branch(切换到工程目录下执行)设置用户名:git config user.name 用户名设置邮箱:git config use...
2019-07-05 10:23:56
7921
原创 matlab parfor如何传递large共享变量
cvpr2019在超分辨率重建方面,旷视觉科技有一篇论文:Meta-SR,实现单一模型任意缩放因子超分,非常感谢作者的付出和贡献.作者已经开放了源码,下面是我的分支,由于自己改的比较随意,所以今后的一些修改将在这个分支上继续:https://github.com/idealboy/Meta-SR-Pytorch.git在prepare_dataset的时候,源码里没有采用并行parfo...
2019-07-05 10:21:29
1177
2024AIGC应用层十大趋势
2024-03-14
AIGC-清华-发展研究资料
2024-03-14
AI Agent-基于大模型的智能体在AGI的道路上前进-调研
2024-03-14
AIGC算力全景与趋势报告-2023
2023-08-12
usertype.dat
2016-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人