- 博客(446)
- 资源 (9)
- 收藏
- 关注
原创 简单记录一下ubuntu的一些安装指令
文章目录1、安装、升级pip32、安装git3、安装opencv-python4、安装tensorflow-cpu5、安装ipython6、安装matplotlib7、安装imageio8、安装scipy9、安装redis10、安装freetype在这里做个记号,以后需要直接过来看看1、安装、升级pip3sudo apt-get install python3-pipsudo pip3 i.........
2019-07-24 18:26:19 5682 1
原创 ubuntu14.04+cuda+cudnn+tensorflow-gpu+caffe等深度工具安装小结
最近一直装系统,装系统,还是多卡GPU的,并且显示器接受不到显卡的输出,也就是高清线没办法从显卡上接到显示器上,为啥呢?我也不知道,总之就是没信号,无奈只能从集显上接 普通线到显示器上,以前装过1080ti显卡驱动,也做过笔记http://blog.csdn.net/hjxu2016/article/details/69072779,当时在线安装出现循环登陆问题,只好选择下载run文件安装,这样安
2017-11-30 09:59:47 1775 2
原创 大模型训练框架DeepSpeed使用入门(1): 训练设置
大模型训练的痛点是模型参数过大,动辄上百亿,如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。DeepSpeed是由Microsoft提供的分布式训练工具,旨在支持更大规模的模型和提供更多的优化策略和工具。对于更大模型的训练来说,DeepSpeed提供了更多策略,例如:Zero、Offload等。本文简单介绍下如何使用DeepSpeed。
2024-05-10 17:16:39 1650
原创 【Pytorch API笔记9】用torch.distributed.barrier()进行同步操作
当一个进程调用 torch.distributed.barrier()时,这个进程将会被阻塞,知道所有进程都调用了。torch.distributed.barrier()是一个同步操作,通常用在分布式训练中,同步不同进程的操作。torch.distributed.barrier(),然后会同时解除所有阻塞,几乎执行后续的操作。
2024-05-08 15:19:58 483
原创 【异常检测论文阅读 1】EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies
检测图像中的异常是一个重要的任务,特别是在实时的计算机视觉应用中提出了一种轻量级的特征提取器,可以在现代GPU上不到一毫秒的时间内处理图像使用学生-教师的方法来检测异常特征训练一个学生网络来预测提取的正常特征,在测试时,通过学生不能预测异常特征来检测异常。提出了一个训练损失,可以阻止学生模仿教师的特征提取器提取正常图像之外的特征(也就是,学生网络只能提取正常特征,提取不了异常特征,这样就可以把异常特征差分出来)能够大大降低了学生-教师模型的计算成本,同时提高了对异常特征的检测。
2024-04-17 14:57:04 1617
原创 Annaconda的替代品miniforge!
用了多年的Annaconda竟然要收费了(个人不收费,企业收费,但个人电脑在企业IP下,还是被警告了),只能用miniforge 全面替换了!
2024-04-02 11:07:38 6485 4
原创 CUDA库之nvjpeg(一):入门介绍
nvJPEG 库提供了高性能,GPU加速的JPEG图像格式的解码函数,并且普遍应用在深度学习领域和超大规模的多媒体应用中。这个库提供单张图或者多张图同时解码的能力,可以充分利用GPU资源和优化效率,并且使用者也可以管理需要解码的内存,灵活性还是比较强的。使用JPEG图像数据流作为输入从数据流中获取图像的宽和高使用以上获取的信息来管理GPU内存并执行解码操作nvJPEG提供了专用的API,用于从原始JPEG图像数据流中检索图像信息。
2024-03-27 14:26:41 1697
原创 【Pytorch API笔记9】用torchnvjpg加速图像解码
骚操作之,opencv读取图像太慢了,图像的加载与解码都直接用cuda,提高加载的效率。
2024-03-21 10:34:49 325 1
原创 【闲读 7】如何发现单一要素、错位竞争、如何提高组合成功率
单一要素是指与企业相关的关键要素当外部关键要素发生十倍速变化,可能会导致战略转折点;单一要素最大化:识别外部十倍速变化关键要素,聚焦与之相关的内部关键要素,重度投入资源,击穿阈值。
2023-12-22 14:47:15 1017
原创 【闲读 6】单一要素:抓重点,知道解决问题突破口
如果某个单一要素发生十倍速变化,就是这条曲线即将产生破局点的标注。任何破局点都有临界值,只有突破临界值,才能击穿破局点。想要突破临界值,必须把力量集中到一个点。这种方法叫做单一要素最大化,即聚焦第一曲线的某一个核心要素,重度投入资源,把它变成第二曲线的全部。 如何判断破局点?找到单一要素十倍速变化?
2023-12-22 14:20:10 1047
原创 【闲读4】组合创新:拆与组,发现解决问题的新方向以及组合创新应用落地四步法
当我们想起“创新”,我们通常会把它和“发明”、“技术”、“创造”联系在一起,我们通常以为“创新”是把一些东西从无到有做出来,才叫做创新,这是对创新的严重误解。其实真正的创新叫“组合式创新”。什么是组合式创新?如何进行组合式创新?
2023-12-22 14:00:17 1318
原创 ubuntu升级NVIDIA驱动,遇到ERROR: An NVIDIA kernel module ‘nvidia-uvm‘ appears to already be loaded in your
报错1:ERROR: An NVIDIA kernel module ‘nvidia-uvm’ appears to already be loaded in your kernel报错2:ERROR: An NVIDIA kernel module ‘nvidia’ appears to already be loaded in your kernel2. 卸载对于的模块遇到rmmod: ERROR: Module nvidia_uvm is in use4. nvidia 这个模块一直开着
2023-12-21 13:24:09 3479
原创 【闲读 2】第一曲线
就是现有战略依然有效,企业业绩仍然在上升,客户和互补企业仍在交口称赞,然后雷达屏幕上却已经出现了值得注意的闪光点的时刻。任何组织随着时间的推移,都会变得组织熵增化,一定会变得涣散化、官僚化、失效化,并最终走向消亡。一线、两点(破局点、极限点)、三阶段(下降、上升期、快速上升期稳定上升期、破局点下降)破局点、极限点(在技术发展的过程中,总会遇到极限出现的那一刻,无可避免)技术、产品、公司、产业、国家发展,有巨大的解释和预测力量。97%的人、97%的时间,都是连续性创新。混沌学院课程《第一曲线》,观后感。
2023-12-14 20:39:33 100
原创 【Pytorch API笔记8】用torch.cuda.empty_cache()释放所有未使用的缓存内存
python上,如何释放torch开辟的显存呢?
2023-11-17 16:13:59 904
原创 【leetcode 2】Binary Tree
工业界的应用:基本知识点1:tree traverseImplemenation with recursion 把cur放在最前面来打印(2) in-order 把cur node 放在最中间(3) post-order 把cur node 放在最后打印\Binary tree 是最常见的,和recursion结合最紧密的面试题目类型Reasons1、 每层node具备的性质,传递的值和下一层的性质往往一致,比较容易定义 recursive rule。
2023-10-16 13:17:38 127
原创 【自监督论文阅读 4】BYOL
介绍了一种新的自监督图像表示学习方法BYOL(Bootstrap Your Own Latent )。在没有负样本对的情况下,达到了SOTA的水平
2023-06-28 15:19:13 1587
原创 【自监督论文阅读 3】DINOv1
展示了自监督预训练Vit模型的潜力- KNN分类中特征质量有在图像检索中的潜力- 特征中场景布局信息的存在,有利于弱监督图像分割- 自监督学习可能是发展BERT-Like的key
2023-06-21 16:45:10 1986 2
原创 【自监督论文阅读 2】MAE
MAE论文理解:展示了一个图像领域的BERT,通过非对称的自编码解码结构,随机对mask图像块进行重构,取得了SOTA的效果
2023-06-19 17:12:54 1207 1
原创 【Few Shot数据集】CUB-200-2011 鸟类
CUA-200-2011 是CUB-200的拓展,包含了200个鸟类,通常用于小目标分类、检测等任务。所有的图片都是注释了 bounding boxes, part locations, 和属性。图像和标注都是手工进行的。下载后,解压如上所示,包含3个文件夹,5个标签文档,和一个README说明文档。images 文件夹有200个子文件夹,每个文件夹存放着对应图像类别的图片parts 文件夹存放着每个图像的关键点标注信息 ,包含了三个文件。
2023-04-23 16:57:23 6377 1
原创 【机器视觉1】光源介绍与选择
3、曝光:改变光积分时间/曝光量 改变灰度(人眼所不具备的功能)1、成像:没有镜头,摄像机不能采集到任何图像,输出被噪声淹没。4、变焦:改变镜头的焦距–改变成像大小(人眼所不具备的功能)如用红色的光照射进来,红色部分被吸收了,就看不到红色物体了。2、聚焦:当镜头成像平面不在摄像面上时,输出图像模糊不清。碗状光源,每个方向都有光,就没有阴影了。均摘录自 B站视频。被物体挡住就进不到相机。
2023-04-13 09:16:01 1217
原创 【Halcon 笔记2】参数
图像由一个或者多个通道组成,是大小相同的矩阵,包含各种像素类型的灰度值。polygons 多边形,点之间的距离较大,是用最少的线来描述这个轮廓。图形参数 Iconic, 包括 image, region, XLD。Contours 轮廓是一系列的点连接。点之间的距离大约是一个像素。常用的为 byte, 2 的8次方,最大值 255。Real 为 2的32或者64次方,3d中计算的多。亚像素就不是一个int了,可以沿着像素的边缘。健,可以查看当前的像素值。如一个canny边缘检测。
2023-04-11 20:43:42 661
原创 【Halcon 笔记1】基本语法
continue 跳过剩余代码,执行进入下一循环,与高级语言一致。break 跳过剩余代码,退出当前循环,与高级预研的功能一直。switch 与高级语言一致。但更多使用的是代码形式。
2023-04-06 20:56:41 430
原创 【Pytorch API笔记8】用torchvision.utils.save_image批量保存图像数据
将给定的Tensor保存成image文件。如果给定的是mini-batch tensor,那就用make-grid做成雪碧图,再保存。将一个Batch内的数据,都保存下来,省的一个一个保存了。
2023-04-04 14:41:43 762
原创 【Pytorch API笔记7】用nn.Identity()在网络结构中进行占位操作
举个例子,想用某个backbone时,最后一层本来是用作 分类的,用 softmax函数或者 fully connected 函数,但是用 nn.identtiy() 函数把最后一层替换掉,相当于得到分类之前的特征。阅读源码可知,identity模块不改变输入,直接返回输入。
2023-04-04 13:41:15 491
原创 【OpenVINO 4】NNCF模块-量化感知训练
Neural Network Compression Neural Network 简称NNCF模块。NNCF可以通过集成常规的训练流程,来实现感知压缩。这种设计框架可以大幅降低代码修改量。
2022-10-25 10:01:07 1572 1
原创 【OpenVINO 3】POT量化流程
模型量化具备降低内存、提高计算速度等有点,并且是一种比较成熟的方案,已经得到广泛应用。OpenVINO提供了两种量化方式参考自 官网下图为量化的流程。
2022-10-14 14:08:08 1359
原创 利用onnxsim对onnx模型进行简化
百度大多推的是对固定维度的模型进行简化这里记录一下,如何对动态batch的模型进行简化模型简化的作用不再复述。
2022-10-11 16:18:22 4595
dukto_6.0-1_amd64.zip
2021-10-18
RDPWrap-v1.6.1.zip
2019-11-12
数字图像处理第三版所有图片,已转化成24为bmp格式
2018-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人