- 博客(41)
- 收藏
- 关注
RSS订阅
原创 0基础实战langchain系列讲义【2】LangChain 的数据连接
上一期里学会LangChian 里的 hello world，算是跑通了个pipeline。所以讲道理，我们这期该回到人工智能最重要的血肉基础这一扒，数据部分LLM应用往往需要用户特定的数据微调，当然这些数据并不属于大模型的训练集，例如：私有数据或行业数据等。
2024-01-21 22:30:53
379
原创 0基础实战langchain系列讲义【1】Hello LangChain
看关键词，LangChain、LLM、开源、Python库。有了这几个关键词大概就知道个人开发者开源搞事情了吧！
2024-01-18 14:17:47
119
原创 WSL2-Ubuntu20-Docker-ubuntu迁移D盘-docker镜像迁移D盘-vscode必备插件等，Win10里配置全套开发环境
不得不说，近年微软老大哥确实也发力了，wsl-wsl2的推出，成功挽回了一大批开发者。不像之前购机即刷机（新机买回来就洗掉，而装ubuntu桌面版，就是为了避免各种环境坑）。但现在大可不必，wsl2的推进，终于可以让开发者，既要又要，全都要了！下面会一站到底，完整的记录一个win10开发环境搭建过程。
2024-01-17 11:53:36
155
原创 【读书笔记】一本关于行为决策学的书：《别做正常的傻瓜》
文章目录前言微信交流群：再考虑另一个问题：心里账户问题1：问题2：非理性消费问题1沉没成本问题1问题2风险决策解释：前言考虑这样一个问题：假设你得了一种病，有万分之一的可能突然死亡，现在可以通过吃一种药治好这种病，那么你愿意花多少钱买药？为了不剧透，先写下你愿意花的钱微信交流群：我建立了1组CV微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|公司+昵称+方向 会有小哥哥拉你进群。再考虑另一个问题：一家药物公司请你去测试一种新药，这个过程中你可能有万分之一的概率突然死亡，那么你
2021-05-28 10:43:18
438
原创 【工具包】目标检测Label类别和Boundingbox分析统计工具包
不少小伙伴参加kaggle比赛，拿着V100的集群外加大模型一顿操作猛如虎，但却上不分，甚至还不如某某大神分享出来的baseline？为什么？因为你少了这一步
2022-05-17 23:10:31
294
原创 【工具包】目标检测label-image剔错去重等清洗工具包
目标检测数据清洗很重要，磨到不误砍材工，使用工具包把数据清洗好了，其实也就解决了，目标检测训练时候数据加载part 报错的90%了
2022-04-30 20:17:06
524
原创 基于Ubuntu18基础镜像-制作自己的深度学习Docker镜像及技巧
基于Ubuntu18基础镜像-制作自己的深度学习Docker镜像及技巧文章目录基于Ubuntu18基础镜像-制作自己的深度学习Docker镜像及技巧微信交流群：0 前言：1 常用命令：1.1 启动命令1.2 查看命令1.3 基于镜像新建容器1.4 本地镜像管理1.4.1 **docker tag**1.4.2**docker build**1.4.3 docker load1.4.4**docker save **1.4.5**docker import **1.4.6 **docker export**
2021-05-31 12:19:27
1482
原创 三种方法安装CUDA--看出你是【入门】算法工程师还是【高级】算法工程师
三种方法安装CUDA–看出你是【入门】算法工程师还是【高级】算法工程师文章目录三种方法安装CUDA--看出你是【入门】算法工程师还是【高级】算法工程师0 微信交流群：1 前言：2 显卡驱动安装3 CUDA9.2卸载2.1 10.0及之前2.2 cuda10.1及之后2.3 pwd2.4 卸载2.5 清除残留2.6 验证3 CUDA10.2 安装3.1 基础安装1、禁用nouveau2、官网下载CUDA安装3、安装指令4、cudnn安装5、验证6、注意3.2 中级版安装3.3 高级版安装0 微信交流群：
2021-05-28 18:59:29
239
原创 解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch文章目录解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch微信交流群：前言：1、nvidia-smi报错2、分析3、解决方案3.1 删除旧驱动3.2 知道版本安装3.3 检验微信交流群：我建立了1组C
2021-05-28 17:46:39
5739
原创 五种方法安装NVIDIA显卡驱动--看出你是【入门】算法工程师还是【高级】算法工程师
前言：入门算法工程师与高级算法工程师，他们都是怎么装驱动的-五种方法安装NVIDIA显卡驱动文章目录前言：微信交流群：1.查看显卡硬件型号2. 基础方法一3. 基础方法二注意：4. 基础方法三--离线安装5. 进阶方法6、高级方法微信交流群：我建立了1组CV微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|公司+昵称+方向 会有小哥哥拉你进群。1.查看显卡硬件型号在终端输入：ubuntu-drivers devices，可以看到如下界面：2. 基础方法一在线安装1如果同意
2021-05-28 17:07:30
237
原创 【实战】深度学习实战之部署系列-0
深度学习实战部署系列1、训练环境1.1 基础环境 NVIDIA驱动\CUDA\CUDNN\1.2 Docker\NVIDIA-docker\Nvidia-container-toolkit1.3 深度学习框架TF2\Pytorch待补充2、测试环境2.1 Jeston nano2.2 Tensorflow-serving2.3 单卡GPU\GPU集群云部署2.4 SDK离线部署待续...
2021-05-28 16:09:08
144
1
原创 解决：本地默认安装的Docker空间不足，修改Docker默认路径的问题
解决：本地默认安装的Docker，时不时空间不足，想修改Docker默认路径的问题前言：之前年少无知部懂事。。。扯远了哈哈。１、之前无知，把docker默认安装的，挂载到ｒｏｏｔ底下，这没多久，时不时的就报错没空间了，总的解决下。２、网上很多博主分享过不少解决方案，其中转来转去最多的就是在配置文件中指定 graph 参数来修改 Docker 的默认安装(存储)目录了。。。但是，这个在Docker 官方在这个发行版本就 deprecated 了 graph 这个 feature了，也就是Docke
2021-05-28 15:29:29
407
原创 解决:Ubuntu18环境Docker安装成功，但启动报错Unit docker.service is not loaded properly: Bad message
解决:Ubuntu18环境Docker安装成功，但启动报错Unit docker.service is not loaded properly: Bad message.文章目录解决:Ubuntu18环境Docker安装成功，但启动报错Unit docker.service is not loaded properly: Bad message.前言：微信交流群：分析解决方案使用存储库安装 Docker-ce**设置存储库****安装 Docker-ce****测试 Docker-ce****升级 Doc
2021-05-25 14:42:07
6432
原创 解决：Ubuntu18系统下Docker20安装报错－－及apt-get报错
解决：Ubuntu18系统下Docker20安装报错－－及apt-get报错文章目录解决：Ubuntu18系统下Docker20安装报错－－及apt-get报错前言：微信交流群：分析：解决方法：方法１：该方法可以扩展方法２前言：安装Docker时报错，报错如下１、２、微信交流群：我建立了1组CV微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|公司+昵称+方向 会有小哥哥拉你进群。分析：因为该机之前安装又卸载过Docker解决方法：方法１：该方法可以扩展如果 apt-
2021-05-25 11:14:36
1357
2
原创 Linux：解决centos-root 根目录磁盘空间不足，不删数据扩容解决步骤
Linux：解决centos-root 根目录磁盘空间不足，不删数据扩容解决步骤前言：服务器磁盘又满了，现在硬盘这么便宜还能满，主要是默认安装的root区只有50G啊，巴拉巴拉，又不能停再跑的业务，其实也很简单，小手术重新挂载分配就好了微信交流群：我建立了1组CV微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|公司+昵称+方向 会有小哥哥拉你进群。1、临时删除式查看哪个目录占用过高，删除相应文件du -h -x --max-depth=12、不删除数据1、查看df -h
2021-05-19 14:58:46
18055
9
原创 【必知必会】大厂面试之OpenCV你真的掌握了吗？【1】
大厂面试|OpenCV你真掌握了吗？文章目录大厂面试|OpenCV你真掌握了吗？前言：微信交流群：每日面经1问：OpenCV 中的图像处理1、颜色空间转换2、几何变换面试答案解析：思路：扩展：代码:扩展2：前言：前段时间参与CV算法岗面试，发现现在不少CV算法的同学，上来就是哗哗的几个YOLO甚至Transformer模型，训练测试各种tricks头头是道，简历里都写着熟练OpenCV工具，但问到有关OpenCV的一些很基础的问题却乱了阵脚，所以刚好应菜大的要求顺便整理出系列稿。微信交流群：我建立
2021-05-18 18:53:24
2317
3
原创 【图像特征系列_3】图像金字塔、特征图像金字塔、ＦＰＮ、ＦＰＴ
图像金字塔、特征图像金字塔、ＦＰＮ、ＦＰＴ【图像特征系列__四】文章目录图像金字塔、特征图像金字塔、ＦＰＮ、ＦＰＴ【图像特征系列__四】１、前言：微信交流群：每日面经1道：２、概述：３ 摘要４ ＣＮＮ到ＦＰＴ的心路历程4.1 CNN4.2 特征金字塔4.3 FPN4.4 non-local卷积4.5 FPT５、FPT5.1 Non-Local Interaction Revisited5.2 Self-transformer(ST)5.3 Groundng Transformer(GT)5.4 Rend
2021-05-17 09:53:50
832
原创 NIN(Network in Network)，1X1卷积，你真的了解吗？
前言：1X1卷积，NIN(Network in Network)，你真的了解吗？1 微信交流群：我建立了1组CV微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|公司+昵称+方向 会有小哥哥拉你进群。每日面经1道简短的语言描述CNN网络特征图的形成？答案：往下翻！1、卷积核尺寸与感受野做深度学习的应该都知道，卷积核最主要的的作用在于特征的抽取，学习局部信息，越是大的卷积核尺寸就意味着更大的感受野， 感受野越大表示该神经元所能接触到的原始图像范围越大，也就意味着更可能蕴含全局、语
2021-05-16 19:27:09
237
3
原创 【图像特征提取系列--2】特征图像金字塔和特征金字塔网络FPN
２、特征图像金字塔2.1 Featurized image pyramid是在图像金字塔基础上构建的特征金字塔（featurized image pyramids ）,这是传统解决多尺度目标检测时候的一个思路，具有一定意义的尺度不变性。直观上看，这种特性使得模型可以检测大范围尺度的图像。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PdBUQu4-1620905917841)(/home/irwin/.config/Typora/typora-user-images/
2021-05-16 08:47:26
884
2
原创 【视觉-语言导航-多模态Transformer】谷歌2021年最新提出-用于视觉-语言导航的多模态Transformer，Episodic Transformer
Episodic Transformer for Vision-and-Language Navigation前言：由Inria, 谷歌, 布朗大学2021年最新提出的Episodic Transformer，多模态Transformer网络，这是一种用于视觉-语言导航任务的多模态Transformer网络，在ALFRED基准上表现SOTA，而且代码开源！Transformer微信交流群我们建立了Transformer微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|公司+昵称+方向
2021-05-15 12:00:41
595
2
原创 【图像特征提取系列--1】图像金字塔
文章目录前言：微信交流群１ 图像金字塔1.1 定义：1.2 高斯图像金字塔：1.2.1 本质：1.2.2 原理：1.2.3 Python实现1.3 拉普拉斯金字塔：1.3.1 公式1.3.2 原理：1.3.3 python实现1.4 openCV缩放1.4.1 opencv－ＡＰＩ：1.4.2 原型1.4.3 参数详解：1.4.4 python实现前言：这会是个小系列，对图像特征进行盘点笔记，欢迎留言或加群交流微信交流群我建立了1组CV微信交流群，关注公众号：菜鸡Ai后台回复：加群备注：学校|
2021-05-13 19:36:04
327
原创 【网络加速】TensorRT 7-开发指南中文版_Plus【3】
TensorRT 7-开发指南中文版_Plus【3】文章目录TensorRT 7-开发指南中文版_Plus【3】0 前言：1 TensorRT交流群2 TensorRT核心库中的关键接口包括：网络定义优化配置文件生成器配置BuilderEngine3 TensorRT Python API3.1 C++ API和Python API对比4 Python API使用4.1 导入TensorRT 到Python4.2 从模型创建TensorRT网络最简单方法4.2.1 Caffe解析器4.2.2 UFF解析器
2021-05-13 19:17:21
307
1
原创 【网络加速】TensorRT 7-开发指南中文_Plus版【2】
TensorRT 7-开发指南中文_PRO版【2】文章目录TensorRT 7-开发指南中文_PRO版【2】前言：TensorRT交流群深度炼丹一般要经过三个阶段炼丹前炼丹思考10个问题收丹TensorRT怎么优化的?TensorRT提供的能力TensorRT核心库中的关键接口包括：网络定义优化配置文件生成器配置BuilderEngineTensorRT Deprecation Policy前言：英伟达官方 开发者指南的翻译+整理版，会有一个完整的系列。前面的基础理论以翻译为主，外加实战及理解。Te
2021-05-13 18:13:21
212
原创 【网络加速】TensorRT7-开发指南中文_Plus版【1】
TensorRT 7 开发指南-中文_PRO版文章目录TensorRT 7 开发指南-中文_PRO版前言：什么是TensorRT?TensorRT的好处1.1.1 吞吐量1.1.2 效率1.1.3 延迟1.14 准确度1.1.5 内存使用谁能从TensorRT获益前言：英伟达官方 开发者指南的翻译+整理版，会有一个完整的系列。前面的基础理论以翻译为主，外加实战及理解。参考：《NVIDIA TensorRT Developer Guide》SWE-SWDOCTRT-001-DEVG_v7.2.1
2021-05-13 16:47:08
294
1
原创 深度了解Transformer【1】
深度了解Transformer【1】前言：Transformer由论文《Attention is All You Need》提出，谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。本文采取逐一的介绍论文里面的核心概念，希望让普通读者也能轻易理解。论文下载：Attention is All You Need 论文pdf下载关注菜鸡Ai公众号，后台回复
2021-05-08 19:46:04
174
1
原创 【技术员---＞管理员==必看】程序员上位杂记【1】
【技术员—>管理员==必看】程序员上位杂记必看【1】文章目录【技术员--->管理员==必看】程序员上位杂记必看【1】前言：强化逻辑思维，提高沟通效率五个方面着手获得好的语言表达能力第一第二第三第四第五微信扫码进交流群前言：在人际交往中，日常工作中、人与人之间沟通的主要方式是语言，尤其是口头语言。天天被产品逼逼叨叨、甚至大打出手，起因也不外乎是口头语言。有不少程序员朋友抱怨，某品岗的工作人员、逼逼叨叨的一大堆却一句听不懂:他们说话时表面上滔滔不绝，却缺乏逻辑性。反过来，人家逼逼叨叨一
2021-05-08 15:26:22
220
1
原创 【Ｃ语言 必知必会】结构体、位域、共同体
Ｃ结构体、位域、共同体文章目录Ｃ结构体、位域、共同体1 结构体1.1 定义结构1.2 结构体变量的初始化1.3 访问结构成员1.4 结构作为函数参数1.5 指向结构的指针2 位域2.0 位、字节的换算2.1 位域的定义2.2 结构2.3 几点说明2.4 位域的使用３ 共用体3.1 定义共用体3.2 访问共用体成员微信扫码进交流群1 结构体C 数组允许定义可存储相同类型数据项的变量，结构却是可以存储不同类型的数据项。1.1 定义结构为了定义结构，您必须使用 struct 语句。struct 语句定义
2021-05-08 10:22:00
889
原创 【C语言 必知必会】指针、函数指针和回调函数
指针、函数指针和回调函数文章目录指针、函数指针和回调函数１.1 什么是指针１.2 如何使用指针？１.3 NULL 指针1.4 指针的算术运算1.4.1 递增一个指针1.4.2 递减一个指针1.4.3 指针的比较1.5 指针数组1.6 指向指针的指针1.7 传递指针给函数1.8 函数指针1.9 回调函数微信扫码进交流群１.1 什么是指针我们都知道, 指针是一个变量，其值为另一个变量的地址，即，内存位置的直接地址。１.2 如何使用指针？使用指针时会频繁进行以下几个操作：定义一个指针变量、把变量地址赋
2021-05-08 10:18:18
317
原创 【Ｃ语言 必知必会】递归、可变参数、命令行参数
Ｃ递归、可变参数、命令行参数１Ｃ递归递归指的是在函数的定义中使用函数自身的方法。1.1 数的阶乘#include <stdio.h> double factorial(unsigned int i){ if(i <= 1) { return 1; } return i * factorial(i - 1);}int main(){ int i = 15; printf("%d 的阶乘为 %f\n", i, facto
2021-05-08 10:15:45
362
原创 【C 语言必知必会】内存管理、动态分配内存、野指针
C 语言内存管理、动态分配内存、野指针文章目录C 语言内存管理、动态分配内存、野指针前言：1.内存分区1.1 代码区1.2.1 全局初始化数据区（静态数据区data段)1.2.2 未初始化数据区(静态数据区bss段)1.3 栈区1.4 堆区1.4.1 malloc与free1.4.2 calloc和realloc2 动态分配内存3 重新调整内存的大小和释放内存4 野指针及其原因5 实例分析6 内存管理的目标：6.1 分页内存微信扫码进交流群前言：程序员们编写内存管理程序时，往往提心吊胆。如果不想触雷，
2021-05-08 10:09:03
355
原创 【网络加速】轻量化网络结构设计[一]
文章目录轻量化网络结构设计前言：1、神经网络 over-parameterized2、训练好的神经网络参数冗余3、推理运算需要加速轻量化网络结构设计[一]1、MobileNet v11.1 核心思想1.2 网络结构1.3 宽度缩放因子（width multiplier）1.4 分辨率缩放因子（resolution multiplier）轻量化网络结构设计前言：网络加速作为算法的下游核心，那么为什么要网络加速？对应又有那么操作点？我们先来个概况性的框架。我建议学习新知识或总结归纳知识的时候，一定要有个总
2021-05-07 13:35:25
1014
1
原创 【Paper+实战】解毒深度学习神经网络网络加速【目录篇】
【Paper】+【实战】解毒网络加速前言：这会是个系列讲义笔记，争取1周1更，希望有追更留言或加群交流。万千大牛也从菜鸡起，这个系列就是菜鸡进阶篇。文章目录【Paper】+【实战】解毒网络加速前言：1、轻量化网络结构2、网络剪枝3、网络模型蒸馏4、定点化5、TensorRT实战1、轻量化网络结构2、网络剪枝3、网络模型蒸馏4、定点化5、TensorRT实战...
2021-05-06 23:05:28
370
2
原创 成功解决：pip安装包－复制、安装到离线服务器里
文章目录成功解决：pip安装包－复制、安装到离线服务器里前言：１ pwd２ 解决方案扫码关注公众号成功解决：pip安装包－复制、安装到离线服务器里pip安装apt安装前言：1台有网的ubuntu18计算机，目标是把一些pip依赖包，安装到离线服务器里，怎么办？１ pwd~/.conda/envs/building/lib/python3.6/site-packages２ 解决方案1.新建site-packages目录，进入到site-packages目录下；pip list 显示当前
2021-05-06 22:09:22
3566
2
原创 【C++必知必会】你真的知道引用和指针的区别吗？请看看这9个方面、1个解释和4个对比
文章目录1.从9个方面，看引用和指针的区别？2.从汇编层去解释引用3.从下面4点对比，C++中的指针参数传递和引用参数传递1.从9个方面，看引用和指针的区别？1)指针是一个实体，需要分配内存空间。引用只是变量的别名，不需要分配内存空间。2)引用在定义的时候必须进行初始化，并且不能够改变。指针在定义的时候不一定要初始化，并且指向的空间可变。（PS：不能有引用的值不能为NULL）3)有多级指针，但是没有多级引用，只能有一级引用。4)指针和引用的自增运算结果不一样。（指针是指向下一个空间，引用时引用的变
2021-05-06 21:58:28
333
原创 Pytorch自动求导机制、自定义激活函数和梯度
Pytorch自动求导机制、自定义激活函数和梯度文章目录Pytorch自动求导机制、自定义激活函数和梯度前言：１ 自动求导机制1.0 张量本身grad_fn1.1 torch.autograd1.1.1 torch.autograd.backward1.1.2 torch.autograd.grad２ 自定义激活函数和梯度2.1 类及方法2.2 实例2.3 ｔｉｐｓ前言：由于pytorch框架只是提供了正向传播的机制，模块中的参数的梯度是通过自动求导推倒出来的，当我们需要自定义某一个针对张量的一些列操
2021-05-03 08:53:48
2018
原创 Pytorch的张量并行化运算
0 前言：在很多时候，数据集很大，单卡单节点不能满足我们的工程工作。这个时候我们需要考虑多卡多机器上运行模型的张量并行化运算。1 模型并行Model Parallel将模型的计算图放入不同的计算节点，然后不同的节点并行计算图的不同的部分。优点：较容易容纳大模型，把很大的模型，分散置于不同节点了。缺点：并行计算较复杂，因为需要考虑如何有效控制数据在不同的节点的计算顺序，有条不紊的高速计算保证计算资源的利用率。2 数据并行Data Parallel每个节点有一个计算图，在不同的节点输入不同迷你
2021-05-03 08:29:01
2262
1
原创 【必知必会】2021最详细深度学习损失函数盘点【一】L1Loss、L2Loss、Smooth L1 Loss
文章目录0 前言：1 定义2 特点3 常见的经典误差函数3.1 平均绝对误差MAE(L1 Loss)公式：图像：优点缺点应用场景：Ｐytorch示例：3.2 均方误差MSE（L2 Loss）公式：图像：优点缺点应用场景：pytorch示例：3.3 Smooth L1损失Paper:公式：对比L1、L2图像：Smooth L1优点：Pytorch设计Smooth_L1_loss：3.4 Binary Cross Entropy Loss(二分类交叉熵)3.5 Cross Entropy Loss交叉熵损失意义
2021-05-03 08:20:56
4059
原创 解决：ubuntu18系统安装微信、QQ及WIN7虚拟机
前言：继上午Ubuntu卡死在不能加载2个磁盘，进不了桌面系统后，想看看问题点出在哪，不然时不时一上午的也很费尽。破案了。VMware workstation 崩了导致进步了桌面系统，应该是着急关机没有预先关虚拟机直接关了ubuntu。方案一、VMware workstation1.卸载卸载VMware workstation15.1sudo vmware-installer -u vmware-workstation2.安装下载地址：https://www.vmware.com/prod
2021-05-03 06:56:40
1713
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人