意外接触的一些知识
文章平均质量分 92
入门类型
吨吨不打野
不要慌,不要慌,太阳落下有月光
展开
-
MMSegmentation——流程化使用
有两种方式可以自定义数据类,第一种,就是文件形式,另外一种就是直接下载要运行的代码里,下面会说。OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课的**1.1 持久化运行(用文件定义)**部分个人更推荐这种使用方式,不需要去在文件夹里改文件,比较方便。但是如果长时间操作一个数据集,那还是把它写成文件的形式比较好。OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课的1.2 运行时生效(直接运行时定义一个class)部分。原创 2024-05-23 09:19:13 · 1235 阅读 · 0 评论 -
大模型实战营第二期——4. XTuner 大模型单卡低成本微调实战
一般通过海量数据训练来的就是一个大的预训练模型/基座模型,如果不进行额外训练/微调,则询问什么是肺癌?,则模型不会意识到这是个需要回答的问题,只会去找训练集中拟合分布的对应结果,类似词嵌入会找最相近的词语。因此需要进行指令微调,让大模型理解指令的意图,才会给我们想要的答案。原创 2024-02-25 16:23:29 · 950 阅读 · 1 评论 -
大模型实战营第二期——3. 基于 InternLM 和 LangChain 搭建你的知识库
完成 LangChain 的自定义 LLM 子类之后,可以以完全一致的方式调用 LangChain 的接口,而无需考虑底层模型调用的不一致。demo所使用的数据考虑到版权等问题,选择由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源,包括:opencompass,lmdeploy,xtuner等。开源词向量模型 ,也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的,也可以自由尝试别的开源词向量模型。另外,用到的词向量模型是。原创 2024-02-10 23:47:46 · 1320 阅读 · 0 评论 -
大模型实战营第二期——2. 浦语大模型趣味Demo
大模型:参数规模大的模型,这个大的量级指的是:十亿甚至千亿以上的参数。原创 2024-02-08 21:32:27 · 867 阅读 · 0 评论 -
大模型实战营第二期——1. 书生·浦语大模型全链路开源开放体系
B站-书生·浦语大模型全链路开源体系数据:汇聚 5400+ 数据集,涵盖多种模态与任务,更多数据集预训练:并行训练,极致优化,速度达到 3600 tokens/sec/gpu微调:全面的微调能力,支持SFT,RLHF和通用工具调用部署:全链路部署,性能领先,每秒生成 2000+ tokens评测:全方位评测,性能可复现,50 套评测集,30 万道题目。原创 2024-01-03 22:08:53 · 1138 阅读 · 1 评论 -
OpenMMLab【超级视客营】——支持InverseForm Loss(MMSegmentation的第三个PR)
直接用vscode登录,打开文件夹,或者用MobaXTerm等你习惯的终端连接软件去ssh连接,输入密码就行(默认用户名已经@在了ssh命令中,你只需要输入你上面创建的密码的值即可)2021年论文刚发布的时候很多issue是回复了,后面的就没有什么回复了。这次写注释的时候,唯一的一个异常,就是某行超过72个字符的时候,把。,微信扫码登录,在微信的页面里填写邮件里给的用户和密码。提交PR在测试的时候,第一次遇到构建文档报错。配置好之后,复制下面给的ssh命令,该有的基本都有,还算比较全,原创 2023-10-04 23:20:09 · 529 阅读 · 0 评论 -
OpenMMLab【超级视客营】——把类别信息加入可视化结果中(MMSegmentation的第二个PR)
第一次提交PR的时候没有看到这些帮助文档,其实很多同类型的PR,比如:支持新的数据集,支持单元测试等,是有一些现成的范例了,这里对怎么提交PR,代码格式那些的都有很好的指引。这个任务一开始属于MMSIG,后来又变成超级视课营了,就很曲折。但是没法获取ax的image,把带有annotate的imshow结果作为image进行传递。反正mmcv和torch强相关,最好不要走wheel去安装,直接编译吧,这个mmcv经常出问题。可以看看之前可视化相关的PR会进行哪些改动,就知道从哪里开始下手,修改代码了。原创 2023-08-03 09:00:45 · 648 阅读 · 0 评论 -
OpenMMLab——BDD100K数据集(MMSegmentation的第一个PR)
包含一些可视化和评估的脚本数据集官方介绍博客:伯克利发布BDD100K:目前最大规模开放驾驶视频数据集基于BDD100K的竞赛:报错代码是抛出的。简单来说,就是要把你要添加的模块加到系统路径里,要在pspnet.py中引入bdd100k.py添加的系统路径应该是import sys。原创 2023-07-14 14:31:37 · 2689 阅读 · 11 评论 -
OpenMMLab-AI实战营第二期——相关3. RGB语义分割标注图像转为Gray格式的mask
除了红色和黑色,显示为白色和黄色的其实就是刚刚出现频率比较低的那三种颜色值,可以看出来,是花的边缘(与背景挨着的地方)。常规的软件打开这种灰度图是什么都看不见的,即便是matplotlib这种程序读图,如果不设置合适的cmap,也看不到东西。:大致可以看到,给出的原始标记图像是RGB格式的,三通道。将原图转为灰度图,构建映射词典,查看灰度图的语义mask。可以看到,上面是77和78,下面是76和78。,其他3种颜色其实是边缘,这在之后可以看到。在opencv3.0中,对同一图像处理,结果不同。原创 2023-06-29 17:13:35 · 597 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——相关1. COCO数据集格式和pycocotools使用(目标检测方向)
图像分割上下文识别超像素分割33w图像,其中有标记的超过20w150w目标实例,标注的不错,下图左上角的那些标签是可以点击的,会和下面的图像有交互效果。91个物体类别:除了上面那确定对象的80个类别,还有天空、海洋等一些别的,不是目标检测类别,是全景分割等需要的内容。每张图像5个情景描述,如上图有25w人的关键点标注其实就是个对json格式进行解析的库,就三个.py脚本,不要和protobuf这个库搞混了,名字有一丢丢像(我之前以为这个库很难,就是和这个搞混了)原创 2023-06-22 22:32:43 · 1506 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——5-2. MMSegmentation代码课
视频链接:原创 2023-06-18 19:37:50 · 570 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——6-2.玩转AIGC神器MMagic
Stable Diffusion的文生图,以及controlnet和dreamboost的图生图(输入一个图像+文字描述,输出另一张图像)在2022年以前,这种技术是无法想象的,像magic一样,所以这个库就叫mmagic1. Stable Diffusion和Midjourney参考知乎文章-十分钟读懂Stable Diffusion,这里也有体验Midjourney的方式,但是我体验的时候提示今日免费体验额度没有了。原创 2023-06-16 22:39:44 · 857 阅读 · 1 评论 -
OpenMMLab-AI实战营第二期——6-1. 底层视觉与MMEditing
GAN(generateive adversarial network)是一种无监督的网络,在超分任务上有广泛的应用。原创 2023-06-15 22:59:43 · 597 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——5-1.语义分割与MMSegmentation
Transformer系列统一语义分割、实例分割和全景分割任务,大一统模型以上几种比较前沿的新算法,MMSegmentation里都有实现LabelStudio和LabelMe都集成了SAM,可以试试标注效果。原创 2023-06-12 23:14:38 · 2169 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——4-2.MMDetection代码课
MMDetection 支持了各种不同的检测任务,包括目标检测,实例分割,全景分割,以及半监督目标检测。检测是分割的基础,所以它也包含了很多分割任务,和MMSegmentation的区别是:目前,支持的分割任务为语义分割中支持了实例分割和全景分割。超详细!带你轻松掌握 MMSegmentation 整体构建流程语义分割的应用:①自动驾驶;②遥感图像分析;③医学图像分析。所以可以理解为专门为了这三个垂直方向把语义分割方向的模型单独列出来了这个库主要是面向3D的,感觉重点在点云数据上,原创 2023-06-11 22:09:30 · 1387 阅读 · 6 评论 -
OpenMMLab-AI实战营第二期——4-1.目标检测与MMDetection
定位+分类DPM:Deformable Part Model,可形变组件模型,于2008年提出,并发表了一系列的cvpr,NIPS。并且还拿下了2010年,PASCAL VOC的“终身成就奖”DPM用到了HOG的东西,是用传统算法做的。详见:CSDN博客-DPM(Deformable Part Model)原理详解博客园博客-关于DPM(Deformable Part Model)算法中模型可视化的解释,算法提出者使用的是matlab写得源码。原创 2023-06-10 00:31:39 · 1772 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——3-2. MMPretrain代码实战
比如:数据已经传到google云上了,懒得再改或者之后可能会修改数据分布,可能会有新的数据进来等那么频繁对图像文件夹进行改动,就不是很方便,此时可以考虑添加一个标注文件。准备数据集-标注文件方式1.文件结构| --fruit30_train | --哈密瓜 | --1.jpg | --2.jpg | --苦瓜 | --1.jpg | --2.jpg | --meta # 存放标注文件 | --train.txt | --val.txt | --test.txt2.标注文件内容比如:文件的内容。原创 2023-06-08 15:46:07 · 1039 阅读 · 4 评论 -
OpenMMLab-AI实战营第二期——3-1.深度学习预训练与MMPretrain
视频链接:b站-深度学习预训练与MMPretrain官网:self-attention对比学习掩码学习对比学习+掩码学习双流网络,zero-shot分类器原创 2023-06-05 22:50:46 · 629 阅读 · 0 评论 -
OpenMMLab-AI实战营第二期——2-2.基于RTMPose的耳朵穴位关键点检测(Colab+MMPose)
环境太新,导致后面安装mmcv的时候找不到现成的wheel,需要从tar.gz编译,编译一直过不去,mmcv一直卡在:Building wheels for collected packages: mmcv。总之把你希望要保留的文件都建立相应的文件夹,然后第一次打开.ipynb的时候,记得选择Colab,此时,这个文件就和Google云端硬盘关联了,在colab中对这个文件进行修改,会保存到Google云端硬盘中。注意,先选好运行时,再进行文件的关联,不然去新的运行时之后,还要再重来一遍。原创 2023-06-04 16:03:50 · 1151 阅读 · 1 评论 -
OpenMMLab-AI实战营第二期——2-1.人体关键点检测与MMPose
关键点提取,属于模式识别人体姿态估计的下游任务:行为识别(比如:拥抱。。下游任务:CG和动画,这个是最常见的应用下游任务:人机交互(手势识别,依据收拾做出不同的响应,比如:HoloLens会对五指手势(3D)做出不同的反应)自顶向下方法自底向上方法单阶段方法基于Transformer的方法。原创 2023-06-02 21:46:31 · 1736 阅读 · 4 评论 -
OpenMMLab-AI实战营第二期——1. 计算机视觉与OpenMMLab概述
个人更关注语义分割和3D方面的内容,所以这里重点记录这两点相关的。原创 2023-06-01 13:21:54 · 886 阅读 · 0 评论 -
CVAT——1. Ubuntu18.04 CVAT配置/安装
介绍Computer Vision Annotation Tool (CVAT)是加州尔湾视频标注工具(http://carlvondrick.com/vatic/)的重设计和重实现版本,是用于计算机视觉的免费,在线,交互式视频和图像注释工具。 我们的团队正在使用它来注释百万个具有不同属性的对象。 许多UI和UX决策都是基于专业数据注释团队的反馈。安装/配置主要参考CVAT Github官方给出的 Quick installation guide基本环境参考Linux查看系统基本信息,版本信息(最原创 2020-07-23 15:26:45 · 7665 阅读 · 2 评论 -
Redis现学现卖-速成
主要参考:Redis 教程 菜鸟教程Reids教程 W3CschoolReids官方中文文档原创 2020-08-03 14:42:13 · 800 阅读 · 1 评论 -
OpenVINO——2. OpenVINO Model Downloader
1 安装和介绍说明文档:https://github.com/openvinotoolkit/open_model_zoo/blob/master/tools/downloader/README.md文件位置及目录详情:该目录包含脚本,这些脚本根据模型目录中的配置文件自动执行某些与模型相关的任务。downloader.py(模型下载器)从在线资源下载模型文件,并在必要时对其进行修补,以使它们在Model Optimizer中更可用;converter.py(模型转换器)使用模型优化器将非推理引擎原创 2020-11-05 10:38:25 · 2573 阅读 · 0 评论 -
OpenVINO——1. windows10 64位安装OpenVINO2021.1
Github主页-openvinotoolkit1. 安装1.1 找到安装文档。。。看了一下,目前中文比较写的全应该是这个人的博客:windows10 64位 OpenVINO安装教程:巨长。。正道的光是这里:OpenVINO的部署和使用:感谢这位博主提供的openVINO的get started链接:Get Started找也是可以找到的。X 下面这部分不看安装就很麻烦,半天在github上找不到安装指引。。。(和常规认知不太一样)直接去英特尔中文官网找搜索,搜索 OpenV原创 2020-11-06 11:11:35 · 5568 阅读 · 1 评论 -
简单的认识dll授权加密
背景介绍项目要提供一个SDK(Software Development Kit),经常可以在百度/讯飞的AI平台看到提供SDK接口的,但是为了防止提供的SDK被窃取源码等等,一般会对这东西进行授权加密参考:+如何给dll文件加密.NET DLL 保护措施详解(非混淆加密加壳)使用Dotfuscator加密混淆程序以及如何脱壳反编译对Unity3D 导出的apk加密及授权管理常见工具壳分为压缩壳(起压缩程序体积的作用,一般保护功能较弱)和加密壳(起保护软件不被破解作用,保护功能强,但现在的原创 2020-11-10 11:16:43 · 9822 阅读 · 1 评论 -
CVAT——2. CVAT简单使用
基本使用管理员界面登录在上篇配置好CVAT后,可以使用类似:http://localhost:8080/admin来登录 (localhost换成自己的服务器ip)创建任务和上传标签进入CVAT界面后,选择新建任务(很简单,填填就好了)创建任务完成后,如果还需要上传对应的标记文件,则该文件需要是zip格式的。同时,还会提示你:即:这里上传的标记会将你在CVAT平台上标记的全都覆盖!此外,如果上传的标记文件中标签与该task建立时的标签不一致,会报错。且已经创建好的项目的标签无法修改,可以新原创 2020-11-10 11:22:38 · 10076 阅读 · 3 评论 -
OpenVINO——3. OpenVINO文字识别OCR运行demo
1. 简介搜索了一波关于openVINO的使用,竟然也有很多资料,看来是自己不关注这方面,井底之蛙了。这里有个问题,按照上面安装步骤安装的仅仅是OpenVINO,但是查看OpenvinoTooklit,其实这个openvino仅仅是这个项目的一个子项目。Github主页-openvinotoolkit其中,Openvino提供的一些模型都在open_model_zoo中,可以直接git clone https://github.com/openvinotoolkit/open_model_zoo原创 2020-11-25 11:07:49 · 3219 阅读 · 2 评论 -
强化学习——股票预测项目复现
1.背景介绍之前学习百度强化学习7日打卡营-世界冠军带你从零实践时候,最后留下的一个大作业是股票预测环境:https://github.com/kh-kim/stock_market_reinforcement_learning,由于给出的一个推荐github项目是四年前,时间太久远,所以找了另一个,还是中文的,而且步骤看起来很详细。❤github项目地址:https://github.com/wangshub/RL-Stock所以在经历失败的复现:https://github.com/forrest原创 2021-01-28 10:53:34 · 7592 阅读 · 8 评论 -
强化学习PARL——1. 简单认识
这个教程参考的是百度PaddlePaddle的RL系列教程:https://aistudio.baidu.com/aistudio/projectdetail/1445501背景介绍第一章节属于基础内容,第二课的数学知识总结的很好1. 开始1.1 概念认识1.1.1 强化学习 vs 其他强化学习与监督学习的区别强化学习、监督学习、非监督学习是机器学习里的三个不同的领域,都跟深度学习有交集。监督学习寻找输入到输出之间的映射,比如分类和回归问题。非监督学习主要寻找数据之间的隐藏关系,比如聚原创 2021-01-12 11:47:05 · 6172 阅读 · 10 评论 -
强化学习PARL——3. 基于神经网络方法求解RL
1. 背景知识由于Q表格无法应对状态过多的问题,所以这里提出值函数近似这一方式DQN两大创新点:经验回放:充分列用off-policy(样本所带来的经验不是立马更新到Q表格的,而是经过一个策略,所以像离线更新一样,)每隔一段时间,更新一下2. DQN算法DQN的算法其实很简单,引入神经网络来得到Q3. DQN代码Parl实现可以看到,这里输入一个 obs(状态/观测值)经过一个简单的3层全连接网络输出act_dim个向量(每个向量应该是128维的。。。)也就原创 2021-01-19 15:09:23 · 764 阅读 · 6 评论 -
强化学习PARL——4. 基于策略梯度方法求解RL
基于价值的策略是一般是先计算出价值(比如Q 状态动作价值),根据价值去决定策略Value-based的算法的典型代表为Q-learning和SARSA,将Q函数优化到最优,再根据Q函数取最优策略。基于策略的则不再计算价值,直接输出动作概率,动作的选择不再依赖于价值函数,而是先根据一个策略走到底,最后根据最终的收益决定这个策略的好坏Policy-based的算法的典型代表为Policy Gradient,直接优化策略函数。第一个区别:基于价值的,是先求出最优的Q,然后去间接得到ac..原创 2021-01-19 17:44:09 · 467 阅读 · 0 评论 -
强化学习莫凡python——一些补充
1. RL分类model-free方法:对环境不了解,每次行动只能等环境的反馈才可以进行下一步model-based方法:由于已经对环境有一定的了解,所以每次在执行行动的时候可以预先想象到之后环境的反馈,来更好指导自己的决策。对环境的了解主要体现在:环境的奖励、环境的一些状态转移概率,这些内容是否已知基于概率的方法输出的是每个动作的概率,这时每个动作都有可能被选到基于价值的方法输出的每个动作的价值,这时只会选到价值最大的动作对于动作空间是连续值的场景来说,基于价值的方法是无能为力原创 2021-01-28 10:54:04 · 841 阅读 · 0 评论 -
强化学习PARL——2. 基于表格型方法求解RL
1. Sarsa全称是:state action reward state action原创 2021-01-19 09:17:45 · 453 阅读 · 0 评论 -
强化学习PARL——5. 基于连续动作空间上方法求解RL及大作业
个人理解:离散:可数(整数表示的)连续:不可数(小数/浮点数表示的)这里一共有四个网络,Q网络以及它的target_Q网络,策略网络以及它的target_P网络,两个target是为了稳定计算,每隔一段时间复制一下参数,投入到评估网络使用。target_Q是为了稳定计算Q_target中的Qwˉ(s′,a′)Q_{\bar{w}}(s^{'},a^{'})Qwˉ(s′,a′),而其中的a′=μθ(s′)a^{'}=\mu_{\theta}(s^{'})a′=μθ(s′)则是.原创 2021-01-20 14:17:02 · 632 阅读 · 0 评论 -
强化学习常见案例
入门强化学习的时候,看到许多教程都给了很多强化学习的例子,有些是视频,有些是线上一些可以自己改参数看效果的游戏,这里做一个归类整理有趣的强化学习视频小红小蓝捉迷藏的链接: https://openai.com/blog/emergent-tool-use/相应的视频应该是来自b站,(直接搜索emergent-tool-use 也会有很多类似的视频)【AI捉迷藏】初代天网?[中文字幕] Multi-Agent Hide and Seek 红球绿球链接:https://github.com/Padd原创 2021-01-28 16:58:34 · 5679 阅读 · 1 评论 -
Backtrader快速入门——1. QuickStart
1. backtrader介绍1.1 基本情况参考文档backtrader官方文档(英文):https://www.backtrader.com/docu/backtrader中文文档(非官方):http://backtrader.com.cn/docu/#1backtrader框架介绍官方定义:backtrader是一个用于回测和交易的功能丰富的框架,可以让你专注于写可用的交易策略,指标和分析器,而不会花费时间在构建基础架构上1.2 安装安装的话还是直接去github上面看最新的原创 2021-02-08 15:55:41 · 5382 阅读 · 1 评论 -
Backtrader快速入门——3. 使用pyfolio进行可视化分析
中文文档翻译:http://backtrader.com.cn/docu/#1002官方英文文档:https://www.backtrader.com/docu/analyzers/pyfolio/原创 2021-02-19 15:09:51 · 10102 阅读 · 10 评论 -
Backtrader快速入门——2. 策略表现评估
一开始接触backtrader可能就是因为知道这是个回测框架,对于回测这个概念可能还比较模糊,可以去看看国内一些中文网站关于回测框架这方面的文档,例如:优矿网站的help:策略回测基本流程常见的收益和风险指标策略的风险指标能够让您对策略在各个维度有客观、全面的评估。常见的风险指标如下:年化收益率(Annualized Returns):表示投资期限为一年的预期收益率。基准年化收益率(Benchmark Returns)表示参考标准年化收益率。阿尔法(Alpha)表示投资中面临着系统原创 2021-02-19 15:10:21 · 4178 阅读 · 0 评论 -
CVAT——3. Advanced功能分享
????1. REST API官方文档手册,点击这里如果已经有了搭建好的CVAT环境,那么可以访问http://XXX:8080/api/swagger/其中有很多分类,主要包括以下类型:auth - user authorization queriescomments - requests to post/delete comments to issuesissues - update, delete and view problem commentsjobs -requests to m原创 2021-08-04 15:08:21 · 1292 阅读 · 0 评论