- 博客(16)
- 收藏
- 关注
RSS订阅原创 从零实现无监督光流pipline（2）：训练代码，损失函数代码
我们这里直接使用PWCNet了，先了解一下基线和接口啥的，后面就可以换成自己可以创新的模型了。我们借助的ARFlow的工程，里面真的很贴心呀，没有使用AR的和使用AR的两个版本，我们这里自然就是使用前者嘛！因为其实我们要进行方法创新的时候也不能直接套用它的方法呀。
2024-03-10 17:47:24
336
1
原创 从零实现无监督光流pipline（1）：数据dataset部分
宝宝心里苦呀，调了几天的官方的tensorflow代码怎么都弄不通，后来一想，本科的毕业设计好像没有精度要求吧，我不如自己去搭建一个pipline，这样以后我也可以在这个基础上进行改进嘛。Here we go！
2024-03-06 13:39:01
732
原创 PWC-Net-Paddle复现（3）：训练部分
这一节的部分主要是先介绍PWCNet使用到的损失函数，之后书写训练的代码。项目地址：我发现了一篇高质量的实训项目，使用免费算力即可一键运行，还能额外获取8小时免费GPU运行时长，快来Fork一下体验吧。
2024-02-27 14:41:39
546
原创 PWC-Net-Paddle复现（2）：模型部分
我们这里先定义几个基本操作，在将基础得操作弄好之后，我们就可以搭建这个网络了，这里没有将稠密连接得操作单独拿出来，是放到了里面了。然后下面开始吧：我们先新建一个类，然后把上面定义的方法集成进来。首先pwcnet应用的是类似UNet的编码器解码器的结构，现在我们开始书写编码器的代码，这个部分的代码比较简单，就是一系列的卷积操作。# 稠密连接通道数dd之后因为corr操作有一个限制最大搜索范围的数为4，这里先把最后的corr的输出的通道数得到，然后使用这个通道数输入到解码器中od = nd。
2024-02-04 13:36:58
1929
1
原创 合集。。。。
https://blog.csdn.net/m0_75085274/article/details/135372565?spm=1001.2014.3001.5501https://blog.csdn.net/m0_75085274/article/details/135425532?spm=1001.2014.3001.5502/https://blog.csdn.net/m0_75085274/article/details/135425532?spm=1001.2014.3001.5502https:
2024-01-30 21:57:40
318
1
原创 大模型项目：基于InternLM大模型的中医诊断助手
在大模型问答的时候是存在三个角色的：system，input，output，所以我们要将我们的数据转换一下，下面是目标格式[{},}]我们的数据有两个标签，一个是case可以理解为症状，另一个是diagnosis可以理解为诊断，那么对应上面的就是前者为input，后者为output，system就设置为阿森的私人医生。[{"system": "阿森的私人医生","input": "患者新冠感染后出现头痛，微热，小便不利等症状。随着病情的发展，患者逐渐出现烦渴欲饮，饮水即吐，咳嗽等症状。
2024-01-19 13:27:55
936
原创 PWC-Net-Paddle复现（1）：数据部分
因为最近学弟要做毕业设计，他们电脑也训练不动呀，于是我就想着使用paddle复现一下，计划就在flychairs上训练一下，有个过程就可以了，并且可能也没有其他人做，正好也可以给别人借鉴一下，现在ai studio上有人复现了RAFT和FlowNet，我们这里借鉴RAFT进行书写，毕竟很多都是通用的嘛。
2024-01-16 10:34:16
835
1
原创 第5节LMDeploy 大模型量化部署实践：笔记
我们先来介绍一下大模型的特点：首先就是参数量大，对于7B的模型，就需要14G以上的内存，并且由于是采用自回归的方式，所以这就需要去缓存之前的信息，这就会进一步增加消耗。而部署的定义就是将训练好的模型放在特定的环境（cpu，gpu，tpu，npu）接收输入，产生输出。这就要对模型进行优化，如模型压缩和硬化加速。从上面可以得出如何在低存储的设备上部署？如何提高token推理的速度？如何解决动态token的问题？如何提供系统吞吐量？对此现在有很多成熟的技术：低比特量化，模型并行等。
2024-01-14 15:10:17
1803
1
原创 XTuner 大模型单卡低成本微调实战笔记
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
2024-01-13 15:40:55
1818
1
原创 第三节笔记
LLM存在一些问题，如知识的时效性，专业性以及定制化成本很高。对此存在两种解决方案：对于前者相当于建立一个额外的知识库，在使用时将我们的额外知识库和用户的提问一起输入给大模型，好处是成本低，不用额外的训练，并且知识库可以进行实时更新，但是问题是受模型能力受限，而后者可以提升模型的能力，但是成本要高。并且无法实时更新。
2024-01-10 22:57:08
368
原创 第三节作业--demo实现过程
首先我们打开开发机接下来激活虚拟环境，先运行下面的命令，尤其是第一个命令，非常慢，多等一下。之后我们开始加载模型，运行下面的命令之后我们开始LangChain的环境，LangChain 是一个开发由语言模型驱动的应用程序的框架。接下来我们下载模型之后我们NLTK最后下载项目代码。
2024-01-10 22:01:39
372
原创 第二节笔记及课后作业（在最后） -- 书生-浦语大模型demo体验
大模型，顾名思义就是指使用参数量巨大的模型，参数量为数十亿或百亿，可以使用一个模型完成多种任务，是实现通用人工智能的途径。InternLM是一个轻量级训练框架，自己也体验了一下，使用起来确实方便，不需要大量的依赖就可以开始训练了。我们在有了大模型之后，并不能将其直接在业务中应用起来，还要将其与环境结合训练出智能体，而Lagent就是实现这个功能的。本节一共要实现3个demo，这里注重实现，先看到效果，不会太注重原理，原理的知识要后面慢慢补。
2024-01-06 21:18:53
822
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人