- 博客(37)
- 收藏
- 关注
RSS订阅原创 项目实训（三十九）——stable diffusion的远程部署
1、用户名和密码：开启学术加速后，访问WebUI时，会需要输入用户名和密码，这里非必填项，不填写会随机生成，可以填写一个简单的用户名和密码（例如:123、123456之类的）内核选择完成后，看一眼右上角是不是已经显示“xL_env”了，如果是那就OK了，后续再开机的时候，这个地方正常都会是“xL_env”了。第二步：点击按钮“点我安装下载器”，安装过程会执行一串代码，耐点等待片刻后，安装成功后，按钮会显示为“已成功安装下载器”第三步：点击按钮“点我移动到数据盘”，点击后会显示正在移动……
2024-06-24 07:02:42
330
原创 项目实训（三十八）——语音转文本的实现
考虑到医生在日常工作中的繁忙，很多时候打字和写字都会带来一定的不便，我们通过语音转文本，实现通过讲话与大语言模型进行交互。然后我们应该在页面中设定按钮，一个是我们开始录制的标志，一个是我们结束录制的标志。通过WEB speech的API来实现我们的声音转成中文文本。我们通过js-audio-recorder实现录制我们的声音。这样我们就可以将我们的语言转成文本放入页面内了。接着我们应该确定何时改停止录制。这是非常具有实际意义与价值的。首先我们应该确定录制的采样器。通过点击话筒实现开始录制。
2024-06-24 06:55:43
164
原创 项目实训（三十七）——视频分帧处理进行切割
在生活场景中，我们的胃镜肠镜常常以视频的形式出现，所以我们也考虑了如何通过视频来进行息肉的切割，这是非常有实际应用价值的。我们通过对视频分帧处理，对一帧帧进行切割最后再组成完整的图片。我们实际生成了一个视频分割的实例。
2024-06-24 06:48:27
189
原创 项目实训（三十六）——大语言模型的微调
LoRA的核心思想是，在冻结预训练模型权重后，将可训练的低秩分解矩阵注入到的Transformer架构的每一层中，从而大大减少了在下游任务上的可训练参数量。租借完成后，我们可以使用autodl的镜像textgenerationwebui来进行我们的大语言模型的微调。这里我们要做的就是传入我们构建好的json数据集给它。接着我们就可以应用我们微调后的大语言模型进行操作了。我们可以看到我们以及可以通过基础模型进行对话。以下是我测试一个微调前和微调后的对话差异。我们这里采用的是LORA微调。
2024-06-24 06:44:33
221
原创 项目实训（三十五）——大语言模型的数据集处理
好的数据集肯定是离不开一定的数据处理、清洗的，我们首先要对我们爬取的数据进行一定的数据清洗。转换成json格式后，我们的数据集就可以保存起来等待我们最终进行微调的时候使用。这里我们的大语言模型的微调主要是用的json格式的数据集进行的微调。所以我们还应对把数据集转换成json格式。二、转化为微调时可以处理的格式。
2024-06-24 06:37:19
133
原创 项目实训（三十四）——大语言模型微调的数据集收集
这里我主要用的scrapy框架和Beautiful Soup工具，爬取的网址是39医生中文网，这里就不再对爬虫的使用技巧进行说明了，因为我本人有很多爬虫项目的经验，所以在这方面也是比较得心应手。如果担心说我们的爬取可能导致IP封禁等问题，这里我没有仔细研究39医生中文网有没有IP封禁问题，我们可以直接构造我们的IP池进行反爬虫应对。39医生的爬取难度还是比较低的比起我以前做的许多爬虫项目而言，它的反爬机制较少。我们爬取下来数据后，保存到相应的csv文件，我们可以看看我们爬取的一些结果。
2024-06-23 18:45:20
368
原创 项目实训（三十二）——预约成功页面以及查看预约
同样是要通过查询各种信息，从数据库中得到信息，因为前面介绍了很多了这里仅把代码贴上来。并且这里的预约信息是不一样的。当我们确认预约后，就会跳转出这个支付订单页面，我们可以详细浏览我们的订单信息。* 页面相关事件处理函数--监听用户下拉动作。因此我们针对不同的预约情况也要采取相对应的方法。* 生命周期函数--监听页面初次渲染完成。在预约详情中我们可以看到我们的预约信息。* 生命周期函数--监听页面加载。* 生命周期函数--监听页面显示。* 生命周期函数--监听页面隐藏。* 生命周期函数--监听页面卸载。
2024-06-23 18:34:41
704
原创 项目实训（三十一）——实现时间段预约
因为我们已经将排班信息存入数据库中了，因此我们可以实现对医生的时间分段预约了，注意这里系统的稳健性体现在我们不能预约比当前时间更早的时间。这一步的实现是通过getWeek与dateChange两个函数共同作用产生的效果。获取完医生的排班信息后，我们就要将排班信息转化为用户可以进行预约的时间段。这里其实设计的也挺麻烦的，主要是通过slipTime实现。要提取我们的时间，并将其转化为每半个小时为一段。首先我们要通过前后端交互得到医生的排班信息。这样我们就能够实现我们的预约时间选取了。可以提取预约之后的天数。
2024-06-23 18:29:54
120
原创 项目实训（三十）——管理员端对医生排班
el-button size="mini" type="danger" @click="deleteDoctor(scope.row.id)">删除管理排班
2024-06-23 18:22:50
533
原创 项目实训（二十九）——预约挂号功能的实现
实现预约挂号功能，我们还需要能够选择科室和医生，我们的设计是通过科室的id来区分每一类医生，不过因为我们的项目是针对肠息肉的切割，所以我们这里仅设计了一个肠胃科。获取到相应的医生，我们还可以选择时间，但是这些过程听着非常方便其实写起来还是困难重重的，我们先基于我们上面的分析来看看我们的前后端交互过程。选择完科室后，我们就可以获取到相应科室的医生信息，这与我们的医生端是相对应的，都是调用的我们数据库中的doctor数据。在选择科室上我们调用的是后端的query_room接口进行的科室选择。
2024-06-23 18:16:44
195
原创 项目实训（二十八）——预约挂号功能的实现
add_patience接收前端传过来的id,name,relation,certificate等信息，调用我们的dao对数据库进行操作，实现内容存入数据库中。这里就涉及到一些前后端交互的问题了，我们应该把就诊人信息存入数据库表中，才能实现相应的选择就诊人。我们这里是通过与后端的add_patience接口进行交互，实现添加就诊人。这就是我们的就诊人功能的实现，前端代码因为太多了就不再进行展示了。所以因此，我们也需要添加就诊人的功能。
2024-06-23 18:05:48
145
原创 项目实训（二十六）——详细路线规划
这里我们就是通过调用myAmapFun.getDrivingRoute实现的路线一步步规划。这里我们的步行同样实现了一步步的路线规划，这里就不再进行赘述了。这里wxml，wxss文件就不再进行讲解，主要看看js文件时如何实现这一过程的。我们可以通过详细路线规划，知道我们每一步具体该如何行驶。
2024-06-23 17:47:24
257
原创 项目实训（二十三）——小程序登录页面的实现
与后端交互的部分是位于js文件内，其实这里与前端的交互方式并没有太多的不同，只是一些形式上有了变化，但是本质还是那些东西，我们可以通过wx.request() API来发送HTTP请求。登录页面肯定是一个非常重要的页面，我们要确保用户能够正常进入我们的小程序那么登录功能一定是必不可少的。比如我们的后端端口是/user/login，那么就可以与/user/login端口进行交互处理。接着我们进行跳转处理，如果登录成功则跳转到主页，如果登录失败则说明跳转失败。这里的样式代码较多这里就不一一贴图展示了。
2024-05-31 13:12:32
341
原创 项目实训（二十二）--小程序问答页面实现
问答页面是我们旨在可以通过小程序端给出用户一些基础的知识答案，比如用户说我的头疼、感冒等，我们可以通过自动回话告知用户一些可能的处理方法，因为我们之前已经部署好了大语言模型，所以我们只要实现问答页面的前端，然后后端与大语言模型进行交互即可。因为这里暂时还没有实现和后端大语言模型交互所以暂时不把js写上去了。一、为什么要实现问答页面。二、问答页面的代码实现。
2024-05-31 13:01:48
119
原创 项目实训（十六）--对SAM进行微调
将读取的灰度图片gt_grayscale与0进行比较，得到一个布尔数组，其中值为真的地方表示遮罩上的对应像素为黑色（即对象的一部分），值为假的地方表示遮罩上的对应像素为白色（即背景）。因为我们预计要对SAM模型进行微调的算力还是需要不少的，而我们成员里大家的个人电脑都无法提供比较好的算力支持，因此我们需要去网上租借服务器，进行SAM模型的微调算力部署。这里我们可以使用AutoDL服务器，实验室的服务器也是在上面租的，因为autodl本身价格并不算太高加上可以按时租借，是比级符合我们的需求的。
2024-05-31 11:32:49
1289
3
原创 项目实训（十五）——学习如何进行SAM模型的微调
迭代采样策略类似于与真实用户的交互，因为在实践中，每次新的点击都被放置在由网络使用先前点击集产生的预测的错误区域中。在SAM中，作者使用CLIP生成的目标对象作物的图像嵌入作为接近其在CLIP中对应的文本描述或定义的图像嵌入。将一个VIT块分成两个分支，depth branch 和 space branch，对于给定深度为D的3D样本，我们将D x N x L发送到空间分支中的多头注意力，其中N为嵌入的数量，L为嵌入的长度。然而，医疗领域有一些独特的需求和挑战，使得在这个领域对SAM进行微调是必要的。
2024-05-31 11:05:10
1504
原创 项目实训（二十一）--小程序个人信息页面的编写
个人信息页首先包含了如头像、我的订单、我的档案等功能，其中我的订单中包含了待付款、待就诊、待评价等。我的档案需要实现添加个人档案功能。因为代码非常多这里就不一一展示了，主要还是分块处理，我们的个人页面是三块，我们在小程序开发时应该要一块块进行样式设计。
2024-05-31 09:18:14
267
原创 项目实训（二十）--小程序的协作工作
因为小程序的开发主要是由我和另外一位同学负责，所以我们在更新项目进度的时候如果可以通过像push、pull这样的操作进行推送、拉取等就会非常方便，因此我们在进行小程序开发前，先对如何通过小程序进行协作工作进行了探索。对我们的项目先进行拉取，把别人的工作与我们目前的项目做一个合并。这时候对方再拉取后就可以得到我们目前整合出的完整项目了。当我们添加完了成员，我们就可以与成员共同协同工作。添加完成员后，成员就可以对一个项目进行协同工作。点击成员管理，我们可以进行成员的添加。再点击推送，就可以上传到远程仓库了。
2024-05-30 19:00:58
178
原创 项目实训博客
SAM模型即Segment Anything Model，是计算机视觉领域的一款功能强大的ai模型，SAM模型虽然号称可以分割一切，但是在特定领域的应用精度仍然具备提升空间，我们在开发软件前已经进行过测试，SAM模型在医疗领域的精度需要进一步提升，因此我们的第一个技术创新就是通过投喂数据集，对我们的SAM模型进行微调，提高它在医疗领域方面的精度。因此我们打算开发一款可以。在模型选取上，我们拟定通过SAM来进行图像的切割，辅助我们的医疗诊断，SAM号称CV领域的Chatgpt，由此可见SAM的功能之强大；
2024-05-30 18:18:14
761
原创 项目实训（十九）--小程序的开发的准备工作
这里开发小程序的原因是我们本次项目实训分为医生端和用户端，医生端是写在网页版的，考虑到用户可能使用小程序更加的方便，因此我们采用小程序来制作用户端，我们初步想要实现的功能有预约挂号、付费、查看诊断报告等。首先我们跟随微信官方文档来学习如何一步步制作我们自己的小程序。
2024-05-30 18:09:53
313
原创 项目实训（十七）-大语言模型的部署
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中最强的性能。经测试是可以正常使用的，我们视情况而定后期要不要微调大语言模型，因为我们的主要还是通过SAM进行切割，大语言模型只是我们的辅助功能。因为我们在提取了相应的息肉特征后，要将其发送给大语言模型，给出我们的辅助诊断报告。我们的预期效果如上图所示。
2024-05-30 16:55:45
267
原创 项目实训（十四）——提高掩码质量
Translayer2_0, Translayer2_1, Translayer3_1, Translayer4_1：这些是不同分辨率特征图之间的转换层，将特征图的通道数转换为统一的 channel 数（例如 32）。x = torch.cat([avg_out, max_out], dim=1) 将平均池化结果 avg_out 和最大池化结果 max_out 在通道维度上进行拼接，得到一个新的特征图 x，其通道数为 2。out_SAM 和 out_CFM：输出层，将特征图转换为单通道的预测图。
2024-05-30 16:14:41
373
原创 项目实训（十三）--提高掩码质量
self.conv_upsample1 至 self.conv_upsample5 和 self.conv_concat2 至 self.conv4 定义了一系列卷积层。x2_2 = self.conv_concat2(x2_2)：经过卷积层 conv_concat2。x3_2 = self.conv_concat3(x3_2)：经过卷积层 conv_concat3。对 x2_2 进行上采样（放大一倍），然后经过卷积层 conv_upsample5。经过卷积层 conv_upsample1。
2024-05-30 16:08:48
924
原创 项目实训（十二）--提高掩码质量
此外，考虑到息肉图像的影响和难以捉摸的特性，我们引入了三个标准模块，包括级联融合模块，伪装识别模块和相似性聚合模块，其中，CFM用于从高层特征中收集息肉的语义和位置信息；CIM用于捕获隐藏在低层特征中的息肉信息，SAM将具有高级语义位置信息的息肉区域的像素特征扩展到息肉区域，从而有效地融合了跨层特征，提出的Polyp-PVT模型有效的抑制了特征中的噪声，显著提高了特征的表达能力。首先，对一个尺寸为 H×W×C的输入特征图F进行空间维度的全局最大池化和全局平均池化，得到两个 1×1×C 的特征图；
2024-05-30 10:26:09
255
原创 项目实训（十一）——复现self-prompt SAM
在所有PEFT策略中，Adaption（胡等人，2021）是微调下游任务的大型基本视觉模型的有效工具，不仅在NLP中，而且在计算机视觉中也是如此。第一个 Adapter 用于集成提示嵌入，解码器中的第二个适配器的部署方式与编码器中的部署方式完全相同，以适应 MLP 增强的嵌入。这里因为微调还是需要一定的算力的，因此我们是打算放到后面进行微调的，先把其余的工作继续开展，但是我们已经准备好了数据集以及微调的环境。那么我们该如何微调SAM模型呢，市面上是有一些微调SAM模型的例子的。
2024-05-30 09:52:54
292
原创 项目实训（十）——使用self-prompt SAM
首先从 args 中获取训练时使用的图像数量 num_image 和要可视化的图像数量 num_visualize。列出 data_path 中 images 目录下的所有文件名，并随机打乱这些文件名，然后选择剩余的文件用于测试。正如我们之前提到的那样，我们利用self-prompt SAM可以实现no prompt切割，所以这里我们down下了self-prompt的代码进行研究。使用 predictor.set_image(img) 将图像设置为当前处理的图像。大小，然后将其调整为原始掩码的大小。
2024-05-30 01:09:12
377
1
原创 项目实训（九）——数据集的获取
通过将医学影像中的息肉与周围正常组织进行分离，可以提供更清晰的视觉参考，帮助医生准确地确定息肉的位置、形状和大小。正如我们上文提到的那样，我们可以通过小样本对SAM模型进行微调，那么我们需要获取有关息肉的数据集，我们应该选用什么数据集呢。CVC-ClinicDB数据集的获取：我们可以进入官网对CVC-ClinicDB数据集进行下载。
2024-05-30 00:41:48
384
原创 项目实训（七）——研究如何使用no prompt进行切割
一、text-prompt因为我们的项目是要通过sam进行对医疗图像的分割，所以我们这里肯定不能提供坐标点、框等位置对医疗图像进行切割，那么我们必须要采用no-prompt的方式，可是传统的SAM模型只能基于point、box、mask三种方式进行prompt，我们该如何才能使SAM达到我们的预期目的呢?一种可能的方式是用text进行prompt，就算我们提供文本信息让sam进行切割，市面上是具有一些对现有SAM模型进行了text prompt改进的模型的。比如说FastSam：Fast
2024-05-30 00:14:32
591
原创 项目实训（六）——研究SAM模型
vit结构SAM的image_encoder结构输入的图像会resize到 1024×1024 ，然后通过一个卷积核为16且步长为16的卷积下采样到 64×64 ，之后加入位置编码送入Transformer Block中。self,dim: int,) -> None:"""Args:"""assert (return x而这段代码就对应的是上图的Attention。
2024-05-29 22:54:51
819
原创 项目实训（五）-研究SAM模型
set_torch_image：用padding填补缩放后的图片，在 H 和 W 满足神经网络需要的标准尺寸，而后通过image_encoder模型获得图像特征数据并保存在self.features中，同时self.is_image_set设为true。这个文件包含三层的封装,最外层是sam_model_registry，它提供了统一的接口，用来选择vit_h,vit_l,vit_b,默认使用vit_h。get_image_embedding：获得图像image_encoder的特征。
2024-05-29 22:41:44
335
原创 项目实训（四）——SAM模型的学习与部署
这里的show_mask就是我们用mask的prompt进行分割，show_points就是我们用points进行分割，show_box就是通过box进行分割，这是SAM的三种prompt的方式。总的来说，Meta AI 的 Segment Anything 模型为我们提供了一种全新的物体识别和分割方式，其强大的泛化能力和广泛的应用前景将极大地推动计算机视觉领域的发展。这里有vit_h、vit_b、vit_l三种权重模型，这里可以根据自己的需要下载相应的权重模型。我们是下载的vit_h权重模型。
2024-05-29 22:18:19
169
原创 项目实训（三）
这个的功能我们还未经过完整的测试，但是我们预期通过分割后的图像，使用模型或者算法，得到我们的关键词，如息肉的数量、尺寸、颜色深浅等，并以此为依据，再次使用如deepseek或chatgpt等大模型通过我们所给关键词生成我们的结果化诊断报告，这极大地减轻了医生的工作量。我们的功能肯定是要承载在一个软件app或者一个网页上，所以我们应该研发出一个网页或者APP来进行我们上述的功能演示，数据展示等等。但是在医疗领域的精度是不够准确的，所以我们旨在通过相关数据集，对SAM进行微调来辅助我们进行医疗诊断。
2024-05-29 19:51:06
145
原创 项目实训（二）——项目介绍
SAM模型即Segment Anything Model，是计算机视觉领域的一款功能强大的ai模型，SAM模型虽然号称可以分割一切，但是在特定领域的应用精度仍然具备提升空间，我们在开发软件前已经进行过测试，SAM模型在医疗领域的精度需要进一步提升，因此我们的第一个技术创新就是通过投喂数据集，对我们的SAM模型进行微调，提高它在医疗领域方面的精度。在模型选取上，我们拟定通过SAM来进行图像的切割，辅助我们的医疗诊断，SAM号称CV领域的Chatgpt，由此可见SAM的功能之强大；对于软件开发文档，在。
2024-05-29 19:45:27
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人