- 博客(57)
- 收藏
- 关注
RSS订阅原创 解决vscode的导包问题
然后重启vscode即可。该配置对同一个项目的其他文件、文件夹均有效。该种方式只能针对该文件使用，更换到同一个项目的其他目录就无法使用了。打开设置->settings.json向其中添加。2.更改vscode的配置。
2024-08-05 10:15:54
397
原创 文生图的开源大模型
Huggingface模型下载：*i*AI**快站模型免费加速下载：*Playground v2.5 在审美质量方面显著超越当前最先进的开源模型 SDXL 和 PIXART-α，以及 Playground v2。由于 Playground V2.5 和 SDXL 之间存在较大的性能差距，因此官方还将它与当前闭源模型如 DALL-E 3 和 Midjourney 5.2 进行了审美质量比较，发现 Playground v2.5 也比这些闭源模型相比表现会更好。
2024-07-18 11:15:37
486
原创 ollama更换默认模型下载路径
2.将文件夹得用户组和用户均改为root。3.更改ollama得配置文件。4.执行命令重启ollama。1.创建自己的模型下载路径。
2024-07-18 11:14:51
1126
原创 标准扩散模型(standard diffusion)和潜在(latent diffusion)扩散模型的关键区别、对潜在扩散模型的认识
潜在扩散模型通过在低维潜在空间的扩散过程，可以减少内存和计算的复杂性。而standard diffusion是在像素级别的空间(actual pixel space)进行扩散.
2024-07-09 10:07:47
680
原创 PostgreSQL的使用
进入docker容器内部，操作数据库，上述命令是以交互式命令进入了容器的内部，对于docker的一些使用，也可以参考我之前写的博文进行学习。命令解释:使用psql连接端口号为5432，用户为postgres,根据自己所建立的用户进行修改。1.首先，使用docker进行安装pgvector数据库，具体的安装步骤可以查看我之前发的博文。postgreSQL的命令。
2024-07-09 10:07:03
472
原创 vscode使用Black Formatter以及Flake8实现代码格式化
Black Formatter则可以实现在保存时，自动对格式不规范的进行修改为规范的。两个插件搭配使用即可得到舒适的coding体验。简单介绍一下这两个插件的功能，flake8可以实现对python代码风格的检测，对空格换行等内容都会有提示。flake8直接下载即可。
2024-06-27 10:19:46
580
原创 ubuntu上使用阿里镜像源安装docker，以及配置docker的镜像环境
{ “registry-mirrors”: [“放链接地址”] }如果使用的不是阿里云的云服务器，最好还需要改一下dns解析地址。将开头114.114.114.114的修改为。2.添加阿里云镜像源和密钥。3.添加阿里云镜像源。（阿里的dns地址）然后reboot重启。然后重启docker。
2024-06-27 10:15:37
1968
原创 在服务器上搭配大模型的运行环境详细版（docker+ollama+langchain等工具）
1.anaconda3环境安装anaconda3导出环境2.前置的docker软件安装、docker镜像如何进行转移添加用户3.gpu环境配置删除已安装的cuda环境4.pycharm配置5.langchain环境搭配langchain使用的技术有Agent、memory、分词器、pgvector直接pip安装，后面缺什么按需要装什么就行了在后台一直运行该项目6.网络方面。
2024-06-20 09:40:30
791
原创 langchain如何进行异步加载(该文主要针对Agent)
a.astream_events解释：a为Agent_executor,这个for循环，会将在进行流式输出的事件都给循环一下，其中的判断是看是否到了模型输出的部分。而我们想要的东西仅仅是在llm_stream过程中的，因而进行判断。include_names是可以根据名字排除掉一些不需要的事件。在使用langchain框架，当希望让模型输出的数据可以在前端进行流式输出时，可以采用该方法。除了Agent之外的如何进行流式输出可以查看官方文档里面的，有问题欢迎大家在评论区进行留言。
2024-06-14 16:21:52
542
原创 解决微调后的模型导入ollama后出现”胡言乱语“情况
先说结论，出现该问题的原因主要是因为Modelfile文件没有配置好。这个是ModelFile文件的配置，第一行的from为要用的模型地址。
2024-06-14 16:21:08
756
原创 服务器使用配置unsloth以及docker，ollama，以及对整个服务器环境的配置
需要做的：1.安装anaconda32.安装docker，docker的gpu环境3.安装依赖环境4.在docker中安装ollama，安装pgvector等5.配置unsloth6.让LLaMA3运行起来。
2024-06-07 16:15:01
489
原创 外挂知识库的基本知识与内容
RAG,即LLM在回答问题或生成文本时，会先从大量文档中检索出相关的信息，然后基于这些信息生成回答或文本，从而提高预测质量。
2024-06-07 16:14:27
1004
原创 对比学习与垂直领域微调
之前也介绍了，不同任务加的prompt是不同的，如果把不同任务的样本放到一个batch里，模型训练时候就容易出现偷懒的情况，有时候会根据pormpt的内容来区分正负例，降低任务难度，这是不利于对比学习效果的。具体代码实现也非常简单，如下所示。文档正例是和问题密切相关的文档片段，文档负例是和问题不相关的文档片段，可以是精挑细选的（难例挖掘出来的，下一小节介绍），也可以是随机出来的。如果是随机出来的话，完全可以**用同一个batch里，其他问题的文档正例当作某一个问题的文档负例，对比学习与垂直领域微调。
2024-06-04 10:00:57
497
原创 大模型+强化学习的基本综述
在实验中上述模型也有一些弱点，如：经过强化学习精调的模型损失了之前的部分语言能力，对新对象的泛化能力较强，但对新能力的泛化能力较差。该方法通过记录模型在环境中的探索过程，并在模型失败时，利用大模型的思考内容推理出问题所在，并将其记录下来。，在游戏，机器人或者其它 Agent 领域中，环境对于大模型来说是未知的，可以采取行动的选项是固定而非由模型自定义的。进一步的研究发现，上述方法可能隐含着 A>B、B>C，可推出 A>C 的逻辑，而实际上在石头剪刀布这类游戏中，A>C 可能并不成立。
2024-06-04 09:59:55
463
原创 装本地知识库
在github将该项目拉取下来，后续步骤的很多内容可以直接使用该项目中给的例子，进行简单修改就可直接使用。如果要使用自己微调的模型，则可以对rag.py里面模型对应部分的内容进行修改即可。进入到步骤1所说的cookbook目录下。2.安装向量知识库，使用的docker。给大模型添加RAG知识库和搜索的功能。在此默认已经安装好了ollama。启动刚刚安装的docker。接下来使用命令，启动项目。1.安装phidata。
2024-05-23 19:06:43
246
原创 Google的MLP-MIXer的复现（pytorch实现）
2.在处理两个差异的时候，如输入维度[32,196,512],其中代表的意思分别为batch_size为32，196为图片在经过patch之后的224*224输入之后经过patch=16，变为14 * 14即196，512会在二维卷积处理之后输出的channel类似。在nn.linear那儿的in_channel与第三个维度保持一致，就可以不必将其三维的转换为二维的。在将flax框架的代码改为pytorch实现的时候，还是踩了不少的坑，在此讲一下，希望后面做的人，可以避免。
2024-05-23 19:05:22
603
原创 大模型相关内容的研究学习
RAG,即LLM在回答问题或生成文本时，会先从大量文档中检索出相关的信息，然后基于这些信息生成回答或文本，从而提高预测质量。
2024-05-15 09:30:21
706
原创 Colab微调LLaMA3模型(大模型的微调)
在hugging face上搜索 kigner/ruozhiba-llama3使用的是弱智吧的数据。
2024-05-13 13:46:35
1155
3
原创 docker的使用
network=host 表示将主机的网络环境映射到容器中，使容器的网络与主机相同。1.在Docker中，可以通过挂载目录的方式将宿主机上的目录共享到容器中。退出容器内部直接使用ctrl+d就可以了，此时会将这个容器运行也给暂停，如果只是想暂时退出的话，则可以先ctrl+p，再ctrl+q。比如:-p 8080:80 就是将容器中的80端口,映射到主机中的8080端口。-v 表示目录映射关系，即宿主机目录:容器中目录。-d 会创建一个守护式容器在后台运行(这样创建容器后不会自动登录容器)。
2024-05-13 13:45:22
750
原创 Deeplab的复现(pytorch实现)
本文复现的主要是deeplabv3。使用的数据集和之前发的文章FCN一样，没有了解的可以移步到之前发的文章中去查看一下。
2024-05-07 19:15:40
606
原创 QT入门：计算圆面积的QT开始以及日历相关
如图所示的为Qt的一个基本目录，首先打开mainwindow.ui进行设计，首先是讲解日历的，可以完全不用写代码，只在mainwindow.ui即可实现。日历首先要选择Calendar widget拖动到中间的窗口上，然后选择push button在buttons那一栏中。其中第二部分的lineEdit_textChanged,是实现当输入一个数字后无需点击计算按钮即可自动实现面积的计算。选择两个Qlabel标签和一个lineEdit，这些都可以在右侧显示各个名字的地方找到。这是最后的一个成果图。
2024-04-26 10:57:00
584
原创 Visual studio2022+QT的创建
看其他人写的新建项目时候都是Qt gui application，但现在新版本已经找不到这个了，直接新建qt widget那个就可以了。在qt学习的时候，可以使用官方的文档，直接搜索assistant就会出现对应的，然后选择你自己要用的版本就可以了。的文档，直接搜索assistant就会出现对应的，然后选择你自己要用的版本就可以了。在装这个的时候看其他网友写的基本都没提到这点，导致在这一步耗时许久。4.配置环境变量，应该都会，就不细说了，到bin目录就可以了。5.接下来就可以新建qt项目了。
2024-04-26 10:56:27
1621
原创 最小生成树算法的实现c++
主要思路：使用krusal算法，将边的权值进行排序（从小到大排序），每次将权值最小且未加入到连通分量中的值给加入其中。前向星是一种特殊的边集数组,我们把边集数组中的每一条边按照起点从小到大排序,如果起点相同就按照终点从小到大排序,由于每次枚举dist比较花费时间，因此可以对其进行优化，使用priority_queue来找最短的距离。并记录下以某个点为起点的所有边在数组中的起始位置和存储长度,那么前向星就构造好了.用len[i]来记录所有以i为起点的边在数组中的存储长度.首先要了解什么是链式前向星。
2024-04-19 14:52:40
259
原创 图像分割--FCN的论文复现（pytorch实现）
aAcc可以用来评估模型整体的分类准确率，但它不能反映出不同类别之间的性能差异。mIoU（Mean Intersection over Union）是指。
2024-04-19 14:50:05
1330
1
原创 蓝桥杯第十三届蓝桥杯大赛软件赛决赛CC++ 研究生组之交通信号
使用小顶堆来存储花费的时间，每次花费最少的时间是在最上面，在对图初始化时候，分为正方向可以走的，以及反向走的，由于该图是个有向图，因而要进行这样的初始化。然后就可以模拟这个过程来取得最短的时间，可以参考一下代码来进行理解。，红绿灯的顺序为绿黄红黄，在最开始时候为绿灯，绿灯时可以通过这条边，黄灯时不可以走，红灯时则可以反方向走。每次往哪儿走，就在于到达这个边的一瞬间，看此时亮的是什么颜色的灯。本题的思路十分简单，先看题意，是由n个节点，m条边的。
2024-03-22 15:24:55
595
原创 蓝桥杯第十三届蓝桥杯大赛软件赛决赛C/C++ 研究生组之好等差数列
使用哈希表存储对应d条件下的值，根据等差数列的公式我们知道，ai=a1+i*d,现在可以反过来使用，即a1 = ai-i * d,当d为合适的值时，则a1出现的次数将为最多。可以看到此时0出现了3次，1和-1均出现1次。则其离好数列的距离为n-3 = 5 -3=2,即将5和4这两个值更改即可。在公差为1时，1-1*1=0；枚举公差d，根据题意可以猜测，公差的范围为0–10000/n，由于v最大为10000.在公差为0时，1-1*0=1；例如：1，2，3，5，4.这5个数字。
2024-03-22 15:24:14
435
2
原创 RESNET的复现pytorch版本
若要测试数据的准确度等内容可以参考之前的博文使用LSTm进行情感分析，对test部分进行修改即可。使用的数据为Object_102_CaDataset，可以在网上下载，也可以在评论区问。3.残差网络：易于收敛，很好的解决了退化问题，模型可以很深，准确率大大提高了。该部分为模型的残差块，使用了3*3的卷积，然后进行归一化。使用上述dataloader可以方便的对数据进行读取操作。接下来就是整个的训练模块。RESNET模型的亮点。1.提出了残差模块。首先，是模型构建部分。接下来是读入数据模块。
2024-03-21 17:02:30
511
原创 蓝桥杯第十三届蓝桥杯大赛软件赛决赛CC++ 研究生组之选素数
x2=22, 22最大的质因数为11，则在此区间中可以取得值为 12–22，其中的素数如13、15可以忽略，因为素数的最大质因数就是其本身。如当i=14时，其最大质因数为7，则x=8，此时值为最小的。设要求的值为x,进行一次这样的操作后的值为x1,进行第二次这样的操作后的值为x2.现如今知道的x1为10，其最大的质因数为5,因而其要求的x是10-5+1=6.则当取的素数为2时，x为6保持不变，因为6为2的倍数。，然后将x变成要比原本大的最小的为p的倍数的x1。比如取x值为6，比6小的素数有2，3，5。
2024-03-21 17:01:41
481
原创 LSTM进行情感分析
len是必须要继承实现的方法，clean_sentence是对读取的数据进行清洗，load_data_and_label是加载数据且返回清洗过后的数据以及数据标签。pre_process是对数据进行编码，原始的数据是英文数据，因此需要对其进行分词、编码，最后返回的数据将是数字，一行数据就是一句评论。在上述中，首先会对数据集加载进来，然后分为80%的训练集和20%的测试集，定义使用的优化器为adam。首先，是要对数据集进行加载，在对数据集加载时候需要继承一下Dataset类，代码如下。
2024-01-29 16:22:29
673
原创 TextCNN的复现
len是必须要继承实现的方法，clean_sentence是对读取的数据进行清洗，load_data_and_label是加载数据且返回清洗过后的数据以及数据标签。pre_process是对数据进行编码，原始的数据是英文数据，因此需要对其进行分词、编码，最后返回的数据将是数字，一行数据就是一句评论。接下来是word2vec模型的训练及保存，出于简便性，训练word2vec模型时候直接使用了该数据集对word2vec模型进行训练。接下来主要是对代码内容的详解，完整代码将在文章末尾给出。
2024-01-29 16:21:52
703
原创 自然语言处理领域以及多模态计算机视觉论文整理(持续更新)
Transformer模型完全采用self-attention机制代替了传统使用的RNN模型结构，且在自然语言翻译方面取得了良好的效果，同时，transformer可以进行并行计算，而不是和RNN那样序列化计算，提高了计算效率，Transformer能够学习长距离元素之间的依赖，也解决了传统RNN模型的在序列很长时产生的梯度消失、梯度爆炸等问题。而且self-attention机制也可以对模型更好的进行解释。但transformer也有一些缺点，即计算量相对巨大，多头机制中的无效信息有很多。
2024-01-22 15:34:16
413
原创 pytorch的安装（GPU版本和CPU版本都可以）
直接去该网站下载torch，如下图所示:其中，前面的cu表示cuda，118表示cuda的版本号为11.8，torch-2.1.0表示torch的版本号为2.1.1，cp38为python版本为3.8，310表示python版本为3.10，win、linux代表不同的系统。
2023-12-12 16:28:24
7052
原创 Matlab的常用图表案例
线图（也叫折线图）是众多图表中的基本图形。它由一系列的和连接这些数据点的组成。它的形式和散点图类似，区别是①线图的数据点通常是的(一般按X轴的值顺序)②线图多了连接数据点。③线图是描述趋势变化的，散点图是描述两个变量的相关性的。线图常用来呈现的变化(时间序列)，所以X轴通常代表某个时间间隔。线图可以直接用函数绘制，只输入一列数的话会默认为Y轴的值，然后自动生成X轴；亦可输入两列数分别代表X轴和Y轴。
2023-11-28 18:33:38
1919
原创 Matlab的使用补充
matplotlib贴心地提供了许多内置的样式供用户使用，使用方法很简单，只需在python脚本的最开始输入想使用style的名称即可调用，尝试调用不同内置样式，比较区别那么matplotlib究竟内置了那些样式供使用呢？总共以下26种丰富的样式可供选择。在任意路径下创建一个后缀名为mplstyle的样式清单，编辑文件添加以下样式内容引用自定义stylesheet后观察图表变化。
2023-11-28 18:25:55
1020
原创 matlab的基本理论学习
在图形中的每一个元素都对应着一个matplotlibArtist，且都有其对应的配置属性列表。Figure本身包含一个Rectangle，Rectangle的大小就是Figure的大小；你可以用来设置Figure的背景色和透明度。每个Axes边界框(默认白底黑边)，也有一个Rectangle，通过它可以设置Axes的颜色、透明度等。这些实例都存储在成员变量(member variables)和Axes.patch中。Patch是一个来源于MATLAB的名词，它是图形上颜色的一个2D补丁，包含。
2023-11-27 17:11:57
1288
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人