- 博客(35)
- 收藏
- 关注
RSS订阅原创 学习记录--Bert、Albert、RoBerta
BERT在提出的时候提供了两种预训练任务，一个是遮蔽语言模型，即以一定比例随机遮蔽一定比例的输入标记，然后预测那些被遮蔽的标记的预训练任务（PS：ALBERT也不是直接做这个任务，而是换成N-gram的预测任务），另一个则是预测第二个句子是不是第一个句子的下一句。因此，他们认为，词嵌入的维度可以不必与隐藏层的维度一致，可以通过降低词嵌入的维度的方式来减少参数量。在 ALBERT 中，全连接层、注意力层的参数均是共享的，也就是 ALBERT 依然有多层的深度连接，但是各层之间的参数是一样的。
2024-07-22 09:29:50
746
原创 QianfanLLMEndpoint和QianfanChatEndpoint的区别
【代码】QianfanLLMEndpoint和QianfanChatEndpoint的区别。
2024-07-10 16:05:47
524
原创 遇到的异步问题
事例1适用于需要在异步函数中调用同步函数，且该函数执行时间较长或计算量较大的情况。事例2适用于需要并行处理多个异步任务，特别是IO密集型任务的情况。两种写法都利用了Python的异步编程特性来提高程序的效率和响应性，但适用的场景和解决的问题不同。
2024-07-04 14:33:48
170
原创 llm学习-2（使用embedding和数据处理）
首先可以简单了解一下向量数据库相关知识：向量数据库相关知识（搬运学习，建议还是看原文，这个只是我自己的学习记录）-CSDN博客补充：文心千帆APIEmbedding-V1是基于百度文心大模型技术的文本表示模型，Access token为调用接口的凭证，使用Embedding-V1时应先凭API Key、Secret Key获取Access token，再通过Access token调用接口来embedding text。同时千帆大模型平台还支持bge-large-zh等embedding model。对于
2024-06-27 18:06:16
722
原创 llm学习-1（包含如何使用github的codespace）：
我们一般设置 System Prompt 来对模型进行一些初始化设定，例如，我们可以在 System Prompt 中给模型设定我们希望它具备的人设如一个个人知识库助手等。在通过 System Prompt 设定好模型的人设或是初始设置后，我们可以通过 User Prompt 给出模型需要遵循的指令。具体来说，在使用 ChatGPT API 时，你可以设置两种 Prompt：一种是 System Prompt，该种 Prompt 内容会在整个会话过程中。，且相比于普通 Prompt 具有更高的重要性；
2024-06-27 10:37:15
1168
原创 Langchain-rag小demo
加载本地文本 ----> 文本拆分 ----> 匹配文本(字符匹配、语义检索) ----> 构建prompt ----> LLM生成回答。7-10步骤：将用户提问内容进行embedding 然后后向量数据库进行匹配。1-6步骤：通过embedding模型构建本地向量数据库。11-13步骤：构建prompt模板。14-15步骤：大模型输出。
2024-06-25 11:56:34
217
原创 解决Resource punkt not found.
在使用Langchain和Chatglm-6b的时候遇到了Resource punkt not found.这个错误。
2024-06-21 15:48:00
179
原创 向量数据库相关知识（搬运学习，建议还是看原文，这个只是我自己的学习记录）
通常情况下，随机性越大的投影矩阵，其映射质量就越好。一般的哈希函数为了查找方便我们需要减少碰撞次数，但是在向量搜索中，我们的目的是为了找到相似的向量，所以可以专门设计一种哈希函数，使得哈希碰撞的概率尽可能高，并且位置越近或者越相似的向量越容易碰撞，这样相似的向量就会被映射到同一个桶中。那么为了解决搜索时可能存在的遗漏问题，可以将搜索范围动态调整，例如当 nprobe = 1 时，只搜索最近的一个聚类中心，当 nprobe = 2 时，搜索最近的两个聚类中心，根据实际业务的需求调整 nprobe 的值。
2024-06-20 14:01:01
725
原创 详细简明懒人教程，含部署：Llama3-Chinese-8B-Instruct，cpp量化
无非：gh、hf、ms这三个里面找来找去，但是现在hf真的连不上，唉。。
2024-06-11 17:48:00
760
原创 基础数学知识
它的概率密度函数（PDF）由两个正实数参数α（alpha）和β（beta）控制，这两个参数决定了分布的形状。2：条件熵：在随机变量X发生的前提下，随机变量Y发生所新带来的熵定义为Y的条件熵，用来衡量在已知随机变量X的条件下随机变量Y的不确定性。1：伯努利分布：是只有两种可能结果的单次随机试验，每次试验都只有两个结果 0 或者 1。1：相对熵（KL散度）：衡量两个分布的差异。1：互信息:两个随机变量X，Y的互信息 为。1：联合熵：两个随机变量X，Y的联合分布。2：交叉熵：两个随机变量的“距离”
2024-06-06 09:47:54
194
原创 Bert-Chinese-Text-Classification-Pytorch项目测试函数编写
在这个git项目给了训练函数但是未提供测试函数，然后我根据自己的需求改了一下输入的模式。
2024-05-21 17:57:22
218
原创 cuda12.2 linux gpu torch环境记录
显示是12.2的版本，然后去官网查看相对应的安装GPUpytorch的命令。首先，先查看服务器CUDA 版本：nvcc --version。首先在虚拟环境conda安装GPU的pytorch环境，安装以后查看是否成功。
2024-05-14 10:13:27
725
原创 压力测试接口的线程数不大按时出现oom的解决方案
在测试接口压力的时候出现oom的情况，一开跑就oom，接口直接被killed。然后叫我就把加载模型放到了接口函数外面，但是还是会oom。查看一下监视器cup情况，发现启动的时候就已经不行了。
2024-05-10 10:41:37
120
原创 JMeter安装Plugins Manager管理器以后下面出现Failed apply changes...
最近安装JMeter插件管理器Plugins Manager，论坛上大坑一个没踩，插件安装成功但是一直安装不了软件包，话不多说看我遇到了什么问题：打开JMeter正常，打开Plugins Manager正常，然后开始下软件包，在Plugins Manager最下面出现一行红色的字：找了半天没解决，市面上只有那个许可证的错误，然后我去官方上看了一下：参考链接：jmeter plugin (google.com)
2024-05-09 15:27:28
416
原创 一些关于Xshell docker的常用命令
清华源 https://pypi.tuna.tsinghua.edu.cn/simple一些shell命令（针对Red Hat）------------------------------------------------------------------------------------------------------------------------安装包 sudo yum instal 。。检查是否安装包 rpm -q 。。。查看当前目录 pwd创建新的文件夹 mkdir上传文
2024-04-24 10:04:25
375
4
原创 找文献的方法
3：查找引用文献：到ResearchGate里面进行搜索。在 Web of Science里面进行检索。然后通过IDO去到SCI-HUB进行下载。4：CCF 中国计算机协会 看会议找论文。记得把sort by 选择为日期。5：找到领域的顶级会议论文网址。1：第一个通过关键词进行检索。2：去知网博士论文的参考文献。
2023-03-23 09:22:23
214
原创 LSTM笔记
另一个值得注意的是LSTM的输出有3个变量，即output,(h_n,c_n)，其中output是LSTM最后一层每个时间步的输出，h_n和_c_n为最后一个时间步每层的隐状态和记忆，其中经过batch_first以后，我们的输出是[batch_size,seq_len,hidden_size。output大小，h_n大小，c_n大小： torch.Size([128, 27, 512]) torch.Size([4, 128, 512]) torch.Size([4, 128, 512]
2023-03-22 09:33:55
285
原创 attention
output大小，h_n大小： torch.Size([128, 31, 1024]) torch.Size([1, 128, 512])2:源数据shape，目标数据shape torch.Size([31, 128]) torch.Size([35, 128])4:目标数据 tensor([[ 2, 2, 2, ..., 2, 2, 2],3:源数据 tensor([[ 2, 2, 2, ..., 2, 2, 2],
2023-03-19 16:18:48
339
原创 论文笔记---SSH
在这里，我们设计了一个与SSH模型完全相似的一维周期声学系统。声学系统的单元由两个谐振腔和连接它们的两个连接管组成。我们表明，当我们调整控制细胞间和细胞内跳的连接管的半径时，我们的声学模拟发生拓扑相变。拓扑相变的特征是几何Zak相位的突变。在三维系统中，两个带在Weyl点处线性相交，一个Weyl点是Berry通量的源或流，即以其Berry曲率的表面积分为特征的拓扑电荷。在二维(2D)系统中，Berry曲率的表面积分用Chern数表示。此外，对于一维系统，Berry连接的积分被定义为Zak相位。
2022-11-25 13:04:14
2101
1
原创 Comsol学习---声学与振动建模-----3
阻抗边界相当于一个万能的边界 阻抗无穷大就是硬声场 0就是软声场 和计算与流体相等就是一个匹配边界（吸收边界，平面波辐射就是一种吸收边界）这里的法相阻抗就是平面波辐射 把阻抗调成和材料一样的就好了。对于一个结构来说，承接面积不是恒定的是，要用。考虑一下细小的管道里面的传输 （微孔结构）
2022-11-24 13:16:25
3262
原创 论文笔记---Topological acoustics
通过对布里渊区(BZ)的贝里曲率的积分来定义Chern数为上式是Berry曲率的非消失分量，ku ()n为第n波段布洛赫波函数的周期部分。Chern数必须是整数值，计算进入和离开一个给定波段的的净数量。物理上外界磁场引起的时间反演对称破缺阻断了边界电子背散射路径，，形成手性边缘态。边缘态手性模型近期还直接促成了对拓扑绝缘体的发现。由于此类材料可实现零磁场下边缘态电子的无耗散流动而具有重大应用价值，因此成为当前凝聚态物理研究的热点。迄今，边缘态手性在量子体系电子输运过程中扮演的重要角色已广为人知。
2022-11-14 19:40:40
738
1
原创 论文笔记-------Topological sound
量子霍尔效应（quantum Hall effect）是量子力学版本的霍尔效应，需要在低温强磁场的极端条件下才可以被观察到，此时霍尔电阻与磁场不再呈现线性关系，而出现量子化平台。霍尔效应在1879年被E.H.霍尔发现，它定义了磁场和感应电压之间的关系。当电流通过一个位于磁场中的导体的时候，磁场会对导体中的电子产生一个横向的作用力，从而在导体的两端产生电压差。在凝聚态物理学中，物质的不同相的特征在于其潜在的对称性被自发打破。
2022-11-11 20:56:34
3819
1
原创 comsol学习---声学与振动建模-----1
模型在：E:\Comsol\COMSOL56\Multiphysics\applications\COMSOL_Multiphysics\Acoustics\eigenmodes_of_room.mphbin。COMSOL56→Multiphisics→applications 里面都是模型。播放器就是在软件里面显示了 但是文件就是可以导出了。被动边界：声音来了才产生作用。
2022-11-04 19:41:37
14074
4
原创 RFID防碰撞算法的复习（仅供自己复习回忆，大家参考）
RFID防碰撞算法算法复习书本上的：1：基于ALOHA的防冲突算法纯ALOHA算法阅读器广播识别命令给标签，标签收到阅读器发送命令后，立即以定长的信息包形式向阅读器发送其标识符号。没有冲突：阅读器正确识别标签识别符并发送确认信息发生冲突：阅读器向标签发送冲突确认标签收到成功识别的确认信息，则不再发送标识符未收到则将会随即独立的等待一段时间后再重新发送标识符，直到成功发送为止信道利用率：18.4%时隙ALOHA算法（S-ALOHA）控制时隙的同.
2022-03-14 21:46:03
6998
4
原创 记录：python复习笔记
python 复习变量：数字、字母、下划线 不能有空格字符串：单引号 双引号都可以\t ---- 制表符（缩进） \n ----- 换行符（回车）str() 将非字符串转化为字符串upper() 全大写 lower() 全小写 title() 首字母大写 upper lower title会不会改变存储的元素本身数字：** + 数字（表示几次方）注释：’#‘ 注释中有中文要用: #-- coding:utf-8 -- ,有这句话才可以备注中文pyc
2022-03-02 11:28:29
419
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人