jinniulema-CSDN博客

原创【论文笔记】Active Retrieval Augmented Generation

传统方法采用retrieve-and-generate 的范式进行检索增强，这种方式一般仅检索一次。本文提出了一种名为的主动检索的方法，可以在生成过程中主动决定何时检索以及检索的内容。具体来说，它迭代式地对待生成的句子进行预测，如果预测的句子中含有低置信度的token，就使用预测的结果作为query检索相关文档，然后重新生成句子。

2024-03-10 20:50:59 1622

原创【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

*对于第一个问题，我们总结了现有的医学LLMs，详细介绍了它们的基本结构、参数数量和用于模型开发的数据集。**此外，我们提供了这些模型构建过程的洞见。这些信息对于希望根据特定需求（如计算限制、私有数据和本地知识库）构建自己的医学LLMs的研究人员和医学从业者来说是宝贵的。对于第二个问题，我们对现有医学LLMs在十个生物医学NLP任务中的表现进行了广泛的调查。这种分析将使我们能够理解医学LLMs在不同方面如何胜过传统的医学AI模型。通过展示它们的能力，我们旨在阐明医学LLMs在临床环境中部署时带来的优势。

2023-11-26 21:56:00 1341

原创【论文笔记】LIMA: Less Is More for Alignment

大型语言模型通常分两阶段进行训练：（1）对海量原始文本进行无监督预训练，学习通用表征；（2）指令微调和强化学习，更好地适应最终任务和对齐用户偏好。该论文通过训练LIMA来衡量这两个阶段的相对重要性，LIMA是一个65B参数的LLaMa语言模型，在没有任何强化学习或人类偏好建模的情况下，只对1000个精心策划的prompts和responses进行了标准监督损失的微调。LIMA表现出了非常强大的性能，只从训练数据中的少数几个例子中学习到了特定的响应格式，包括一些复杂的查询。

2023-10-18 21:32:39 615

原创【论文笔记】A Survey on In-context Learning

随着大模型能力的增强，上下文学习（In-context learning, ICL）已成为自然语言处理的新范式，其中LLM仅仅基于添加了几个示例的上下文进行预测。探索ICL来评估和推断LLM的能力已经成为一种新的趋势。本文旨在调查和总结ICL的进展和挑战。首先给出了ICL 的正式定义，并阐明了它和相关研究的相关性。然后，组织并讨论了先进的技术，包括训练策略，演示设计策略以及相关分析。最后，讨论了ICL面临的挑战，并为进一步研究提供了潜在的方向。

2023-10-08 22:48:24 1779

原创【论文笔记】BioGPT: generative pre-trained transformer for biomedical text generation and mining

预训练的语言模型在生物医学领域引起了越来越多的关注，这是受其在一般自然语言领域的巨大成功的启发。在自然语言领域的预训练语言模型的两个主要分支，即BERT（及其变体）和GPT（及其变体）中，第一个分支已经在生物医学领域得到了广泛的研究，如BioBERT和PubMedBERT。虽然它们在各种鉴别性的下游生物医学任务上取得了巨大的成功，但由于缺乏生成能力，限制了它们的应用范围。文章提出了BioGPT，一个针对特定领域的生成性Transformer语言模型，在大规模生物医学文献上进行了预训练。

2023-09-24 22:25:59 730

原创 NER命名实体识别文章或文献整理

收录命名实体识别NER的文章、文献、综述、解读等

2023-09-24 17:26:26 213

原创《深度学习进阶：自然语言处理》natural language processing 的 jupyter notebook代码及笔记

《深度学习进阶：自然语言处理》jupyter notebook的ipynb代码，并加入了笔记，更利于学习。仓库地址：https://gitee.com/taurus_horse/nlp-from-scratch。源代码可在“随书下载”处获取：https://www.ituring.com.cn/book/2678。

2023-02-14 16:29:15 747

原创 colab防止掉线断连及清除方法

colab防止掉线断连及清除方法function ConnectButton(){ console.log("Connect pushed"); document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() }setInterval(ConnectButton,60000);

2023-02-12 13:46:56 12696 4

原创 colab使用cupy.scatter_add报错

在google colab中使用到了cupy.scatter_add，报错AttributeError: module ‘cupy’ has no attribute ‘scatter_add’。解决办法：更换为cupyx.scatter_add

2023-02-12 13:29:52 451

原创 6.2 权重的初始值【深度学习入门：基于python的理论与实现（第六章与学习相关的技巧）】

6.2 权重的初始值【深度学习入门：基于python的理论与实现（第六章与学习相关的技巧）】

2023-02-04 21:24:18 282

原创 jupyter中复制粘贴形式插入的图片(attachment)导出md时不显示

jupyter导出为md后截图图片无法显示(attachment)，编写了python程序，利用picgo上传服务转换为网络图片

2023-02-02 23:05:11 2569 1

原创 typora+picgo剪贴板图片上传卡死(一直显示uploads)

Typora使用Picgo上传剪贴板中的图片（截图）时经常上传卡死，一直是uploads的状态。通过右下角托盘打开picgo时，发现picgo也卡死。任务管理器中picgo进程内存占用率高。最后在Picgo设置中打开”使用内置剪贴板上传“后解决问题。Error: EPIPE: broken pipe, write [PicGo ERROR]

2023-02-01 21:09:37 950

原创已有腾讯云cos图床，CSDN 转存失败,源站可能有防盗链机制

腾讯云cos图像csdn转存失败，源站可能有防盗链机制

2023-02-01 20:37:01 478 1

原创 jupyter拆分类在多个单元格

（jupyter根据类函数，将类拆分在多个单元格）在使用jupyter notebook以及jupyter lab的时候，遇到了一个需求：编写类的时候，如果希望对类的不同函数进行相应的Markdown格式的注解，只能将整个类写在一个单元格内，然后在上方单元格或者下方单元格进行注释。

2023-01-31 19:56:52 762 1

原创基于Qt的扫雷游戏(c++)

资源链接游戏名称：minessweeper利用qt实现可视化。本程序灵感来源于windows系统经典扫雷游戏，力求还原游戏体验。但因本人编程水平有限，仍有不足之处。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2ZiCwPm9-1627265532774)(file:///C:/Users/ADMINI~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg)]游戏区包括雷区、地雷计数器（位于左上角，记录剩余地雷

2021-07-26 10:12:43 1810

原创看Django和DRF的源码+用户认证

怎样看Django和DRF的源码CBV原理class OrderView(View): def get(self, request, *args, **kwargs): ret = { 'code': 1000, 'msg': 'xxx' } return HttpResponse(json.dumps(ret), status=201) def post(self, request, *

2021-07-26 10:03:58 120

原创 golang学习——接口类型推断

接口类型推断什么是接口类型推断如果一个类型实现了接口，那么接口类型变量里面就可以存储该类型的数据，把实现接口功能的对象插入到接口中那么如何反向直到接口类型变量里面实际保存的是哪一种类型的对象呢？这就是接口类型推断两种方法comma-ok断言switch测试类型断言就是将接口类型的值(x)，装换成类型(T)。格式为：x.(T)v:=x.(T)v,ok:=x.(T)T可以是非接口类型，如果想断言合法，则T应该实现x的接口 package main

2021-07-26 09:44:08 235

原创 golang学习——分工协作及功能复用

分工协作及功能复用1. 如何实现分工模块化编程不仅可以提高代码结构的清晰度，还可以促进团队协作水平，提高开发效率建立项目建立项目文件夹，明确项目文件存放的具体位置在GOPATH下的src文件夹下面建立一个项目文件夹,如等差数列根据分工，为每个开发者建立各自的工作目录，分别为main、input、sum、output每个开发者右键各自的工作目录\选择New File 建立自己的go文件,分别为 main.go、input.go、sum.go和output.go其他工作目

2021-07-26 09:43:16 182

原创 golang学习——反射

反射什么是反射可以理解为逆映射正向类型、值 —>对象/变量反向对象/变量 —>类型、值反射(Reflection)是获取程序运行时类型信息的方式程序员可以利用这些类型信息进行一些更加灵活的处理，如：让静态语言具备更加多样的运行时动态特征让程序具备自省能力，使得interface{}接口对象的灵活性有更大的发挥余地go语言提供了名为reflect的反射包，可以：获取原对象的Type和Value值修改原对象的Value值动态调用原对象的方法…

2021-07-26 09:42:22 350

原创 golang学习——go命令

go run gofiles… 编译列出的文件，并生成可执行文件然后执行。注意只能用于main包，否则会出现go run: cannot run non-main package的错误。go install 编译包，分别生成可执行文件和依赖包文件到%GOPATH%/bin，%GOPATH%/pkggo build 编译包，如果是main包则在当前目录生成可执行文件，其他包不会生成.a文件；go run是不需要设置GOPATH的，但go build和go install必须设置。g..

2021-07-26 09:41:16 123

转载 sql学习笔记

文章目录学习笔记（针对MYSQL）SQL数据库操作SQL语句基本类型SQL约束SQL单表查询操作SQL多表操作：SQL返回结果操作：SQL聚合函数学习笔记（针对MYSQL） !!! SQL对大小写不敏感 SQL数据库操作类型含义语法create d...

2021-05-28 12:01:09 128

原创没有microsoft store(微软商店)或下载过慢解决方法

本人电脑系统没有microsoft store，而且网页版获取很慢。可利用下面网站进行下载安装，速度快于直接网页版获取。网站使用方法如下：比如想下载windows teminal，在微软商店网页版中搜索，获取到网页链接，https://www.microsoft.com/zh-cn/p/windows-terminal/9n0dx20hk701?activetab=pivot:overviewtab将？前面的地址即(https://www.microsoft.com/zh-cn/p/windo

2021-05-18 23:03:08 3545 1

原创如何进行并发编程

如何进行并发编程1.并发并行与并发并发：多个任务作用在一个cpu，在一个时间点上，只有一个任务在执行并行：多个任务作用在多个cpu，在一个时间点上，多个任务在同时执行进程就是程序在操作系统的一次执行过程，是系统进行资源分配和调度的基本单位线程是进程的一个执行实例，是程序执行的最小单元，它是比进程更小的能独立运行的基本单位线程（轻量级进程）的最大优势是可以充分利用单台服务器的多核cpu计算资源，并发的处理任务。随人使用进程能够达到同样的目的，但使用了线程，速度可以提高一个数量

2021-05-04 18:20:16 543

原创 go语言语法入门

go语言语法入门1.源文件源码采用UTF-8编码,对Unicode支持良好在文件头部用package声明所属包的名称左大括号{必须和函数声明或者控制结构放在同一行go语句最后的分号可省，出现分号的典型位置是for循环或类似之处2.变量声明单个变量var name type是声明单个变量的语法如果变量未被赋值，Go 会自动地将其初始化，赋值该变量类型的零值（Zero Value）这是对C语言的优化如C语言int* a,b;a是指针，b不是，如果两者都是指针，必须要在b前重复一

2021-05-04 18:15:50 233

原创小程序真机调试出错“request:fail -102:net::ERR_CONNECTION_REFUSED“

在小程序真机调试的时候，报了以下错误"request:fail -102:net::ERR_CONNECTION_REFUSED"在网上了百度了一番后，发现解决方案有勾选“不校验合法域名……”勾选不使用代理然而这两个配置我都是勾选上的。后来发现有人说需要将手机与电脑在同一局域网，同时将小程序访问的后台接口地址中的localhost改为ipv4的地址然而这样却显示了新的错误经过一番思索，突然想到，虽然改掉了前端的地址，但是后端的地址还是localhost啊。于是我到了后端

2021-04-08 21:38:51 10827 3

原创 Qt学习：常用操作备忘

本文为Qt新手学习过程中经验，记录下以作备忘。如果想移动QT的项目所在位置，即放到新的文件夹下，但是运行生成的的build-desktop（构建文件夹，可删除）仍然位于原路径下，如何解决？关掉项目，删除xxx.pro.user文件，然后打开项目，重新编译，即可如何更改项目的名称？将*.pro文件重命名删除*.pro.user文件用qt打开重命名后的项目在.pro文件中将TARGET =后面改为要更改的名称运行即可每次运行完生成的build文件夹默认和项目文件夹位于同一级目

2020-05-25 22:21:25 537

原创 c++学习：字符串string

本文用来记录学习string过程中的收获，会不时更新。string是c++标准库类型，表示可变长的字符序列，C语言中没有此类型。1.头文件使用string类型必须包含string头文件。#include <string>注意和cstring区分。cstring可以理解为string.h的升级版，它们包含原来C语言中的strcpy等函数。2.定义和初始化string对象常用的方法string s1;//默认是一个空字符串""string s2=s1;//s2是s1的副本str

2020-05-17 17:34:54 202

原创 c++学习：产生随机数的方法

方法一：使用"time(NULL)"函数time()函数的用途是返回一个值，即格林尼治时间1970年1月1日到当前时刻的时长，时长单位是秒。需要包含头文件<ctime>#include <iostream>#include <string>#include <ctime>using namespace std;int rand_number(){ return time(NULL);}int main(){ cout&lt

2020-05-15 23:21:09 1420

jinniulema的博客