自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(501)
  • 收藏
  • 关注

原创 Transformer Encoder-Decoer 结构回顾

本文基于对的理解,再重新回顾一下有关于auto-encoder、auto-regressive等常见概念,以及Transformer-based model的结构。

2022-12-02 12:12:12 6124 2

原创 overleaf使用指南以及最基本LaTeX语法回顾

本篇接上一篇,"LaTeX新手半小时速成手册(不速成你打我 "算是latex使用的一些拓展,连带介绍一下overleafoverleaf是一个非常方便的在线LaTeX编辑器:https://www.overleaf.com/begin新建账户绑定邮箱之后我们就可以进去新建一个project:如果你是为了写论文之类的那么可以upload一些会议的template如果是想要写笔记之类的,那么可以选择Blank或者example template一个非常重要的根本性概念需要告诉大家:LaTeX

2021-03-04 21:48:38 47405 11

原创 LaTeX新手半小时速成手册(不速成你打我

期末大作业LaTeX排版,一个学期没听课,学了b站半小时完成大作业。写此速成手册以作备忘。b站链接:小风寒呐1. primary一篇论文最主要的构成,以中文为例1.1 整体框架1.1.1 声明类相当于在说:“我想写一篇文章”\documentclass[UTF8]{ctexart}文章编码:UF8文章类型:中文1.1.2 导入包相当于在说:“我要开始写文章”\usepackage{mathtools,wallpaper}\usepackage{t1enc}\usepackag

2020-05-26 22:24:32 58067 16

原创 最火的几个全网络预训练模型梳理整合(BERT、ALBERT、XLNet详解)

过去两年可谓是NLP领域的高光年,自从18年BERT提出,狂刷了11项下游任务的记录之后,全网络预训练模型开启了NLP嵌入表示的新时代,真正意义上实现了自然语言处理的迁移学习。作为一个刚入坑没多久的白中白,真心感叹自己接触太晚,但是又愁于感天动地的英文阅读能力,再加上原论文有些语句的描述实在是晦涩难懂,在翻阅大量博客和视屏之后,总算花了一整天时间,把过去几年最火的几个模型原理大致梳理明白了。借此写一篇博客,虽然许多内容参考了其他blog,但也是经过自己消化理解,按照自己的思路罗列的。...

2020-03-15 20:11:49 12058 9

原创 Encoder-decoder 与Decoder-only 模型之间的使用区别

总而言之,个人认为 huggingface目前的模型接口,对于decoder-only模型的使用并不是很友好。在使用过程中需要注意很多细节,不然会遇到许多问题,而这些问题,encoder-decoder模型是完全不会有的。

2024-02-21 11:47:30 1655 2

转载 有关于RLHF

huggingface 官方介绍RLHF的博客:https://huggingface.co/blog/rlhf

2024-01-04 05:58:48 163

原创 Computational Linguistics (CL) 期刊 latex 模板

CL并未直接提供latex模板的现成zip文件,需要你自己把他们的source file,一个个下载下来。,所以切记把tex version切换一下。需要注意,CL这个模板很久没有维护了,目前。

2023-12-07 09:32:38 278

原创 linux更换常用软件的默认缓存路径(.conda, .huggingface等)

在使用linux的过程中,我们往往会使用软件安装很多packages,其中的大多数软件(例如conda)会把当前安装的packages缓存起来,以加速之后的相同package的安装。而很多软件的默认缓存路径是user自己的home路径。下面罗列几个常见的软件的缓存路径更改方法。

2023-10-13 02:28:23 1849

原创 python 下载google drive(谷歌云盘)数据

package就行。

2023-09-11 02:25:25 883

原创 下载并处理【T0】指令微调数据集--手把手教程

手把手指导如何下载处理T0数据集

2023-07-05 14:56:50 1170

原创 Transformer warning: [encoder.embed_tokens.weight] is newly initialized

很多人在看到这个warning的时候会担心,embedding随机初始化,会不会影响到模型性能。参数,顾名思义,就是encoder的embedding weight。如果想要没有这个报错,就升级transformer到最新版本。经过笔者多方查证,这个。

2023-05-15 12:32:50 883 1

原创 【反向工程】从科研文献表格,反向还原数据

很多时候会遇到这样一个问题:有一些文章在chart中汇报了实验结果,但是并没有标注上具体的实验数值;如果逍遥获得具体数值,就得用尺子去量。这里推荐一个网站,能够帮助你估计一张chart中,每个数据点对应的横纵坐标;在某些情况下很有用处(至少不用尺子和肉眼去估计了)。

2023-05-02 16:54:49 286

原创 【Latex】有关于Latex tabularray的一些很不错的教程、模板

除了大家熟知的tabulartabularray。笔者这几天初步体验了一下tabularray,个人觉得tabularray明显比tabular的使用体感好不少。不管是从排版的效果、便捷程度,还是从语法上,tabular的语法真的不敢恭维,有点反人类直觉,而且有些排版操作很繁琐,极度劝退初学者唯一的缺点可能就是tabularray的(需要Tex Live 2021之后),所以像arxiv这种用老版本tex编译器的地方就不支持tabularray。另外就是,tabularray编译出来的表格,

2023-05-01 15:59:59 3080

原创 【Latex】如何在表格中使用footnote

Latex table cell中是不支持\footnote的。如果你在table中用\footnote,那么要么这个脚注根本不显示出来,要么就会出现计数出错等问题。总之非常麻烦。

2023-05-01 15:35:55 2731

原创 【报错】arXiv上传文章出现XXX.sty not found

笔者在overleaf上编译文章一切正常,但上传文章到arxiv时出现类似于如下报错:一般情况下观察arxiv的编译log,不通过的原因,很多时候都是由于某一行导入了啥package,引起的报错;但是如果没有任何一个具体的报错,只是告诉你,那么很可能是编译器版本的问题。如上述这个报错,主要是由于,导致tabularray根本无法在内置环境中找到导致的。截止到目前,

2023-05-01 15:16:24 1494 1

原创 【latex】字体、字号汇总

搬运工

2023-04-29 16:28:48 187

原创 【报错】解决读取json时,出现 NameError: name ‘false‘ is not defined

以原因是因为直接以为本流读取json,导致'false''null'被识别为了为定义的python变量。

2023-04-26 14:17:43 1234

原创 上传、下载huggingface仓库文件(模型、数据等)

想要上传文件,例如模型权重的话,首先得找到自己huggingface hub的。最后用如下命令,把相关文件(模型、tokenizer)上传就行

2023-04-24 07:50:15 6372 3

原创 LLaMA模型文件 (搬运工)

如果要使用huggingface transformer训练LLaMA,需要使用额外的转换脚本(具体详见huggingface官网。建议提前确认自己的huggingface版本。或者使用上述已经被转换好的。但是申请的审批时间一般都很长。才能获得官方模型权重。

2023-04-21 14:34:12 5123 2

原创 URL 转为QR code(二维码)

推荐一个良心的网站,能够免费地将url、text编码为二维码,而且还能设计logo、颜色等。

2023-04-21 11:05:25 5025

转载 深度学习随机种子推荐

42, 3407, 114514别问为什么【🐶】

2023-04-12 03:44:23 1792 2

原创 OpenAI API总结

这里简单总结了一下OpenAI的一些热门文本模型的API名称,及其价格、输入长度限制等重要信息,以便于开发者快速参考。OpenAI 的api 名称,大多很抽象,很多时候我们想要调用模型,却又不知道具体的api的名字。注意:由于OpenAI的模型更新速度非常快,同一个模型的API的名称可能在不同时间段都会有所不同。因此,笔者建立了一个Github仓库,

2023-04-08 14:40:59 656

原创 copilot command line

github账户满足两个条件:1. 有权限访问copilot;2. 申请过copilot cml,并通过。笔者有访问copilot的权限,可奈何仍旧在copilot cml的waiting list。copilot 支持command line了,linux、macos都可以安装。等之后有了访问权限,再来测评!

2023-04-01 14:11:57 200

原创 【报错】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasLtMatmul( ltHandle,

有可能你的GPU报错和我的一样,但是cpu报错不同,也就是实际导致错误的原因是不一样的。,超过了模型的embedding最大尺寸,可以在tokenizer设置。由于GPU上的报错一般都比较抽象。

2023-04-01 13:46:26 3947

翻译 【报错】 openai.error.RateLimitError: Rate limit reached for default-text-davinci-003 in organization

原因就是调用API的频率太过于频繁。例如,free trial的用户,每分钟限制的request的上限是20次,15万tokens。超过这部分,访问就会受拒。

2023-04-01 07:07:19 7349

原创 python从另一个路径导入自定义文件

假设我们在一个文件夹下自定义了一个文件函数,然后在位于另一个文件夹的文件中,我们想想要import这个函数。例如,我们想要在file2.py中倒入file1.py。

2023-03-31 09:27:28 308

转载 LDA主题挖掘以及可视化

用LDA挖掘文本语料中的主题词,并进行文本聚类、词云可视化。

2023-03-29 13:00:39 196

原创 单标签分类 vs.多标签分类

我们一般说的分类任务,多指单标签多分类。

2023-03-24 08:36:49 942 1

转载 测试设备上传下载速度

linux上进行简单的上传下载测速。

2023-03-22 00:54:32 203

转载 markdown图片插入通用语法

【代码】markdown图片插入通用语法。

2023-03-21 12:09:02 150

原创 【latex】如何在latex局部使用中文字符

但是这样全局设置的话会破坏很多latex模板格式,如果我们希望仅仅在局部启用中文字符编译的话可以用。如果想要用中文字符,得换编译器,例如ctexart就支持中文字符编译。

2023-03-19 04:00:01 882

原创 Markdown表格制作

markdown本身很简单,简单的单行单列表格也不例外。但是遇到一些表复杂的需求,例如多行多列单元格(合并单元格),markdown实现起来就非常困难。受限于markdown本身的语法,我们只能使用html嵌入来进行灵活复杂的表格设计。这里提供一个很好的网站:https://html-online.com/editor/,能够将excel表格转为html代码。

2023-03-15 14:02:05 2103

原创 阻止vscode mardown自动生成目录

vscode编辑markdown会出现一个奇怪的问题:若是文件中有目录,一旦保存markdown,任何文件中的标题都会被汇入目录。那么这个标题就不会被自动归入目录。

2023-03-12 19:31:28 281

翻译 解决github README 无法显示下划线

【代码】解决github README 无法显示下划线。

2023-03-12 18:37:12 337

原创 有关于shields.io的badge的使用

但如果是比较复杂的动态图标,类似于网页访问量,则需要借助一些其他工具,query服务器,返回目标信息。类似于使用上述介绍的。如果是比较简单的动态图标,类似于。

2023-03-10 16:04:51 710

原创 【latex报错】“running in backwards compatibility mode“

编译latex的时候出现如下warning:!warning虽然不影响文件编译,但是这个“compatibility mode”的问题。

2023-03-03 17:34:09 718

转载 有关于meta learning

一篇很好的博客:Meta-Learning

2023-03-01 23:16:13 112

原创 有关于qsub传参运行

shell就会接收参数“This is a test”,并在屏幕上打印出来。如果有多个参数,中间用逗号隔开,

2023-02-07 10:13:15 520

原创 cuda安装正常,nvcc -V却没有任何显示

显卡驱动和cuda都正常安装了,跑代码也没有任何问题,但是使用类似于。换成你机器cuda的安装路径,一般而言都是这个路径。这种问题多半是因为shell环境变量没有设置。的命令查看cuda版本却没有任何输出。

2023-02-07 08:56:33 3913

原创 如何白嫖copilot

随后需要验证你的edu邮箱,并上传你的enrollment信息(笔者直接把自己的Student ID card首页上传了一下)。

2023-02-05 09:00:12 18598 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除