实习生涯
文章平均质量分 57
羊城迷鹿
你相信魔法吗?
展开
-
java运行pytorch模型
后续的java代码不能直接处理IValue类型的数据,因此要将其解析为传统的数组类型。由于模型输出的结果包含多项,因此result是Tuple类型,从中取出一项并返回数组的示例如下。fromBlob函数输入的两个参数分别是展平的一维数组和原始大小,返回大小为batchSize。,这是pytorch在java中的基本运算单位。之后将tensor数据转换为IValue作为forward函数的输入。以nlp任务为例,可以定义一个InputFeatures类,输入为文本,将其解析为以下数据。...原创 2022-08-29 14:02:58 · 2292 阅读 · 6 评论 -
python中那些常见的@装饰器
使用场景:所在的 class 继承 abc.ABC,这个 class 就变成了抽象类, 不能被直接实例化, 要想使用抽象类, 必须继承该类并实现该类的所有抽象方法。原创 2022-08-22 14:29:25 · 541 阅读 · 1 评论 -
Spring Boot+dubbo概念及常用java注解
Spring是java里很常用的一个框架,SpringBoot可以看做是对它的一种简化,把xml配置过程省略。让开发更加高效和自动化。dubbo的作用,用一句最简单的话来概括把方法暴露给远程的服务。用于自动扫描项目中的组件。,因为其包括所有其他注释。用idea测试代码时,点击。其应用程序入口的起点为。其简单的定义流程如下。...............原创 2022-07-15 10:29:15 · 632 阅读 · 0 评论 -
A Contrastive Learning Approach for Hierarchy Text Classification源码阅读
A Contrastive Learning Approach for Hierarchy Text Classification原创 2022-08-15 18:19:40 · 289 阅读 · 0 评论 -
python的json文件读取将字符串和数组混淆问题
只有第一个文件读取成了字符串,其他都读取成数字。第一个json文件和其他json文件的唯一区别是下标从0开头。正如在https://cloud.tencent.com/developer/ask/sof/1084654中所说,整数0不是有效的数字键。将连续的数组划分为多个json文件保存下标和值,然后再依次读取,发现有的将下标读取成了数字,有的将下标读取成了字符串。...原创 2022-08-11 10:39:26 · 304 阅读 · 0 评论 -
bert模型的参数量和时间复杂度分析
这里主要比较了bert-base和albert-tiny。前者窄而深,后者宽而浅。需要注意的一点是,albert是对bert瘦了身,但只省了空间,没有省时间。因为虽然不同层共享了参数,但模型还是要经过这么多层算一遍。假设词表大小为V,句子长度为S,词向量维度为H,层数为L,自注意力头数为A,对于ALBert,其嵌入分解维度为E。模型的下游任务为多分类,标签数为K。............原创 2022-08-02 17:01:28 · 2118 阅读 · 0 评论 -
vscode如何debug库函数以及如何带参数调试
想研究一下transformer库的细节,但是在库中打断点没效果,运行外部程序的时候并不会显示库的变量首先自动生成launch.json文件,然后把最后一行的true改成false原创 2022-07-08 16:35:14 · 1801 阅读 · 0 评论 -
如何解决Error while saving file: Unable to open database file问题
前几天一直在很正常地跑jupyter notebook,今天却突然出了点小状况,新建文件的时候报了的错误。一般来说,这种突然出现的问题跟磁盘空间不足有关,于是我用查看了磁盘空间,很奇怪的是空间完全够用。于是我把jupyter notebook重启之后又登陆一遍,依然是这个问题。但有一点很奇怪,那就是我新建txt或者文件夹完全没问题,但就是不能新建python文件。jupyter下新建python调用的是ipython命令,于是我在命令行下使用ipython命令,果然出现了类似的报错,只不过更加详细:。我打开原创 2022-07-07 11:23:09 · 2484 阅读 · 0 评论 -
Transformers 源码阅读之BertTokenizerFast分词模型
从bert-base-chinese下载预训练语言模型及其他词表,由于使用的是pytorch,因此下载即可。如果要使用英文模型,就下载能区分大小写的或者是不能区分大小写的,对于uncased,初始化时必须要把lower设为true。在深入模型细节之前,我们先用一个简单的例子看一看BertTokenizerFast究竟是用来干什么的,需要什么样的输入,又会给出怎样的输出。...........................原创 2022-07-01 17:00:31 · 6780 阅读 · 3 评论 -
python转写java踩坑记录
python列表的pop函数是弹出最后一个元素,java linkedlist的pop则是弹出第一个,要用removelast才好java用于文本处理的正则表达式原创 2022-06-07 16:13:34 · 290 阅读 · 0 评论 -
如何建立内网隔离机和服务器的远程连接
准备工作在隔离机本地安装U盘中自带的vscode安装包和VSIX格式的插件,在服务器端用tar xf vscode-server-linuxXXX.tar.gz安装此时cd ~再ls -la命令,应该就可以看到.vscode-server这个文件夹尝试连接此时隔离机vscode的左侧出现了远程资源管理器字样,点击SSH Targets右边的Config标志,然后在config文件里修改,Hostname和User分别对应ip地址和用户名。双击连接,此时毫无疑问是失败的,但这是需要走的一步。..原创 2022-05-24 11:14:54 · 548 阅读 · 0 评论