- 博客(22)
- 收藏
- 关注
RSS订阅原创 Prompt的科学范式（上篇）
相信很多人在用LLM做下游任务时，能够感受到prompt不同写法的重要性。同样的一段文本，不同的 prompt写法可能会得到完全不同的结果。因此，了解和掌握prompt写法是非常必要的。
2023-09-27 10:18:43
778
原创 bert-ini:一种基于bert的实体对齐交互模型
本次分享一项来自IJCAI-20的实体对齐工作，该工作提出了一种不同于以往的采用图结构信息进行实体对齐的技术方案，该方案取得了当时的最好效果；不仅如此，模型本身的对齐效率在该项工作中也被考虑，实际工作中非常具备借鉴意义。
2022-04-04 22:19:02
2613
1
原创 关系抽取实验记录
1 数据集统计信息训练集：最大句子长度： 1020 ;最小句子长度： 0 ;平均句子长度： 57.87416666666667 book music video 最大句子长度 最小句子长度 平均句子长度 分布图 train_10 7 10 8 160 58 89.8 验证集：最大句子长度： 658 ;最小句子长度： 1 ;平均句子长度： 52.403666666666666 ...
2020-12-16 19:54:13
277
转载 打造 Windows 10 下最强终端方案：WSL + Terminus + Oh My Zsh + The Fuck
前言经历了数天的磨难，终于把 OpenWrt 编译成功了 ，为了表达成功的喜悦放了张图，没想到引起了小伙伴们的骚动。于是我决定写一篇关于我现在在 Windows 10 下使用的终端方案的配置教程。WSL适用于 Linux 的 Windows 子系统（英语：Windows Subsystem for Linux，简称 WSL）是一个为在 Windows 10 和 Windows Server 2019 上能够原生运行 Linux 二进制可执行文件（ELF 格式）的兼容层。.
2020-12-12 19:00:46
5319
1
原创 实体识别（基于pytorch深度学习框架实现）
1 说明本项目基于pytorch深度学习框架实现各NLP任务，不断完善中，项目代码：https://github.com/GuocaiL/Craig-Ai.2 目录├── data 存放项目数据的目录│ ├── ResumeNER 简历实体识别数据│ │ ├── dev_1000_filter.txt 1000验证集│ │ ├── train_20_filter.txt 20训练集│ └── yidu-s4k 依渡云实体识别数据│ ├── dev_100.
2020-12-06 12:13:24
1191
1
原创 实体识别实验记录
一、数据预处理二、初赛训练：CUDA_VISIBLE_DEVICES=0nohuppythontrain_model.py-tr../competition_data/tianchi_yiyao/train.txt-ttner-ebert-sml512-sp../competition_data/tianchi_yiyao-mnv1-lr1e-5-scTrue-me200-pg1>>../competition_data/tianchi_...
2020-11-19 18:40:29
225
原创 解决梯度裁剪和梯度爆炸的方法及原理
1 梯度爆炸和梯度消失产生的原因前向传播产生loss:y为真实标签反向传播：以上述简单网络中为例，梯度爆炸的现象为靠近输入层的权重更新幅度较大，产生的原因为后面层的权重初始化时初始值过大，由于连乘机制导致从后向前传播计算的梯度过大，如上述网络梯度过大是由于初始值过大导致。梯度消失的现象为靠近输入层的权重更新幅度过小，产生的原因为激活函数选取不当，选取的激活函数梯度值过小，由于连乘机制导致从后向前传播计算得到的梯度过小，如上述网络梯度过小是由于过小导致。总之，梯度消失和
2020-11-19 00:53:29
608
原创 混淆矩阵、召回率、精确率、准确率、宏平均F1和微平均F1
1 混淆矩阵 预测为真 预测为假 类别为真 正确预测成真（True Positive，TP） 错误预测为假（False Nagetive，FN） 类别为假 错误预测为真（False Positive，FP） 正确预测为假（True Nagetive，TN） ２准确率、精确率、召回率、F1 score准确率:模型预测正确的个数所占总样本的比例精确率:模型预测为真的样本中,真正的正样本所占的比例召回率:样本中预测的类别和应该预测成该类别所.
2020-11-15 12:56:25
1895
原创 字节自然语言处理算法校招面经整理（二）
面经来源：https://zhuanlan.zhihu.com/p/87147047一面请移步：https://blog.csdn.net/qq_33331424/article/details/109397587介绍一下CRF 介绍交叉熵loss公式 说一下BERT与ELMO的区别 pytorch的代码流程（我是这样回答的：预处理数据/词表-写好模型-定义损失和优化器-训练-测试） Dropout的原理 sgd与adam的区别 L1 L2正则化 编程题：最快速度最小空间求一个数组..
2020-11-11 16:40:48
485
原创 字节自然语言处理算法校招面经整理（一）
面经来源：https://zhuanlan.zhihu.com/p/87147047一面双向 BERT 与BiLSTM 有什么不同？BERT的transform结构来源于下面的公式： ...
2020-10-31 11:08:35
749
原创 各个开放实体识别数据集信息统计
1、CLUENER2020：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2001.04351数据说明实体类型 说明 地址（address） **省**市**区**街**号，**路，**街道，**村等（如单独出现也标记）。地址是标记尽量完全的, 标记到最细。 书名（book） 小说，杂志，习题集，教科书，教辅，地图册，食谱，书店里能买到的一类书籍，包含电子书。 公司（company） **公司，**集团
2020-10-21 12:15:11
3570
原创 win10+anaconda3+python3.6+tensorflow1.11(gpu)+bert从零搭建指南
一、安装anconda3+python3.6+tensorflow1.111、下载：https://repo.anaconda.com/archive/Anaconda3-2019.03-Windows-x86_64.exe2、下载完成后双击安装，有个添加环境变量的选项勾选，选择安装默认版本的python不勾选3、运行以下命令运行：python当前版本为python3.7版本运行：conda create --name tensorflowgpu python=3.6运.
2020-10-20 11:31:53
468
原创 colab使用笔记
使用nvidia-smi命令查看GPU不断更新，如需转载请标注来源python3环境下：!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smiimport subprocessprint(subprocess.getoutput('nvidia-smi'))python2环境下：!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smiimport commandsprint(commands.getoutput
2020-10-14 19:13:14
388
转载 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果，这个第二关键。客观的说，把Bert当做最近两年NLP重大进展的集大成者更符合事实。本文的主
2020-07-06 23:56:04
247
原创 linux(centos)中文乱码解决方案
1 找到配置所在路径2 添加字体文件(以simhei为例)将simhei.ttf字体放进查找的/home/liguocai/.conda/envs/python36/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf文件夹； simhei.ttf字体可在中华字体网下载3 修改配置文件打开matplotlibrc文件，找到如下两项，去掉前面的#，并在font.sans-serif冒号后面加上SimHei，保持退出。4
2020-05-27 16:37:40
501
原创 论文解读：半监督双向语言模型的序列标记
Semi-supervisedsequence tagging with bidirectional language models摘要：这篇ACL 2017的文章来自Allen研究院，在AllenNLP的NLP工具中使用该研究结果集成为英文NER方案；在这篇文章中，作者提出了一般的半监督方式对上下文嵌入的预训练方法，这种方法采用了双向语言模型对NLP系统进行建模，之后作者利用模型在序列标注任务上取得了当时最优的结果。1 介绍得益于预训练模型的简单性和有效性，词向量已经广泛应用到NLP系...
2020-05-11 00:30:28
707
1
原创 解读：Few-shot classification in Named Entity Recognition Task
解读：Few-shot classification in Named Entity Recognition Task1 介绍2 相关工作3 原型网络3.1 模型3.2 适配NER4 小样本实体识别4.1 形式化任务4.2 基本模型4.3 实验5 实验设置5.1 数据集5.2 数据准备：模拟几次实验5.3 实验设计5.4 模型参数6 结果6.1 模型的性能6.2 BIO标签的影响7 结论摘要：对...
2020-05-08 11:23:09
2249
原创 anaconda离线安装gensim
anaconda离线安装gensim一、安装anaconda二、离线安装gensim二、资源下载链接：一、安装anaconda二、离线安装gensim1、打开anaconda prompt2、进入anaconda目录下，依次执行下列命令（python版本为3.7.3，对应文件已经下载到该目录下）：pip install botocore-1.12.142-py2.py3-none-a...
2019-05-05 12:36:27
1798
2
原创 Activity的生命周期
一、acrivity的生命周期（参考：https://developer.android.com/reference/android/app/Activity）系统中activity用栈进行管理。当一个activity启动运行时被放置在栈顶，先前运行activity被压入栈的下一层，并且直到栈顶的activity退出运行时才能被运行。一个activity有下面四个状态：1、 Running（...
2018-11-18 16:08:54
468
原创 Android天气项目更新按钮实现旋转
（IDE为Eclipse）第一步：创建动画文件在res文件夹下新建animator文件夹，新建animator的xml文件点击下一步，界面里填写下图内容文件建好之后填写如下内容：（注意：android:drawable="@drawable/title_update"引用自己要旋转的资源文件）第二步：修改主布局文件在原先的更新ImageView控件处使用Framelayout布...
2018-11-02 16:33:35
297
原创 RDF 1.1 N-Triples
RDF 1.1 N-Triples来自：https://www.w3.org/TR/n-triples/摘要 N-Triples 是为了表示GDF的基于行的纯文本格式。1 介绍本文档定义了N-Triples，这是RDF [RDF11-CONCEPTS]的具体语法。N-Triples是一个易于解析的基于行的Turtle子集。起初，该语法是为了编写RDF测试用例而产生的，随后被证明在R...
2018-10-17 20:31:15
2607
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人