- 博客(52)
- 收藏
- 关注
RSS订阅原创 A Context-Dependent Gated Module for Incorporating Symbolic Semantics into Event Coreference Resolut
标题、作者摘要动机：共指消解的输入来自于上游任务的信息抽取的输出，自动抽取的符号特征存在噪声和错误上下文能提供有用信息主要贡献上下文相关的门控模型：自适应地控制从符号特征输入的信息有噪声的训练模型结论在ACE2005和KBP2016数据集上取得不错的结果导言现有方法利用有关触发词的特征信息利用额外的符号特征，如事件类型、属性、论元等利用上下文无关的词嵌入简单地直接拼接特征会引入噪声和误差文中方法包含广泛的符号特征的通用、有效的方法利用上下文相关的门控制模型
2022-03-27 17:02:48
1325
1
原创 Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
1 标题+作者KPT，将知识引入Prompt Verbalizer 处理文本分类任务，清华大学2 摘要在低数据场景下，Prompt-tuning（PT）比fine-tuning（FT）效果好，PT将分类问题转为带掩码的语言模型问题，关键就在于如何构建一个verbalizer实现标签空间到标签词空间的映射。现有的verbalizer大多由人工构建或者基于梯度下降进行搜索得到，不足在于标签词的覆盖范围小、存在巨大的偏差（bias） 。KPT通过引入额外的知识扩展标签词空间，为了更好的利用知识利用PLM重
2022-03-10 00:17:46
4239
原创 大图和时间序列分析工具集Spartan2——Dense subgraph检测实践
大图和时间序列分析工具集—Spartan2先上Github链接！！！：Welcome to spartan21 简介大图和时间序列是用户在线行为（例如社交媒体、购物、应用程序）、金融（例如股票交易、银行转账）、物联网网络（例如传感器读数、智能电网）和医疗保健（例如心电图、 光体积描记、呼吸电感体积描记）等领域的表示。Spartan2 是关于大图和时间序列数据挖掘算法的集合，可用于高效地解决三个基本任务：异常检测、预测和汇总。2 安装（常见问题解决）2.1 Spartan2安装具体请看 Welco
2021-12-17 12:37:56
1443
1
原创 解决error：Microsoft Visual C++ 14.0 is required
Microsoft Visual C++ 14.0 is required解决方法解决方法1：去官网下载Visual Studio（费时）解决方法2：使用Microsoft Visual C++ Build Tools提取码：dfws，链接中包含安装所需的所有文件
2021-12-17 10:56:13
1519
原创 Note of SPARQL
Note of SPARQLQuery LanguageLink: SPAARQL 1.1 Query LanguageNamespaces前缀 Prefix \quad \quad 资源标识符IRIrdf: \quad \quad \quad http://www.w3.org/1999/02/22-rdf-syntax-ns#rdfs:\quad \quad \quad http://www.w3.org/2000/01/rdf-schema#x
2021-08-06 14:35:32
84
原创 论文笔记：Neural Architectures for Named Entity Recognition
Neural Architectures for Named Entity Recognition2.3 CRF Tagging ModelsInput sentence: X=(X1,X2,...,XN)\mathbf{X}=\mathbf{(X_1,X_2,...,X_N)}X=(X1,X2,...,XN)Matrix of scores (output by BiLSTM) : P∈Rn×k\mathbf{P}\in \mathbb{R}^{n\times k}P∈Rn×k-Sc
2021-08-06 14:33:42
136
原创 NLP-Task3:基于注意力机制的文本匹配
NLP-Task3:基于注意力机制的文本匹配输入两个句子进行判断它们之间的关系，用双向注意力机制实现数据集：https://nlp.stanford.edu/projects/snli/参考论文：Enhanced LSTM for Natural Language Inference论文解析：Note知识点注意力机制token2token attention一、任务介绍本次任务主要利用论文中提出的ESIM模型进行文本匹配1.1 数据集训练集共有55万余项，匹配关系共有四种
2021-07-17 12:20:03
630
2
原创 论文笔记：Enhanced LSTM for Natural Language Inference
Enhanced LSTM for Natural Language Inferencehttps://arxiv.org/pdf/1609.06038v3.pdfRelated WorkEnhancing sequential inference models based on chain networksFurther, considering recursive architectures to encode syntactic parsing informationHybrid Neu
2021-07-13 21:47:42
282
原创 NLP-Task2:基于深度学习的文本分类
NLP-Task2:基于深度学习的文本分类用Pytorch重写《任务一》，实现CNN、RNN的文本分类数据集：Classify the sentiment of sentences from the Rotten Tomatoes dataset网盘下载链接见文末（包括GloVe预训练模型参数）链接：https://pan.baidu.com/s/1OU4v-vXdKaNRZmkB6nWH-Q提取码：gcmzword embedding 的方式初始化随机embedding的初始化方
2021-07-09 22:11:15
847
5
原创 NLP-Task1:基于机器学习的文本分类
NLP-Task1:基于机器学习的文本分类实现基于logistic/softmax regression的文本分类数据集：Classify the sentiment of sentences from the Rotten Tomatoes dataset网盘下载链接见文末需要了解的知识点：文本特征表示：Bag-of-Word，N-gram分类器：logistic/softmax regression，损失函数、（随机）梯度下降、特征选择数据集：训练集/验证集/测试集的划分实验
2021-06-24 01:53:22
1348
2
原创 从零开始自己搭建RNN【Pytorch文档】1
从零开始自己搭建RNN【Pytorch文档】1先贴官方教程：https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html 参考Blog：https://blog.csdn.net/iteapoy/article/details/106478462字母级RNN的分类任务数据下载：https://download.pytorch.org/tutorial/data.zip...
2021-06-01 16:01:48
1203
1
原创 Machine Learning —— Unsupervised Learing:Word Embeding
Machine Learning —— Unsupervised Learing:Word EmbedingNLP中词嵌入(Word Embedding)相关的基本知识Introductionword embeding（词嵌入）是Dimension Reducation（降维）算法的典型应用用vector表示word的方法1-of-N Encoding最传统的做法是1-of-N Encoding，假设这个vector的维数就等于世界上所有单词的数目，那么对每一个单词来说，只需要某一维为1，其
2021-05-25 21:32:28
140
1
原创 Machine Learning —— Semi-supervised Learning
Machine Learning —— Semi-supervised LearningIntroductionSupervised Learning：(xr,y^r)r=1R(x^r,\hat{y}^r)^R_{r=1}(xr,y^r)r=1Rtraining data中，每一组data都有input 和对应的outputSemi-supervised Learning：(xr,y^r)r=1R+(xu)u=RR+U{(x^r,\hat{y}^r)^R_{r=1}+({x^u})^{R+U
2021-05-25 19:57:15
284
1
原创 Machine Learning —— Recurrent Neural Network
Machine Learning —— Recurrent Neural NetworkRNN，或者说最常用的LSTM，一般用于记住之前的状态，以供后续神经网络的判断，它由input gate、forget gate、output gate和cell memory组成，每个LSTM本质上就是一个neuron，特殊之处在于有4个输入：zzz和三门控制信号ziz_izi、zfz_fzf、zoz_ozo，每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成Introd
2021-05-24 21:04:35
222
原创 Machine Learining（李宏毅2020） —— hw03
Machine Learining —— hw03：CNN作业说明通过Convolutional Neural Networks对食物进行分类数据集中的食物图采集于网上，总共11类：：Bread,Dairy product,Dessert,Egg,Fried food,Meat,Noodles/Pasta,Rice,Seafood,Soup,Vegetable/Fruit用一个数字表示一个类数据说明数据规模：Training set：9866张Validation set：3430张
2021-05-24 18:55:39
531
原创 Machine Learning —— pytorch入门
Machine Learning —— pytorch入门torch简单操作1、张量生成from __future__ import print_functionimport torchx1 = torch.empty(5, 3)#生成一个未初始化的5*3的张量，数值随机print(x1)x2 = torch.rand(5, 3)#生成一个均匀分布的张量，元素从0-1print(x2)#其他随机张量生成函数：torch.randn()标准正态分布、torch.normal()离散正
2021-05-22 20:03:00
306
原创 Machine Learning —— Convolutional Neural Network
Machine Learning —— Convolutional Neural NetworkWhy CNN for Image？CNN V.s. DNN我们当然可以用一般的neural network来做影像处理，不一定要用CNN，比如说，你想要做图像的分类，那你就去train一个neural network，它的input是一张图片，你就用里面的pixel来表示这张图片，也就是一个很长很长的vector，而output则是由图像类别组成的vector，假设你有1000个类别，那output就有1
2021-05-18 17:39:41
218
原创 Machine Learning —— Tips of DNN
Machine Learning —— Tips of DNN本文会顺带解决CNN部分的两个问题max pooling架构中用到的max无法微分，那在gradient descent的时候该如何处理L1 的Regression到底是什么针对training set和testing set上的performance分别提出针对性的解决方法在training set上准确率不高：– new activation function：ReLU、Maxout– adaptive learning
2021-05-13 23:17:03
212
原创 Machine Learning —— Backpropagation
Machine Learning —— BackpropagationGradient Descentgradient descent的使用方法，跟前面讲到的linear Regression或者是Logistic Regression是一模一样的，唯一的区别就在于当它用在neural network的时候，neural network的parameter θ∗=w1,w2,...,b1,b2,..\theta^*=w_1,w_2,...,b_1,b_2,..θ∗=w1,w2,...,b1,b2
2021-05-13 17:21:35
142
原创 Machine Learning —— Why Deep?
Machine Learning —— Why Deep?Deep is better？有人就认为，deep learning的表现这么好，完全就是用大量的data去硬train一个非常复杂的model而得到的结果，既然大量的data加上参数足够多的model就可以实现这个效果，那为什么一定要用DNN呢？我们完全可以用一层的shallow neural network来做同样的事情，理论上只要这一层里neuron的数目足够多，有足够的参数，就可以表示出任何函数；那DNN中deep的意义何在呢？Fat
2021-05-11 18:59:48
102
1
原创 Machine Learning —— Deep Learning
Machine Learning —— Deep LearningUps and downs of Deep LearningThree Steps for Deep LearningNeural Networkconcept把多个Logistic Regression前后connect在一起，把一个Logistic Regression称为neuron，整个称为neural networkneural network里的每一个Logistic Regression都有自己的weight和b
2021-05-11 17:05:52
186
1
原创 Machine Learining（李宏毅2020） —— hw02
Machine Learining —— hw02：Logistic1、hw02作业理解作业中共给了6份资料：输出结果格式、测试集（不带标签）、训练集、X_train、Y_train、X_test。观察可知后三个文件是已事先把数据整理成csv格式的数据，于是训练数据共54256个，测试大约20000个、参数510个二分类问题（Binary Classification）模型输入510维，输出一个布尔值表示“是”或“否”——使用Logistic Regression model2、数据预处
2021-05-09 17:54:59
645
原创 python中[-1]、[:-1]、[::-1]、[2::-1]
python中[-1]、[:-1]、[::-1]、[2::-1]print(a[-1]) ###取最后一个元素print(a[:-1]) ### 除了最后一个取全部print(a[::-1]) ### 取从后向前（相反）的元素print(a[2::-1]) ### 取从下标为2的元素翻转读取
2021-05-09 16:27:44
194
原创 np.mean()与np.std()函数用法
np.mean()与np.std()函数用法np.mean()np.mean(X) 矩阵中所有元素求均值np.mean(X,0) 压缩行，对各列求均值np.mean(X,1) 压缩列，对各行求均值
2021-05-07 19:51:56
1797
1
原创 python的reshape()、shape()函数用法
python的reshape()函数用法numpy中reshape函数的三种常见相关用法1、reshape(1,-1)转化成1行；2、reshape(2,-1)转换成两行；3、reshape(-1,1)转换成1列；4、reshape(-1,2)转化成两列；
2021-05-07 19:47:52
941
原创 line.strip().split(’,’)用法
line.strip().split(’,’)strip()表示删除掉数据中的换行符split（‘，’）则是数据中遇到‘,’ 就隔开
2021-05-07 19:11:26
4887
原创 Natural Language Processing —— Master Theorem（主定理）
Natural Language ProcessingMaster Theorem（主定理）主定理适用于求解如下递归式算法的时间复杂度：T(n)=aT(nb)+f(n)T(n)=aT(\frac{n}{b})+f(n)T(n)=aT(bn)+f(n)其中：nnn 是问题规模大小aaa 是原问题的子问题个数nb\frac{n}{b}bn 是每个子问题的大小，这里假设每个子问题有相同的规模大小f(n)f(n)f(n) 是将原问题分解成子问题和将子问题的解合并成原问题的解的时间可参考归并
2021-05-06 14:25:36
115
原创 数据结构与算法（python版）（十六）——动态规划（未完）
数据结构与算法（python版）（十六）动态规划通过把原问题分解为相对简单的子问题的方式求解复杂的问题的方法。动态规划常适用于有重叠子问题和最优子结构性质的问题基本思想若要解一个给定问题，我们需要解其不同部分（即子问题），再合并子问题的解以得出原问题的解。通常许多子问题非常相似，因此动态规划法可以试图仅解决每个子问题一次，从而减少重复计算过程；一旦某个给定子问题的解已经算出，则将其记忆化存储起来，以便计算过程中同一子问题的求解。这种做法在重复子问题数目关于输入的规模呈指数增长时特别有效分治与动态规
2021-05-06 00:18:06
88
原创 Machine Learning —— Logistic Regression
Machine Learning —— Logistic RegressionReview在classification章节中，讨论了利用样本点的均值和协方差来计算P(C1),P(x∣C1),P(C2),P(x∣C2)P(C_1),P(x|C_1),P(C_2),P(x|C_2)P(C1),P(x∣C1),P(C2),P(x∣C2)，进而计算得到新的样本点x属于class1的概率之后还推导了P(C1∣X)=σ(z)=11+e−zP(C_1|X)=\sigma(z)=\frac{1}{1+e^{
2021-05-03 18:52:41
187
原创 Machine Learning —— Classification
Machine Learning —— Classification: Probabilistic Generative ModelClassification基本概念分类问题是找一个function，它的input是一个object，它的输出时这个object属于哪一个class。以宝可梦为例，已知宝可梦有18种属性，现在要解决的分类问题就是做一个宝可梦种类的分类器，我们要找到一个function，这个function的input是某只宝可梦，它的output是这只宝可梦属于哪一个类别。输入数值
2021-04-30 14:52:40
350
原创 数据结构与算法（python版）（十五）——树
数据结构与算法（python版）（十五）1、树的概念树是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它由n（n>=1）个有限节点组成一个具有层次关系的集合。树的特点：每个节点有零个或多个子节点没有父节点的节点称为根节点每一个非根节点有且只有一个父节点除根节点外，每个子节点可以分为多个不相交的子树1.1 树的术语节点的度：一个节点含有的子树的个数称为该节点的度树的度：一棵树中，最大的节点的度叶节点或终端节点：度为零的节点父
2021-04-28 19:31:25
149
1
原创 数据结构与算法（python版）（十四）——二分查找
数据结构与算法（python版）（十四）1、二分查找二分查找又称折半查找，优点是次数少，查找速度快，平均性能好；缺点是要求待查表为有序表，且插入删除困难，因此，折半查找法不适用于经常变动而查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。重复以上过程，直到找到满足条件的记录，便查找成功，或直到子表不存在为止
2021-04-28 14:44:52
104
原创 数据结构与算法（python版）（十三）——归并排序
数据结构与算法（python版）（十三）1、归并排序归并排序是采用分治法的一个非常典型的应用，归并排序的思想就是先递归分解数组，再合并数组。将数组分解最小之后，然后合并两个有序数组，基本思路是比较两个数组的最前面的数，谁小就先取谁，取了后相应的指针就往后移一步，再比较，直至一个数组为空，最后把另一个数组的剩余部分复制过来即可。2、归并排序的实现#关键代码#while left_pointer < len(left_li) and right_pointer < len(right_l
2021-04-27 19:37:06
118
原创 Machine Learning —— Gradient Descent
Machine Learning —— Gradient Descent1、Review前面预测的pokemon的CP值例子中已经初步介绍了Gradient Descent的用法：In step3, we have to solve the following optimization problem:θ∗=argminfL(θ)\theta^*=\operatorname{arg}\mathop{min}\limits_fL(\theta)θ∗=argfminL(θ)L:loss  
2021-04-26 21:00:30
164
原创 Machine Learning —— Basic Concept: Where does the error come from
Machine Learning —— Where does the error come from1、Error来源BiasVariance2、Model简单和复杂时的情况当model比较简单时，variance比较小，bias比较大，此时的f∗f^*f∗会比较集中，但是function set可能并没有包含真实的标准函数f^\hat{f}f^，此时model受bias影响较大当model比较复杂时，variance比较大，bias比较小，此时的f∗f^*f∗会比较分散，但是func
2021-04-25 23:59:34
78
原创 数据结构与算法（python版）（十一）——快速排序
数据结构与算法（python版）（十一）1、快速排序（quick sort）快速排序又称划分交换排序（partition-exchange sort），通过一次排序将要排序的数据分割为独立的两部分，其中一部分的所有数据比另一部分所有数据都要小，然后再按此方法对分割出的两部分数据进行快速排序，整个排序过程可以递归进行，以到达有序状态。从数列中挑出一个“基准”元素重新排序数列，比“基准数”小的所有元素都摆放到“基准数”的左侧，比“基准数”大的所有元素都摆在“基准数”的右侧，此操作完成后，“基准数”就处
2021-04-25 20:58:57
129
原创 数据结构与算法（python版）（十）——插入排序
数据结构与算法（python版）（十）1、插入排序（Insertion sort）通过构建左侧有序序列，对未排序数据，在已排序元素中从后向前扫描，找到相应位置并插入。插入排序的实现时，在从后往前额扫描过程中需要反复把已排序元素逐步向后挪位，为新元素提供空间。2、插入排序的实现#插入排序#关键代码#if alist[i] < alist[i-1]:# #当前元素与前一元素进行比较，若当前元素小，则与前一元素交换位置# alist[i], alist[i-1] = alis
2021-04-25 17:45:04
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人