- 博客(45)
- 收藏
- 关注
RSS订阅原创 JavaScript DOM编程艺术 第七章 动态创建标记 笔记
之前几章使用get方法获取文档特定元素节点，使用setAttributes方法（改变某个属性的值）、nodeValue（改变某个元素节点所包含的文本）之类来处理。本章通过DOM方法，创建和修改现有元素。
2024-03-31 22:40:13
896
原创 JavaScript DOM编程艺术 第六章 图片库改进 笔记
(我实测好像可以)这里记录优化方法。在prepareGallery函数中，我们假设了document.getElementById()方法存在，但是如果浏览器不支持该方法，该函数将无法正常运行。这里图片显示是核心功能，描述是锦上添花，因此只做到点击图片，在占位符placeholder显示。但是，代码里面还是假设了一定存在id为"placeholder"的元素和"description"元素，并未检测到是否存在。答案：JS被禁用，支持，点击时，通过href直接跳转到图片界面，通过浏览器回退可以进入每个界面。
2024-03-28 21:50:04
599
原创 JavaScript DOM编程艺术 第四章 案例研究 笔记
本章介绍了JavaScript图片库的实现，包括标记、JavaScript函数、事件处理函数、阻止默认行为、扩展功能等。通过本章的学习，可以更好地理解JavaScript的DOM操作，以及事件处理函数的使用。DOM属性childNodes：返回一个包含当前元素所有子节点的NodeList对象。firstChild：返回或设置当前元素的第一个子节点。lastChild：返回或设置当前元素的最后一个子节点。nodeType：返回一个整数，表示节点的类型。
2024-03-24 20:24:10
1127
原创 JavaScript DOM编程艺术 第三章 DOM 笔记
当创建一个网页并加载时，浏览器会将HTML文档解析为一个DOM树，并将document文档作为树的根节点。但是，所有元素都有一些共同的属性，如id、class、style、title等。在JavaScript中，我们可以用document对象来获取HTML文档中的元素、属性、文本等。M代表着模型(Model)，DOM把文档表示为一颗树，更具体地说，DOM模型把文档表示为一颗家谱树。节点是DOM的基本单元，它代表了文档中的一个元素、属性、文本等。元素可以包含其他元素，没有包含任何元素，它是文档的根元素。
2024-03-19 22:04:17
484
原创 深度学习小trick(1) logit的减法如何最大限度地提高学习水平
深度学习小trick(1): logit的减法如何最大限度地提高学习水平?Keras实现了softmax激活函数的实现,自定义logits减去最大值def softmax(x, axis=-1): # when x is a 2 dimensional tensor e = K.exp(x - K.max(x, axis=axis, keepdims=True)) s = K.sum(e, axis=axis, keepdims=True) return e / s这
2021-09-27 20:38:56
654
原创 一些Attention代码解释
文章目录1. Linear 层2. DotProductAttention层3. SingleLayerAttention层4. MultiHeadAttention层5. BiAttention层在写实验的时候遇到一个库， 里面有实现的几种attention机制， 这里总结一下， 方便以后来找。1. Linear 层先来一个线性层， 一般在论文中W等权重矩阵一般由全连接层实现。class Linear(nn.Module): ''' Simple Linear layer with xav
2021-09-25 22:26:50
1145
原创 Pytorch基础：Torch.mul、Torch.mm与Torch.matmul的异同
Pytorch基础：Torch.mul、Torch.mm与Torch.matmul的异同Torch.multorch.mul(input, other, ***, out=None) → Tensor将输入的每个元素与另一个标量相乘，返回一个新的张量。outi=other×inputiout_i = other \times input_iouti=other×inputiinput是张量， other将会乘每个张量元素。输出是张量。如果输入是FloatTensor或DoubleTens
2021-09-25 17:15:28
2971
翻译 Reasoning Over Semantic-Level Graph for Fact Checking
面向事实检验的语义层次图推理0. Abstract事实核查是一项具有挑战性的任务，因为核实声明的真实性需要对多个可检索的证据进行推理。在这项工作中，我们提出了一种适用于推理证据语义层次结构的方法。与大多数以往的工作不同，这些工作通常使用字符串连接或融合孤立证据语句的特征来表示证据语句，我们的方法基于语义角色标注获得的丰富的证据语义结构。我们提出了两种机制来利用证据的结构，同时利用像BERT、GPT或XLNet这样的预先训练好的模型的进步。具体来说，使用XLNet作为主干，我们首先利用图结构来重新定义单词
2021-06-06 16:05:29
557
翻译 GEAR: Graph-based Evidence Aggregating and Reasoning for Fact Verification
基于图的证据聚集和推理用于事实验证Abstract之前工作知识信息提取，并没有证据通信，仅仅进行拼接处理。因此，这些方法无法掌握证据之间足够的关系和逻辑信息。提出一个a graph-based evidence aggregating and reasoning (GEAR) 基于图的证据聚集和推理。这使得信息能够在完全连接的证据图上传输，然后利用不同的聚合器来收集多证据信息。在FEVER分数67.10% 代码：https://githubcom/thunlp/GEARIntroduction因此
2021-06-04 11:37:13
548
翻译 Message Passing for Complex Question Answering over Knowledge Graphs
知识图谱上复杂问题回答的消息传递这篇文章还是没怎么看懂，看到很多NLP的基础不是很理解，这篇论文在实验部分写的感觉还是很精彩的原作者的github: https://github.com/svakulenk0/KBQA0 Abstract知识图谱问答(KBQA)已经从简单的单事实问题发展到需要图遍历和聚合的复杂问题。提出一种无监督解析输入问题并将知识图中的术语与一组可能的答案相匹配来传播置信度得分。提取实体、关系和类名，并将它们映射到图中的对应项。然后，这些映射的置信度得分通过图结构传播，以
2021-06-03 20:36:13
409
1
翻译 Modeling Semantics with Gated Graph Neural Networks for KBQA
基于门控图神经网络的知识库问答语义建模18年,对知识库问题的建模方法，放弃，没看完0. Abstract大多数知识库问答方法都是基于语义分析的。在本文中，我们解决了由多个实体和关系组成的复杂语义解析的学习向量表示问题。以前的工作主要集中在为一个问题选择正确的语义关系，而忽略了语义分析的结构:**实体之间的联系和关系的方向。**我们建议使用门控图神经网络（Gated Graph Neural Networks）来编码语义解析的图结构。我们在两个数据集上显示，图形网络优于所有没有明确建模结构的基线模型。错
2021-06-03 08:34:30
207
原创 DGL第一章（官方教程）个人笔记
DGL库很友好出了汉语教程地址就在这个地方，这里基本从那边粘贴过来，算作个人笔记。第一章 图DGL的核心数据结构DGLGraph提供了一个以图为中心的编程抽象。 DGLGraph提供了接口以处理图的结构、节点/边 的特征，以及使用这些组件可以执行的计算。1.1 图的基本概念了解基本概念，图、图的表示、加权图与未加权图、同构与异构图、多重图1.2 图、节点和边DGL用唯一整数表示节点，即点ID;对应的两个端点ID表示一条边。根据添加顺序每条边有边ID。DGL中边是有方向的，即边（u,v）（u,v）
2021-06-02 11:23:58
4232
6
翻译 DialogueGCN:A GCN for Emotion Recognition in Conversation
DialogueGCN: 一种用于会话情感识别的图形卷积神经网络DialogueGCN: A Graph Convolutional Neural Network forEmotion Recognition in Conversation语言环境建模的重要性，序列模型现有缺点是还是遗忘问题，从图的方面，改进了序列模型的缺点0. Abstract对话情感识别（Emotion recognition in conversation (ERC)）。本文提出对话图卷积网络，一种基于图神经网络的ERC方法
2021-06-01 16:32:28
1045
翻译 Multi-hop RC across Multi-Documents by Reasoning HDE Graphs
基于异构图推理的多文档多跳阅读理解Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs（没找到代码）0. Abstract引入了一个具有不同类型节点和边的异构图，称为异构文档实体图（Heterogeneous Document-Entity，HDE）。HDE图的优势在于它包含不同粒度级别的信息，包括特定文档上下文中的候选、文档和实体。我们提出的模型可以在节点表示
2021-05-31 15:47:38
242
翻译 Fine-grained Fact Verification with Kernel GA Network
基于核图注意力网络的细粒度事实验证0. Abstract事实验证需要细粒度的自然语言推理能力，这种能力可以找到敏感的线索来识别语法和语义正确但没有很好支持的声明。提出了核图注意力网络( Kernel Graph Attention Network，KGAT )，该网络通过基于核注意力进行更细粒度的事实验证。给定一个声明和一组形成证据图的潜在证据语句（给一组句子形成证据图），KGAT为了更好测量证据节点重要性引入节点核，为了在图上执行细粒度证据传播，引入边缘核，以此进行更准确的事实验证。KGAT获得了70
2021-05-29 11:14:53
938
翻译 Dynamically Fused Graph Network for Multi-hop Reasoning
用于多跳推理的动态融合图网络0. Abstract提出了一个Dynamically Fused Graph Network (动态融合图网络，DFGN)。受到人类循序渐进的推理行为的启发，DFGN包括一个动态融合层，它从给定查询中提到的实体开始，沿着从文本动态构建的实体图进行探索，并从给定文档中逐渐找到相关的支持实体。SOTA，此外，我们的分析表明，DFGN可以产生可解释的推理链。1. Introductionmulti-hop QA，给出一个查询，一系列文档，单并不是全部相关。答案需要从多个文档选
2021-05-27 18:28:25
477
翻译 Cognitive Graph for Multi-Hop Reading Comprehension at Scale
多跳阅读理解的认知图Abstract提出web-scale文档的多条QA框架—CogQA。该框架基于认知科学(cognitive science)中的双重过程理论，通过协调隐式提取模块(系统1)和显式推理模块(系统2)，在迭代过程中逐步构建认知图。在给出准确答案的同时，我们的框架进一步提供了可解释的推理路径.提供了基于BERT和GNN的高效处理百万文档的HotpotQA fullwiki数据集中的多跳推理问题。F1值34.9，当时最优。引言MRC现存问题1） 推理问题，单段落倾向于匹配而非复杂推
2021-05-24 20:36:17
477
翻译 BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning QA
用于多跳推理问答的双向注意实体图卷积网络-codeAbstract多跳问答要理解文档与查询之间的关系。本文BAG，用实体图节点之间关系和查询实体图的关系的注意力信息解决。图卷积网络用于获得实体图的节点的关系感知表示，该实体图是从具有多级特征的文档构建的。然后将双向注意力应用于图形和查询，以生成一个查询感知节点表示，用于最终预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了一流的精度性能。1，引言讲了传统和缺陷，DrQA TriviaQA NarrativeQA 对SQuAD的
2021-05-23 19:19:15
387
翻译 Question Answering by Reasoning Across Documents with Graph Convolutional Networks
基于图卷积网络的跨文档推理问答基于图卷积网络的跨文档推理问答文章目录基于图卷积网络的跨文档推理问答摘要前言介绍方法2.1 数据集和任务抽象2.2 实体图上的推理2.3 节点注释实体关系图卷积网络(Entity Relational Graph Convolutional Network)实验总结摘要针对原来模型集中单文档单段落，作者提出一种基于图上的跨越多段落的文档推理。图上的实体是节点，边被编码成不同实体的关系（例如：文档内和文档边的引用）GCN应用于图并进行多步训练前言提示：这里可以添加
2021-05-22 20:45:36
376
翻译 翻译：Pytorch MODULES
原文链接：https://pytorch.org/docs/stable/notes/modules.html#advanced-featuresPyTorch 使用modules来表示神经网络。模块如下:Building blocks of stateful computation. 状态计算构建块PyTorch 提供了一个鲁棒的模块库，使得定义新的定制模块变得简单， 从而可以轻松构建复杂的多层神经网络。Tightly integrated with PyTorch’s autograd syst
2021-04-20 15:40:44
168
翻译 Gensim的核心概念
Gensim = “Generate Similar”Gensim是一个免费的开放源代码Python库，用于尽可能高效（计算机地）和轻松地（人为地）将文档表示为语义向量。介绍几个核心概念，算是大致了解，后面需要什么可以查文档就可以了。原文地址：https://radimrehurek.com/gensim/auto_examples/index.html核心概念这篇教程介绍了文档、语料库、向量和模型：了解和使用基本概念和术语gensim的核心概念：core_concepts_document:
2021-04-15 19:35:06
278
原创 一些用到的Pytorch知识点的总结(2)
都是一些基础的函数，在这里记下当作笔记以后好查。大部分都是官方文档的翻译，贴的有地址文章目录nn.Embedding.weightnn.Module.register_buffernn.module与nn.Sequentialnn.Linearnn.Dropouttorch.equal与torch.eq总结nn.Embedding.weighttorch.nn.Embedding文档生成的Embedding的weight属性，如果不给weight赋值，Embedding类会自动初始化，符合正态分
2021-03-26 19:28:09
453
原创 一些用到的Pytorch知识点的总结
这几天写模型遇到的一点知识点的总结文章目录加载网络模型load_state_dict与torch.load查看网络参数model.paramenters() 和model.state_dict()自适应优化算法梯度裁剪长期依赖的问题----梯度消失与梯度爆炸优化长期依赖---梯度截断(gradient clipping)torch.nn.utils.clip_grad_norm总结加载网络模型load_state_dict与torch.load文档地址：load_state_dict(state
2021-03-24 17:58:07
441
1
翻译 Fine-tuning一个语言模型
Fine-tuning一个语言模型原文地址我找不到了。。。。还是transformer上面的一个教程文章目录Fine-tuning一个语言模型准备数据因果语言模型（CLM）掩码语言模型(MLM)总结在???? Transformers 上微调一个语言模型任务，有两种类型的语言模型任务Causal language modeling(因果语言模型)：这个语言模型会预测在这句话的下一个单词（标签与向右移动的输入相同）。为了防止模型作弊，在预测第i+1个单词时，会mask第i个后面的单词。[外链图
2021-03-11 21:07:07
1530
翻译 如何使用Transformers和Tokenizers从头开始训练新的语言模型
文章目录前言1. 下载数据集2.训练一个分词器(tokenizer)3. 从零开始训练语言模型定义这个模型的配置文件建立训练数据集检查LM是否受过训练总结huggingface教程，原文博客地址，cloab地址前言在过去的几个月，我们对transformers库和 tokenizers库进行了一些改进，目标是使得从头开始训练新的语言模型变得容易。在这个demo里，展示了怎么在Esperanto训练一个"small"模型((84 M parameters = 6 layers, 768 hidden
2021-03-09 09:44:48
7056
2
原创 pytorch重写DataLoader加载本地数据
pytorch重写DataLoader加载本地数据前两天学习了HuggingFace Datasets来写一个数据加载脚本，但是，在实验中发现，使用dataloader加载数据的便捷性，这两天查资料勉强重写DataLoader加载本地数据，在这里记录下，如果有错误，可以指正。文章目录pytorch重写DataLoader加载本地数据前言一、Dataset class二、使用步骤1.重写Dataset2.Dataloader加载总结前言在pytorch官网搜索Dataloader，返回的一篇教程是
2021-03-04 17:46:10
4000
2
原创 HuggingFace Datasets来写一个数据加载脚本
HuggingFace Datasets上传本地文件作为训练数据这两天用自己的数据来做训练，看到datasets库中的教程，进行翻译，记下如何使用本地/私有数据集。文章目录HuggingFace Datasets上传本地文件作为训练数据前言编写数据集加载脚本（Writing a dataset loading script）添加数据集元数据（Adding dataset metadata）下载数据文件并组织拆分(Downloading data files and organizing splits)在
2021-03-02 21:24:20
15962
18
原创 Transformers库Question Answering任务样例
Transformers库Question Answering任务样例transformer库问答任务的样例，可以直接在colab运行，我这些做学习笔记来大致翻译一下。可以在这里找到Hugging Face提供的各种样例。这里是colab的地址，需要翻。文章目录Transformers库Question Answering任务样例前言一、在QA任务中的BERT微调加载数据集数据预处理长文本处理二、使用步骤1.引入库2.读入数据总结前言这是我自己的学习笔记，我也是刚开始学习，会有不少错误，谨慎参
2021-02-21 23:36:03
4147
4
翻译 深入Bert实战(Pytorch)----问答 fine-Tuning
https://www.bilibili.com/video/BV1K5411t7MD?p=5https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos深入BERT实战(PyTorch) by ChrisMcCormickAI这是ChrisMcCormickAI在油管BERT的Question Answering with a Fine-Tuned BERT的讲解的代码，在油管视频下有cloab地址，如果不能翻墙的可以留下邮箱我全部.
2021-02-02 22:52:02
4406
翻译 深入Bert实战(Pytorch)----fine-Tuning 2
深入Bert实战(Pytorch)----fine-Tuning 2https://www.bilibili.com/video/BV1K5411t7MD?p=5https文章目录深入Bert实战(Pytorch)----fine-Tuning 2前言4. Train Our Classification Model4.1. BertForSequenceClassification4.2. Optimizer & Learning Rate Scheduler4.3. 循环训练5. 在测试集
2021-01-25 20:19:00
3158
5
翻译 深入Bert实战(Pytorch)----fine-Tuning 1
深入Bert实战(Pytorch)----fine-Tuning 1https://www.bilibili.com/video/BV1K5411t7MD?p=5https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos深入BERT实战(PyTorch) by ChrisMcCormickAI这是ChrisMcCormickAI在油管bert，8集系列第三篇fine-Tuning的pytorch的讲解的代码，在油管视频下有cloa
2021-01-23 17:12:53
2238
5
翻译 深入Bert实战(Pytorch)----WordPiece Embeddings
@[TOC](深入Bert实战(Pytorch)----WordPiece Embeddings)https://www.bilibili.com/video/BV1K5411t7MD?p=5https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos深入BERT实战(PyTorch) by ChrisMcCormickAI这是ChrisMcCormickAI在油管bert，8集系列第二篇WordPiece Embeddings的p
2021-01-22 15:40:44
2603
原创 并查集（disjoint sets）
并查集（disjoint sets）学习笔记(python、C语言)这个月刷leetcode已经遇到了三次并查集问题，前两次都看太难放过，今天又遇到就先尝试解决，看到师弟桌子上《挑战程序设计竞赛》这本书上有这个知识点，这里写下笔记记录。文章目录并查集（disjoint sets）学习笔记(python、C语言)前言一、并查集是什么？二、并查集的结构1. 初始化2. 合并3. 查询并查集实现的注意点查并集的复杂度并查集的实现示例 LeetCode 1202. 交换字符串中的元素总结前言并查集是一
2021-01-11 17:45:27
4637
1
原创 leetcode : 123. 买卖股票的最佳时机 III
123. 买卖股票的最佳时机 III买卖股票的最佳时机 III123. 买卖股票的最佳时机 III前言一、题目？二、思路与算法1.动态规划2.代码题解前言链接: 题目连接与题解.一、题目？给定一个数组，它的第 i 个元素是一支给定的股票在第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你最多可以完成 两笔 交易。注意：你不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）。示例1输入：prices = [3,3,5,0,0,3,1,4]输出：6解释：在第 4 天（
2021-01-09 11:39:28
136
翻译 QANet模型系列（1）
QANet模型系列（1）学习机器阅读理解模型的时候，在GitHub上见到了一系列很好的NLP教程，大佬的博客地址在这里，有时间我会对这些文章进行翻译(已经申请，但是还没有回复)，对代码进行注释，当我本身也是自然语言处理方面的初学者，难免有很多错误，如果有朋友能够帮我指出，将非常感谢 !这里将解释QANet模型的部分知识，SQuAD数据处理可我之前翻译的文章。文章目录QANet模型系列（1）前言一、Depthwise Separable ConvolutionsDepthwise convolutio
2021-01-05 21:41:19
716
翻译 SQuAD 数据预处理（3）
SQuAD 数据预处理 (3）提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用文章目录SQuAD 数据预处理 (3）前言一、转存数据转存数据到pickle files从pickle文件中阅读数据二、创建dataloaderdataloader代码查看各种张量的形状三、加载glove与权重矩阵总结前言1. 这里将模型数据保存到pickle文件中，方便下次调用。2. 创建dataloader类，返回模型训练期间所需要
2021-01-04 15:54:06
616
翻译 SQuAD 数据预处理（2）
SQuAD 数据预处理（2）下面是SQuAD 数据预处理的一个应用实例，使用这个示例来理解proprecess.py这个文件中定义的函数文章目录SQuAD 数据预处理（2）前言一、数据处理数据加载与解析建立词表建立一个word和character-level的词汇表清除错误总结前言一个数据处理的步骤一、数据处理数据加载与解析# load dataset json filestrain_data = load_json('data/squad_train.json')valid_da
2021-01-02 22:19:16
897
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人