Pengwill's Blog_pengwill97_CSDN博客-算法学习,自然语言处理,机器学习领域博主

原创知识图谱表示学习 TransH: Knowledge Graph Embedding by Translating on Hyperplanes
原力计划

知识图谱表示学习 TransH: Knowledge Graph Embedding by Translating on Hyperplanes 表示学习是深度学习的基础，将数据用更有效的方式表达出来，才能让深度学习发挥出更强大的作用。表示学习避免了手动提取数据特征的繁琐，允许计算机学习特征的同时...

2020-06-26 22:00:56 50 0

原创知识图谱表示学习 TransE: Translating Embeddings for Modeling Multi-relational Data
原力计划

知识图谱表示学习 TransE: Translating Embeddings for Modeling Multi-relational Data 表示学习是深度学习的基础，将数据用更有效的方式表达出来，才能让深度学习发挥出更强大的作用。表示学习避免了手动提取数据特征的繁琐，允许计算机学习特征的...

2020-06-24 18:43:07 100 0

原创 CS224n 深度自然语言处理(四) Note - Backpropagation and computation graphs
原力计划

本文为笔者学习CS224N所做笔记，所包含内容不限于课程课件和讲义，还包括笔者对机器学习、神经网络的一些理解。所写内容难免有难以理解的地方，甚至可能有错误。如您在阅读中有疑惑或者建议，还望留言指正。笔者不胜感激！在本章中，将着重讨论以下内容：如何更新神经网络参数？以何种形式保存更新结构？ ...

2020-06-05 00:47:30 97 0

原创 TensorFlow出现Found Inf or NaN global norm的排查和解决办法

在训练神经网络的时候，由于一些原因会出现NaN或者Inf，致使训练终止。在查阅相关资料之后，并且结合我出现的问题，做了一些总结。出现的代码在TensorFlow 1.12.2版本可正常执行。出现问题的原因出现NaN或者Inf的原因一般可分为以下三种输入数据有错出现了运算错误，如除数为零，...

2020-05-29 00:42:22 176 0

原创 CS224n 深度自然语言处理(三) Note - Word Window Classification, Neural Networks
原力计划

本文为笔者学习CS224N所做笔记，所包含内容不限于课程课件和讲义，还包括笔者对机器学习、神经网络的一些理解。所写内容难免有难以理解的地方，甚至可能有错误。如您在阅读中有疑惑或者建议，还望留言指正。笔者不胜感激！分类问题一般而言，训练数据由训练样本{xi,yi}i=1N\{x_i,y_i\}^...

2020-05-26 21:08:05 150 0

原创数据结构实验5-哈夫曼编码

实验内容程序代码运行结果实验内容某报文中共出现abdeoy 等6个字符，各字符出现频度依次为12 6 4 1 2 8。要求：实现哈弗曼编码算法，对这6个字符求出各自的编码；实现哈弗曼译码算法，对给定的一组编码（110011111101110110），译出其对应的报文部...

2020-04-14 18:25:52 1456 3

原创 CS224n 深度自然语言处理(二) Note - Word Vectors 2 and Word Senses
原力计划

文章目录Global Vectors for Word Representation(GloVe)Comparison with Previous MethodsCo-occurrence MatrixLeast Square ObjectiveConclusionEvaluation of Wo...

2020-04-14 18:19:44 101 0

原创 CS224n 深度自然语言处理(一) - Introduction and Word Vectors
原力计划

单词的含义如何定义一个单词的意思？通过韦伯字典对于单词”meaning"的解释来看，有如下几点单词或者短语呈现的意思。人想要通过短语、符号表达的实际含义。文章、艺术作品呈现的想法。故最普通对meaning的理解，其实是表示符号（symbol）向想法（idea）的转换。如何...

2020-04-10 17:49:00 160 0

原创 Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory Student Ability and Difficulty Networks DKVMN\text{DKVMN}...

2020-01-22 22:45:21 216 0

原创 Dynamic Key-Value Memory Networks for knowledge Tracing

Dynamic Key-Value Memory Networks for knowledge Tracing Memory-Augmented Neural Networks MANN\text{MANN}MANN是一种用于多种NLP任务的网络结构，例如问答系统，自然语言翻译、单样本学习。典型...

2020-01-22 22:42:53 164 0

原创 Python内置库collections使用集锦

collections中有以下类 Class name Description namedtuple 用于创建具有命名字段的元组子类的工厂函数 deque 类似列表的容器，两端都有快速追加和弹出 ChainMap 类似于dict的类，用于创建多个映射的单个视图 Coun...

2020-01-05 16:58:33 114 0

原创 Google Colab 挂载 Google Drive

Step1 启动notebook，执行以下代码 from google.colab import drive drive.mount('/content/gdrive') 在文本框中输入连接中的验证码 Step2 在左侧文件中查看目录结构，gdrive所在的目录是/conte...

2019-12-29 13:17:50 165 0

原创 NLP(1) - 使用gensim训练Word2vec

文章目录Word2vec第三方库gensimnltk训练Word2vec语料库(corpus)预处理使用gensim训练读取Word2vecCode参考 Word2vec 在NLP中，想要处理文本，避不开的问题就是如何表示词。在Word2vec出现之前，词以one-hot形式的编码表示，即一个词由...

2019-12-21 22:11:11 133 0

原创 [李宏毅机器学习] 1.线性回归

思维导图

2019-07-30 21:39:58 172 2

原创 [李宏毅机器学习] 3. 梯度下降

文章目录思维导图回顾Tip1: 调整学习速率AdagradTip2: 随机梯度下降Tip3: 特征缩放标准化梯度下降的数学原理泰勒展开思维导图回顾在Step3中，我们需要根据loss function，对参数θ\thetaθ进行优化，使用到的方法就是梯度下降算法。可以用如下的函数表示。 θ...

2019-07-30 21:37:01 79 0

原创 [李宏毅机器学习] 2.误差来源

文章目录思维导图数理统计中的方差和偏差估计均值$\mu$估计方差$\sigma^2$为什么会有这样的结果对于均值的估计偏差对于方差估计偏差话说回来模型的方差和偏差模型的方差模型的偏差模型诊断判断调整模型选择划分验证集N折交叉验证思维导图系统的误差来自两个方面，Bias和Variance 数理...

2019-07-30 21:35:15 313 0

原创 [统计学习方法] 感知机模型

感知机模型感知机是二类分类的线性分类模型，它将输入空间的实例划分为正负两类的分离超平面。而其学习旨在求出可以将训练数据进行线性划分的超平面。当引入误分类的损失函数后，可利用梯度下降法对损失函数进行极小化，损失函数值最小所对应的超平面即为所求。感知机在1957年由Rosenblatt提出，是神经...

2019-07-06 17:02:18 231 0

原创【Machine Learning】Ch3.2 线性回归

3.2 线性回归线性回归的目的是，给定数据集D={(x1,y1),(x2,y2)...(xm,ym)}D=\{(x_1,y_1),(x_2,y_2)...(x_m,y_m)\}D={(x1,y1),(x2,y2)...(xm,ym)}，其中xi=(xi1;xi2;...;xi...

2019-02-21 22:29:46 104 0

原创【Machine Learning】机器学习中的性能度量

机器学习中的性能度量在前面中的的小节中有如下的两个性能度量错误率：分类错误的样本数占总样本数的比例精度：1-错误率通常情况下，单单使用这两个性能度量，不能很好的反应模型的训练结果。所以需要借助其他指标来评价模型的好坏。均方误差、错误率与精度在回归模型中，常用的性能度...

2019-01-16 23:48:21 266 0

原创【Machine Learining】Ch2. 模型评估与选择

第2章模型评估与选择 2.1 经验误差与过拟合错误率：分类错误的样本数占总样本数的比例精度：1-错误率过拟合：学习器把训练样本学的太好，甚至把训练样本的特点当做了潜在样本的一般性质，导致泛化性能下降的现象。引起过拟合的因素一般是学习能力太过强大。欠拟合：对训练样本的一般性质...

2019-01-14 21:42:29 345 0

原创【TensorFlow】从Anaconda安装TensorFlow

下载Anaconda，直接下载3.6版本的就好打开Anaconda Prompt，创建虚拟环境 conda create -n tensorflow python=3.6 activate tensorflow 通过上面的命令即可在Anaconda中创建一个叫做tensorf...

2019-01-14 19:14:45 434 0

原创【算法学习】FHQ Treap （无旋Treap）

FHQ Treap 简介 FHQ Treap和普通的Treap都是一个二叉搜索堆，其同时满足二叉树的性质（左子树的权值小于等于当前节点权值，右子树权值大于当前节点权值）和堆的性质（对于小根堆，当前节点的优先级是堆中最小的)。 FHQ Treap与一般的Treap的不同之处主要在于：不用旋转，用...

2018-09-28 22:53:33 2196 0

原创【算法学习】左偏树

左偏树左偏树是一种可以快速合并的可并堆，相对于普通的二叉堆，左偏树的合并可以做到log(p1+p2)log(p_1 + p_2)log(p1+p2)，是一种十分优秀的数据结构。性质左偏树是一种可并堆的实现，是一颗二叉树，它除了有二叉树的左右儿子，还有2个属性，键和距离。下面是左偏树的一些...

2018-09-27 22:05:23 1802 1

原创【算法练习】Luogu P1197 [JSOI2008]星球大战（并查集）

题意很久以前，在一个遥远的星系，一个黑暗的帝国靠着它的超级武器统治着整个星系。某一天，凭着一个偶然的机遇，一支反抗军摧毁了帝国的超级武器，并攻下了星系中几乎所有的星球。这些星球通过特殊的以太隧道互相直接或间接地连接。但好景不长，很快帝国又重新造出了他的超级武器。凭借这超级武器的力量，帝国开始...

2018-09-26 16:44:00 122 0

原创【算法练习】Luogu P2472 [SCOI2007]蜥蜴（最大流）

题意在一个r行c列的网格地图中有一些高度不同的石柱，一些石柱上站着一些蜥蜴，你的任务是让尽量多的蜥蜴逃到边界外。每行每列中相邻石柱的距离为1，蜥蜴的跳跃距离是d，即蜥蜴可以跳到平面距离不超过d的任何一个石柱上。石柱都不稳定，每次当蜥蜴跳跃时，所离开的石柱高度减1（如果仍然落在地图内部，则到达的...

2018-09-26 14:49:41 100 0

原创【算法练习】Luogu P2604 [ZJOI2010]网络扩容（最大流+费用流）

题意给定一张有向图，每条边都有一个容量C和一个扩容费用W。这里扩容费用是指将容量扩大1所需的费用。求：在不扩容的情况下，1到N的最大流；将1到N的最大流增加K所需的最小扩容费用。题解第一问最大流。第二问，在原来最大流参量网络基础上，考虑如何加边求出结果。因为要求在原来的基础上增加流...

2018-09-26 12:48:10 131 0

原创【算法练习】BZOJ1934: [Shoi2007]Vote 善意的投票（最小割）

题意幼儿园里有n个小朋友打算通过投票来决定睡不睡午觉。对他们来说，这个问题并不是很重要，于是他们决定发扬谦让精神。虽然每个人都有自己的主见，但是为了照顾一下自己朋友的想法，他们也可以投和自己本来意愿相反的票。我们定义一次投票的冲突数为好朋友之间发生冲突的总数加上和所有和自己本来意愿发生冲突的人数...

2018-09-23 17:32:12 71 0

原创【网络流24题】运输问题（最小费用最大流）

题意 W 公司有 mmm 个仓库和 nnn 个零售商店。第 iii 个仓库有 aia_iai 个单位的货物；第 jjj 个零售商店需要 bjb_jbj 个单位的货物。货物供需平衡，即∑i=1mai=∑j=1nbj\sum\limits_{i = 1} ^ m a_i = \sum\...

2018-09-23 14:30:02 1588 0

原创【网络流24题】餐巾计划（最小费用最大流）

题意一个餐厅在相继的 nnn 天里，每天需用的餐巾数不尽相同。假设第 iii 天需要 rir_iri 块餐巾。餐厅可以购买新的餐巾，每块餐巾的费用为 PPP 分；或者把旧餐巾送到快洗部，洗一块需 MMM天，其费用为 FFF 分；或者送到慢洗部，洗一块需 NNN 天，其费用为 SSS 分（S...

2018-09-23 13:53:49 91 0

原创【网络流 24 题】方格取数（二分图的最大点权独立集）

题意在一个有 m×nm \times nm×n个方格的棋盘中，每个方格中有一个正整数。现要从方格中取数，使任意 222 个数所在方格没有公共边，且取出的数的总和最大。试设计一个满足要求的取数算法。题解题目要求不相邻，可以转换为最大独立集，又由于点权不全为1，则为最大点权独立集。 ...

2018-09-19 00:38:11 171 0

原创【算法学习】网络流模型与套路

网络流常见模型最大权闭合子图定义：图中每个点有点权，或正或负。在选择一个点后，必须选择某些后继点。一般情况求最大的收益。建图：对于点权为正的点（一般为收益），源点SSS向正权点连边，容量为点的权值。对于点权为负的点（一般为花费），向汇点TTT连边，容量为负权绝对值。对于要选择后继关系的...

2018-09-18 22:33:20 436 0

原创【网络流24题】试题库（最大流）

题意假设一个试题库中有 nnn 道试题。每道试题都标明了所属类别。同一道题可能有多个类别属性。现要从题库中抽取 mmm 道题组成试卷。并要求试卷包含指定类型的试题。试设计一个满足要求的组卷算法。题解每一道题为一个点，每一种类型的试卷为一个点。源点向每一道题连容量为1的边，每一道题向...

2018-09-18 18:05:25 897 0

原创【网络流24题】最长递增子序列（拆点+最大流）

题意给定正整数序列x1∼xnx_1 \sim x_nx1∼xn，以下递增子序列均为非严格递增。计算其最长递增子序列的长度 sss。计算从给定的序列中最多可取出多少个长度为 sss 的递增子序列。如果允许在取出的序列中多次使用x1x_1x1 和 xnx_nxn，则从给定序...

2018-09-17 23:43:56 474 0

原创【网络流24题】圆桌聚餐（最大流）

题意假设有来自 nn n 个不同单位的代表参加一次国际会议。每个单位的代表数分别为 riri r_i 。会议餐厅共有 mm m 张餐桌，每张餐桌可容纳 cici c_i 个代表就餐。为了使代表们充分交流，希望从同一个单位来的代表不在同一个餐桌就餐。试设计一个算法，给出满足要...

2018-09-13 00:49:45 192 0

原创【网络流24题】魔术球（最小路径覆盖）

题意假设有 nn n 根柱子，现要按下述规则在这 nn n 根柱子中依次放入编号为 1,2,3,4,⋯1,2,3,4,⋯ 1, 2, 3, 4, \cdots 的球。每次只能在某根柱子的最上面放球。在同一根柱子中，任何 22 2 个相邻球的编号之和为完全平方数。试设计一个...

2018-09-13 00:29:46 75 0

原创【网络流24题】最小路径覆盖（最小路径覆盖）

题意给定有向图 G=(V,E)G=(V,E)G = (V, E)。设 PP P 是 GG G 的一个简单路（顶点不相交）的集合。如果 VV V 中每个顶点恰好在 PP P 的一条路上，则称 PP P 是 GG G 的一个路径覆盖。PP P 中路径可以从 VVV 的任何一个顶点开始...

2018-09-12 00:19:37 584 0

原创【网络流24题】太空飞行计划（最大权闭合子图）

题意 W 教授正在为国家航天中心计划一系列的太空飞行。每次太空飞行可进行一系列商业性实验而获取利润。现已确定了一个可供选择的实验集合 E=E1,E2,⋯,EmE={E1,E2,⋯,Em}E=E1,E2,⋯,EmE=E1,E2,⋯,EmE={E1,E2,⋯,Em}E=E1,...

2018-09-12 00:03:25 71 0

原创【网络流24题】搭配飞行员（二分图最大匹配）

题意飞行大队有若干个来自各地的驾驶员，专门驾驶一种型号的飞机，这种飞机每架有两个驾驶员，需一个正驾驶员和一个副驾驶员。由于种种原因，例如相互配合的问题，有些驾驶员不能在同一架飞机上飞行，问如何搭配驾驶员才能使出航的飞机最多。因为驾驶工作分工严格,两个正驾驶员或两个副驾驶员都不能同机飞行。 ...

2018-09-11 23:51:40 108 0

原创【算法练习】Luogu P3831 [SHOI2012]回家的路（分层图最短路）

题意 2046 年 OI 城的城市轨道交通建设终于全部竣工，由于前期规划周密，建成后的轨道交通网络由2n2n2n条地铁线路构成，组成了一个nnn纵nnn横的交通网。如下图所示，这2n2n2n条线路每条线路都包含nnn个车站，而每个车站都在一组纵横线路的交汇处。出于建设成本的考虑，并非每个车站...

2018-09-10 12:50:36 192 0

原创【算法练习】LightOJ - 1257 Farthest Nodes in a Tree (II) （点分治）

题意求出树上所有点的最远距离。n≤30000n≤30000n \le 30000。题解点分治。树上最长路径，要么经过当前的重心，要么不经过。所以可以点分治来做。首先求出重心每一个子树上节点到重心的距离，同时求出每一个子树中到重心的最远点。对于一个子树上的节点，如果他的最长路...

2018-09-10 00:33:52 51 0