- 博客(45)
- 收藏
- 关注
RSS订阅原创 nltk_data手动下载
Nltk_Data手动下载方式可以存放的路径其中anaconda下的路径要放到代码具体运行的环境中才可以，上图中我的环境是py37_torch18，若是base环境，直接放到anaconda下即可。github下载地址https://github.com/nltk/nltk_data/tree/gh-pages/packages/corpora...
2021-03-13 14:26:50
788
原创 slurm 使用
简单使用交互式使用方式：使用 salloc 请求资源，然后可以使用 ssh 连接节点后使用。squeue 用来查看 jobsalloc -N1 -n1 --exclusivesqueue -u `username` --state=runningssh casxxx详解解释–exclusive 为独占节点，sbatch 提交作业方法一：先写作业脚本 xxx.slurm然后再使用命令 sbatch xxx.slurm 提交作业以下为一个作业脚本示例方法二：srun -N 2
2021-03-09 16:43:36
2714
原创 Pytorch中常用的一些函数
文章目录维度相关维度相关torch.squeeze(input, dim=None, out=None) → TensorTensor.squeeze(dim=None) → Tensor返回一个tensor，这个tensor是将input的所有维度大小为1维度去掉得到的若不指定dim，则去掉所有维度为1的维度，若指定维度，且该维度为1，则去掉这个维度torch.unsque...
2020-03-07 17:13:02
936
原创 2019 CS224N Assignment 5: sub-word modeling and convolutional networks
文章目录Character-based convolutional encoder for NMTCharacter-based convolutional encoder for NMT使用字符级卷积获得词向量(a) 在assignment 4 中我们使用的词向量是256维，而在本assignment 中，我们使用的字符的嵌入为50维，解释为什么通常字符级的嵌入比词嵌入更低。我是这么理...
2020-03-04 22:34:21
1138
2
原创 2019 CS224N Assignment 4: Neural Machine Translation with RNNs and Analyzing NMT Systems
文章目录Neural Machine Translation with RNNsNeural Machine Translation with RNNs
2020-03-01 12:09:00
2301
7
原创 2019 CS224N Assignment 3: Dependency Parsing
文章目录Machine Learning & Neural NetworksNeural Transition-Based Dependency Parsing总结Machine Learning & Neural Networks(a) 理解Adam优化器(i) 简短的解释m如何阻止更新（updates）变化的太大，这种低变化为何有助于学习这个trick使用了指数...
2020-02-27 21:47:47
1420
原创 2019 CS224N Assignment 2: word2vec
文章目录Written: Understanding word2vecCoding: Implementing word2vecWritten: Understanding word2vec(a) 因为 y\boldsymbol{y}y 是一个 one-hot 向量， 只有词 ooo 的概率为 1, 即只有yi=1y_i = 1yi=1 ，i==o 时。因此证明如下−∑w∈Vocabywl...
2020-02-26 10:39:22
783
原创 2019 CS224N Assignment 1: Exploring Word Vectors
文章目录包的导入实验最麻烦的部分往往是环境搭建包的导入除 nltk 外，其他包都可以通过 conda install 或 pip install 安装nltk.download(‘reuters’)，我这里没有下载成功。我是将这条命令注释掉后，手动下载的 reuters 数据tempfile.makedstemp()：新建一个文件夹，并返回路径...
2020-02-23 15:29:02
775
原创 Lecture 14: Transformer
文章目录Self-Attention For Generative Models学习变长数据的表示RNNCNNAttentionSelf-AttentionThe TransformerImportance of residualsSelf-Attention For Generative ModelsAshish Vaswani and Anna HuangJoint work with:...
2020-02-21 18:35:54
444
原创 Lecture 20:The Future of Deep Learning + NLP
文章目录Deep Learning for NLP 5 years agoUsing Unlabeled Data for TranslationDeep Learning for NLP 5 years agoNo Seq2SeqNo AttentionNo large-scale QA/reading comprehension datasetsNo TensorFlowor Py...
2020-02-20 22:38:30
630
原创 Lecture 19: Bias
文章目录Bias in the Vision and Language of Artificial Intelligence各种BiasBias 可能是好的，坏的或者中性的Measuring Algorithmic Bias总结Bias in the Vision and Language of Artificial IntelligencePrototype Theory分类的目的之一...
2020-02-19 21:15:42
711
原创 Lecture 18: Tree Recursive Neural Networks, Constituency Parsing, and Sentiment
文章目录The spectrum of language in CSBuilding on Word Vector Space Models如何完成projectThe spectrum of language in CS左上角是一个艺术品，袋子表示词袋模型，袋子里装着词。将词摔下来就相当于把词映射到不同位置上，词向量模型。右边是语言的结构表示Semantic interpret...
2020-02-19 13:59:44
527
原创 Lecture 17: Multitask Learning as Question Answering
文章目录MotivationRichard SocherMotivationWhat’s next for NLP & AI?NLP发展历史：基于特征工程的机器学习方法，使用深度学习来学习特征（用向量表示词），对特定任务的深度学习架构，接下来····The Limits of Single-task Learning给出{数据，任务，模型，评测}之后，近些年性能提升很大...
2020-02-18 22:23:50
649
原创 Lecture 16: Coreference Resolution
What is Coreference Resolution识别所有涉及到相同现实世界实体的 提及（指代）例如Applications全文理解信息抽取，问答，摘要，···“He was born in 1961” 如果没有共指消解，我们就不能知道 “He” 指的是谁机器翻译语言在性别、数字、零指代（dropped pronouns）等方面有不同的特点。...
2020-02-13 11:55:41
400
原创 Lecture 15: Natural Language Generation
文章目录Recap: LMs and decoding algorithmsNatural Language Generation (NLG)LMNLG tasks and neural approaches to them摘要两个主要策略Pre-neural summarizationNeural summarization (2015 -present)对话 DialoguePre-and ...
2020-02-12 14:38:23
653
原创 Lecture 13: Contextual Word Representations and Pretraining
词的表示到目前为止，我们基本上说我们有一个词的表示之前学的：Word2vec, GloVe, fastTextPre-trained word vectors: The early yearsCollobert, Weston, et al. 2011 results特征是POS的字符后缀和NER的词典Pre-trained word vectors: Current ...
2020-02-10 21:49:56
322
原创 Lecture 12: Information from parts of words: SubwordModels
文章目录Human language sounds: Phonetics and phonologyPurely character-level modelsSub-word models: two trendsHuman language sounds: Phonetics and phonology人类语言声音：语音学和音韵学Phonetics 语音学是声音流——毫无争议的“物理学”...
2020-02-08 19:45:37
500
原创 Lecture 11: ConvNets for NLP
文章目录From RNNs to Convolutional Neural NetsCNNS推荐一本书From RNNs to Convolutional Neural Nets循环神经网络不能捕获没有前缀上下文的短语总是捕获了太多最后一个词的信息在最终词向量中例如，softmax总是在最后一步计算RNN的主要思想：对每个固定长度的可能的词序列计算一个向量例...
2020-02-07 17:38:43
283
原创 Lecture 10: (Textual) Question Answering
文章目录QAmotivation在谷歌搜索谁是澳大利亚第三任总理，会得到一个答案，包含了图片和简介。这个答案不是直接从结构化数据中搜索得来的，而是从网页（图中是从维基百科）中抽取出来的。文本问答就是完成的就是这样的任务。QAmotivation...
2020-02-06 13:22:21
479
原创 Lecture 9: Practical Tips for Final Projects
文章目录The Final ProjectThe Default Final ProjectProject ProposalProject MilestoneFinding Research Topics再看门控循环单元和MTThe large output vocabulary problem in NMT (or all NLG)可能的解决方法MT评价BLEU Evaluation Metr...
2020-02-04 23:39:48
225
原创 Lecture 8: Machine Translation, Sequence-to-sequence and Attention
文章目录Pre-Neural Machine Translation机器翻译翻译模型Neural Machine TranslationHow to train a NMT system?搜素策略Greedy decodingPre-Neural Machine Translation机器翻译机器翻译(MT)是将一个句子 x 从一种语言( 源语言 )转换为另一种语言( 目标语言 )的句子...
2020-02-04 11:15:55
249
原创 Lecture 7: Vanishing Gradients and Fancy RNNs
文章目录梯度消失直觉具体的推导Why is vanishing gradient a problem?Why is exploding gradient a problem?Gradient clipping: solution for exploding gradientHow to fix vanishing gradient problem?Long Short-Term Memory (...
2020-02-03 21:50:58
891
原创 Lecture 6: Language Models and Recurrent Neural Networks
文章目录Language Modelingn-gram Language ModelsSparsity Problems（稀疏问题）Storage Problems（存储问题）n-gram语言模型实际应用How to build a neural Language Model?A fixed-window neural Language ModelRecurrent Neural Network...
2020-02-03 08:51:36
234
原创 Lecture 5: Dependency Parsing
本节课主要讲了依存句法分析文章目录语言结构的两种观点Constituency ParsingDependency structure一些歧义依赖路径识别语义关系Dependency Grammar and Dependency StructureDependency Grammar/Parsing HistoryDependency Grammar and Dependency Structu...
2020-02-02 23:14:32
373
原创 Lecture 4: Backpropagation and computation graphs
文章目录求梯度的小提示重新训练词向量会出现的问题问题如何解决后向传播计算图后向传播单个节点的计算（h=f(z)h=f(z)h=f(z)）若有多个输入的节点计算效率自动微分为什么要学习反向传播一些其他知识点求梯度的小提示Tip1：小心定义变量，并保持跟踪他们的维度Tip2：使用链导法则，弄清楚哪些变量输入到计算中Tip3：对于一个模型顶层的softmax，首先考虑正确类别的梯度，然后考虑...
2020-02-02 15:27:51
156
原创 Lecture 3: Word Window Classification, Neural Networks, and Matrix Calculus
文章目录
2020-02-01 23:49:49
163
原创 2019 CS224N lecture2 Word Vectors and Word Senses
word2vecword2vec的主要思想：对文本中的每个词进行迭代使用词向量预测context words 更新词向量来让预测更准确优化：梯度下降使用SGD（随机梯度下降）来加快更新速度每次只使用一个window来更新在一个window中，至多只有2m+1个词，所以梯度很稀疏（下图示例为：center word：like，context words：I，learning...
2020-01-22 23:24:58
207
原创 2019 CS224N lecture1 Introduction and Word Vectors
如何表示一个单词的含义(meaning of a word)建立所有同义词synonym和下义词hypernym(即“is a"的关系）的词库wordnetone-hot的向量word2vecSkip-Gram modelCBOW
2020-01-17 20:51:35
160
原创 Packet Tracer学习
线直通线交叉线配置线：console配置switch和router设备Switch（https://blog.csdn.net/gengkui9897/article/details/85109962）模式（从CLI进入配置）用户模式 Switch>特权模式 Switch#全局配置模式 Switch(c...
2019-11-19 22:21:14
404
原创 CCF201312-4 有趣的数（100分）
试题编号201312-4试题名称有趣的数时间限制1.0s内存限制256.0MB问题描述问题描述： 我们把一个数称为有趣的，当且仅当： 1. 它的数字只包含0, 1, 2, 3，且这四个数字都出现过至少一次。 2. 所有的0都出现在所有的1之前，而所有的2都出现在所有的3之前。 3. 最高位数字不为0。 因此，符合我们定义的最小的有趣的数是2...
2019-07-02 22:51:15
99
原创 CCF201312-3 最大的矩形（100分）
试题编号201312-3试题名称最大的矩形时间限制1.0s内存限制256.0MB问题描述问题描述： 在横轴上放了n个相邻的矩形，每个矩形的宽度是1，而第i（1 ≤ i ≤ n）个矩形的高度是hi。这n个矩形构成了一个直方图。例如，下图（图见后文）中六个矩形的高度就分别是3, 1, 6, 5, 2, 3。请找出能放在给定直方图里面积最大的矩形，它的边要与坐标...
2019-07-02 19:33:35
134
原创 CCF201312-2 ISBN号码 （100分）
试题编号201312-2试题名称ISBN号码时间限制1.0s内存限制256MB问题描述问题描述: 每一本正式出版的图书都有一个ISBN号码与之对应，ISBN码包括9位数字、1位识别码和3位分隔符，其规定格式如“x-xxx-xxxxx-x”，其中符号“-”是分隔符（键盘上的减号），最后一位是识别码，例如0-670-82162-4就是一个标准的ISBN码。...
2019-07-02 13:27:19
100
原创 CCF201312-1 出现次数最多的数（100分）
试题编号201312-1试题名称出现次数最多的数时间限制1.0s内存限制256MB问题描述问题描述: 给定n个正整数，找出它们中出现次数最多的数。如果这样的数有多个，请输出其中最小的一个。输入格式:输入的第一行只有一个正整数n(1 ≤ n ≤ 1000)，表示数字的个数。输入的第二行有n个整数s1, s2, …, sn (1 ≤ si ≤ 10000,...
2019-07-01 17:10:17
94
原创 软件构造讨论题总结
因为实验过程实验和报告工作量挺大的，为了高质量完成实验，所以没多少时间来写博客。（因为Java太渣了）（等考完试小学期可以写写总结，收获）在这里把老师提出的问题全部再重新思考一遍。此文章也是为了自己复习，所以会从一个问题中引申出许多东西,勿怪寒假的一个问题首先这个问题明显有语法错误，使用了中文引号，而且a和b明显不相等（估计是老师打错了）。然后老师也把问题改了，将中文引号改成了英文引号，...
2019-06-19 22:41:40
499
原创 【Software Construction笔记】Reading 3:Testing
TestingChoosing Test Cases by PartitioningInclude BoundAries in the PartitionTwo Extremes for Covering the partionFull Cartesian productCover each partAutomated Unit Testing with JUnit@Te...
2019-03-03 10:48:07
229
原创 Git常用命令学习
Git建立仓库在想要建立的目录下（可用cd切换目录），直接用git init 命令即可，该目录下回多出一个.git目录（默认为隐藏文件），此文件用来Git跟踪管理版本库的。Git添加文件git add readme.txt 将readme.txt加入到仓库中git commit -m “本次提交说明” 将文件提交到仓库 注：git add 命令可以一次性添加多个文件。gi...
2019-03-01 15:55:56
202
原创 【吴恩达机器学习笔记】第九章：神经网络学习
目录非线性假设神经网络起源神经元模拟神经元神经网络的向量化计算（前向传播）通过神经网络计算的具体例子非线性假设非线性分类中，要想给出一个较为准确的拟合曲线，必须要加很多多次项。如下面的例子：当有100个特征时，光包含所有的二次项，就会新产生5000个特征，三次项，就会有大约170000个特征。再看一个计算机视觉中的例子计算机通过输入的图片来识别物体，而这些图片是通过对每个点的“描述”...
2019-01-15 14:08:44
314
原创 【吴恩达机器学习笔记】第八章：正则化
目录过拟合问题（overfitting）例子导致原因解决方法正则化一个例子正则化处理后的代价函数线性回归的正则化梯度下降法正规方程法逻辑回归梯度下降法其他高级优化方法过拟合问题（overfitting）例子线性回归如上图，第一幅图称为欠拟合，只使用了一次函数来拟合数据，拟合效果不好。第二幅图使用了二次函数来拟合，拟合效果不错。第三幅图使用了高次函数，样本点都在预测函数上，但是很明显这个...
2019-01-14 21:16:20
746
1
原创 【吴恩达机器学习笔记】第七章：Logistic回归
目录分类常见的分类问题：如何进行分类使用线性回归来预测Logistic回归决策边界代价函数梯度下降其他高级优化方法一对多分类分类常见的分类问题：邮件分类肿瘤是否是良性如何进行分类使用线性回归来预测根据数据集来构造一个线性预测函数hθ(x)=θTxh_\theta(x)=\theta^\mathrm Txhθ(x)=θTx则有：hθ(x)≥0.5 则预测y=1...
2019-01-14 15:06:17
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人