涂宇鸽的博客

原创 线性代数之范数

学习笔记，本文内容非原创，来源于《动手学深度学习》torch.norm()L1 范数，它表示为向量元素的绝对值之和：∥x∥1=∑i=1n∣xi∣\|\mathbf{x}\|_{1}=\sum_{i=1}^{n}\left|x_{i}\right|∥x∥1​=i=1∑n​∣xi​∣事实上，欧几里得距离是一个范数：具体而言，它是 L2 范数:∥x∥2=∑i=1nxi2\|\mathbf{x}\|_{2}=\sqrt{\sum_{i=1}^{n} x_{i}^{2}}∥x∥2​=i=1∑n​xi2​​

原创 notepad++代码编辑器设置黑色主题

设置为deep black主题，字体为consolas，大小14。notepad++可以轻松标记代码行，但是代码高亮效果不如sublime text好。

原创 XML入门

XML是一种用于构造自定义标记语言的语法系统。例如，您可能希望使用XMI创建一种语言来描述系谱数据、数学数据、化学数据或业务数据。由于使用XML创建的每一种定制语言都依赖于XML的底层语法，因此我们将从这里开始。在本章中，您将学习用XML编写文档的基本规则，以及用XML创建的任何自定义语言编写文档的基本规则。编写XML的工具与HTML一样，xml可以用任何文本编辑器或文字处理程序编写，包括Macintosh上非常基本的TeachText或SimpleText以及Windows上的记事本或写字板。有一

翻译 《自然语言处理综论》第17章-信息抽取（中）

英文原文链接：https://web.stanford.edu/~jurafsky/slp3/17.pdf译者：鸽鸽（自己学习使用，非商业用途）建议去我的博客阅读，体验感更佳。17.2 关系抽取算法关系抽取的算法主要有五类：手写模式、监督机器学习、半监督（通过bootstrapping和通过远程监督）以及无监督。我们将在接下来的章节中分别介绍这些算法。17.2.1 使用模式抽取关系最早并且现在依然常用的关系抽取算法是词法-句法模式（ lexico-syntactic pattern），.

原创 从小白到起飞，一站解决Atom编辑器各种骚操作

一站到底解决IDE搭建问题！从基础设置、插件安装、snippets填充、到github版本控制、代码调试……本文将不断更新以求完善！安装文本编辑器Atom入坑Sublime、VSCode无数次后，还是回头选择了Atom IDE，因为它颜值惊艳、操作便捷、界面简单，除了许多编辑器都有的代码折叠和自动补全，还自带原生Markdown支持！！！这漂亮的实时预览和代码高亮真让人春心荡漾！并且，插件非常丰富！于是，果断选择Atom作为本博主的创作神器，为Python开发之旅保驾护航！官网一键安装：Ato.

原创 大扫盲！Python正则表达式实操！

上篇「正则表达式入门」我们讲到元字符. ^ $ * + ? { } [ ] \ | ( )，以及各种结构：字符组、多选结构、反向引用等等，但没有涉及代码实操。为了让广大Python爱好者使用正则表达式时得心应手，今天鸽婆奉上re模块的知识集锦！全文框架如下：Python的re模块不同于Perl等语言，Python自身并不支持正则表达式，但我们可以通过强大的内置模块re实现，只需要import re即可。Python的re模块由两个对象组成：RegexObject和MatchObject。Rege

原创 正则表达式入门，一篇就够了

我自制了一个视频，记录学习正则表达式的心法！【干货】8分钟正则表达式入门！_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili以下是文字版：大家使用操作系统和办公软件的时候，或多或少会使用通配符这个工具，比如打开终端，输入dir *.txt。然而通配符仅限于问号(?)和星号(*)等等，其中?匹配1个字符，*匹配0到多个字符。这些功能实在太单一了！作为一名（伪）攻城狮，你可能需要处理大量不同形式的文本，包括新闻稿、程序代码、报表、单词表、诗歌、email、html等等。我们需要一个所向无敌的“语言

原创 正则表达式的妙用

re.sub中的group原文：Stack Overflow输入accessibility,random good bye输出：output: a11y,r4m g2d bye规则：first_letter + length_of_all_letters_in_between + last_letterre.sub(r"([A-Za-z])([A-Za-z]{2,})([A-Za-z])", lambda m: m.group(1) + str(len(m.grou

原创 用python的wget库下载网页文件并解压

在colab中的代码：!pip install wgetimport wgetimport osprint('Downloading dataset...')# The URL for the dataset zip file.url = 'https://nyu-mll.github.io/CoLA/cola_public_1.1.zip'# Download the file (if we haven't already)if not os.path.exists('./cola_

原创 transformer-李宏毅

原创 PyTorch入门教程-00-相关资料

https://github.com/ShusenTang/Dive-into-DL-PyTorch/blob/master/code/chapter06_RNN/6.5_rnn-pytorch.ipynbhttps://zh.d2l.ai/chapter_recurrent-neural-networks/rnn-gluon.htmlhttps://github.com/MorvanZhou/PyTorch-Tutorial/blob/master/tutorial-contents/402_RNN_

原创 PyTorch入门教程-02-神经网络

nn模块中包含大量的神经网络模型和函数。参考：https://pytorch.org/docs/stable/nn.html

原创 PyTorch入门教程-01-张量tensor和autograd

本篇教程旨在探讨PyTorch的各个模块及功能，形成大概的知识结构和用法框架。教程的第一部分，将介绍关于PyTorch张量的基础知识。1. Tensor张量PyTorch中的张量类似于numpy的ndarrays多维数组。# Numbert1 = torch.tensor(4.)t1 = torch.FloatTensor([4])t1.dtype# Vectort2 = torch.tensor([1., 2, 3, 4])# Matrixt3 = torch.tensor([[5.,

原创 录音文件批量转写为文本-audio transcription

本文代码演示如何将音频文件转录为文本格式。使用IBM Speech to Text API，文档地址https://speech-to-text-demo.ng.bluemix.net/。apikey = 'Your API key'url = 'Your url'import jsonimport osfrom ibm_watson import SpeechToTextV1from ibm_watson.websocket import RecognizeCallback, AudioSo

原创 MRC-1-机器阅读理解任务的测评方式

本文是机器阅读理解（Machine Reading Comprehension, MRC）的相关笔记，书目为：朱晨光《机器阅读理解：算法与实践》。推荐看原书！测评方式类型评测方式多项选择和完形填空客观准确率区间答案式半客观精确匹配和F1(准确率和召回率调和平均)自由回答式主观语义匹配(难)，单词水平的匹配率(易)准确率与召回率准确率是指在模型给出的答案中有多大比例的单词在标准答案中出现；召回率是指在标准答案中有多大比例的单词在模型给出的答案中出现。

原创 NLP之Common sense常识推理

Event2Mind论文Event2Mind: Commonsense Inference on Events, Intents, and Reactions什么是常识推理？常识推理是个很有意思的话题，比如听到Alex is dragging his feet at work这句话可能反应过来他很懒惰或者无聊。图：Examples of commonsense inference on mental states of event participants背景一个理想的对话系统应该以移情的方式

原创 NLP Paper术语

最近开始大量读paper啦，顺便总结下没听过的术语。读paper是最好的学习方式啦，比读书听课更有效！Dynamic, Static , Weakly, and Strongly Typed VariableEntity MentionsIf an entity is mentioned several times, each of the mentions references the same document entity....

原创 语言学和逻辑学-术语摘抄

paraphrasesentailmentthe entailment relation between adjective-noun constructions and their headnouns (big cat |= cat), once represented as semantic vector pairs, generalizes to lexicalentailment among nouns (dog |= animal).

原创 NLP-C3-W1.1-RNN序列模型

Coursera课程笔记，本篇介绍了最简单的RNN模型，以及其扩展GRU，Deep RNN和bidirectional RNN.

原创 MIT18.06-Linear Algebra-3-乘法和逆矩阵

列组合行组合列乘以行用 A 的列向量乘上 B 的行向量得到各个矩阵，再将矩阵相加，得到 C。分块做乘法逆矩阵求解高斯-若尔当方法

原创 MIT18.06-Linear Algebra-2-矩阵消元

消元法求解方程增广矩阵消元矩阵逆矩阵：

原创 MIT18.06-Linear Algebra-1-方程组的几何解释

行图像和列图像方程组的几何解释，从行图像与列图像的角度解方程对任意的 b 是不是都能求解 Ax = b 这个矩阵方程呢？列与列必须相互独立！矩阵乘法从列空间角度将求解方程变化为求列向量的线性组合，这个方式更加科学。参考文献：https://github.com/yizhen20133868/MIT-Linear-Algebra-Notes...

原创 NLP-C3-W1.1-神经网络和Trax模型

为什么是Trax而不是TensorFlow或PyTorch？TensorFlow和Pytorch都是通用框架，在深度学习中几乎可以做任何事情。它们提供了很大的灵活性，但这通常意味着语法的冗长和额外的代码时间。Trax要简洁得多。它运行在TensorFlow后端，但允许使用单行命令训练模型。Trax还运行端到端，可以用一个简洁的语句获取数据、建模和训练。这意味着您可以专注于学习，而不是花时间在大型框架实现的特性上。为什么不是Keras？从2.0开始，Keras是Tensorflow本身的一部分。此外，

原创 NLP-C2-W4-词嵌入CBOW模型

单词用向量表示，包含句法（即词性）和语义（即意义）结构。CBOW模型continuous bag of words在CBOW建模中，我们试图通过给定几个上下文单词（中心词周围的单词）来预测中心词。例如，选择一个C=2C=2C=2的上下文，预测中间的单词happy，则上下文包含中心单词前面的两个单词和之后的两个单词：CCC个单词前：【我，是】CCC个单词后：【因为，我】换句话说：context=[I，am，because，I]context=[I，am，because，I]context=[I，

原创 NLP-C2-W3-N-gram和自动补全

自动补全系统的一个关键组成部分是语言模型。给语言序列分配概率，更容易出现的序列得分越高。例如，“我有一支笔”比“我是一支笔”的概率更高，因为第一个句子在现实世界中更容易出现。步骤加载和预处理数据加载和tokenize数据把句子分成训练集和测试集。用一个<unk>标记替换低频单词。开发基于N-gram的语言模型从给定的数据集计算n_gram的计数。用k-smoothing估计下一个词的条件概率。通过计算困惑度来评价N-gram模型。根据你的句子，给出接下来的单词的

原创 NLP-C2-W2-词性标注与隐马尔可夫模型

Part of Speech Tagging and Hidden Markov Models词性分类应用：命名实体识别Co-reference resolution语音识别马尔可夫链马尔可夫链可以用有向图来描述。图是一种数据结构，它可以直观地表示为一组由线连接的圆。图中的圆圈代表我们模型的状态，从状态s1到s2的数组表示转换概率，即从s1移动到s2的可能性。马尔可夫链与词性标注把一个句子想象成一系列带有相关词性标签的单词我们可以用图来表示这个序列其中，词性标签是可以由模型图的状态

原创 NLP-C2-W1-自动更正和动态规划

变成作业：拼写纠错资料：github链接Part 3-3: suggest spelling suggestions小知识：Short circuitIn Python, logical operations such as and and or have two useful properties. They can operate on lists and they have ‘short-circuit’ behavior.# UNQ_C10 (UNIQUE CELL IDENTIFIER,

原创 矩阵A的特征向量和特征值求解

已知：矩阵AAA：n乘n的方阵 (square matrix)xxx：n维特征向量标量λλλ：特征值Ax=λxAx={\lambda}xAx=λx，目的是找到使两边相等的xxx。求解：(A−λI)x=0(A - \lambda I) x = 0(A−λI)x=0计算行列式来测试矩阵运算是否会得到0。det(A−λI)=0det(A - \lambda I)=0det(A−λI)=02维方阵的例子：假设 A=[abcd]A = \begin{bmatrix}a&b\\c&

原创 Coursera-Mathematics for Machine Learning: PCA Week4-2

上次我们已经知道So now we need to set this to zero in order to find our βin\beta_{in}βin​ parameters and this is 0 if and only if the βin\beta_{in}βin​ parameters are given by X~n\widetilde X_nXn​ which we are going to define as equation D. What this means is

原创 Coursera-Mathematics for Machine Learning: PCA Week4-1

IntroductionWe have:a dataset XXX in RDR^DRD consisting of n vectors (n training examples)n vectors X1X_1X1​, …, XnX_nXn​ where XiX_iXi​ are D-dimensional vectorsObjective:find a low dimensional representation of the data that is as similar to

原创 Coursera-Mathematics for Machine Learning: PCA Week3

Projection onto 1D subspacesorthogonal projection of x onto uX : 2-D vectorU: 1-D subspace u which is spanned by the vector bTHis projection is denoted as pi u of x: this matrix is a projection matrix that projects any point in two-dimensions onto the

原创 Coursera-Mathematics for Machine Learning: PCA Week2

GitHub链接：https://github.com/schostac/Mathematics-for-Machine-Learning/tree/master/principal_component_analysisNumpy tutorial：https://github.com/schostac/Mathematics-for-Machine-Learning/tree/master/principal_component_analysis

原创 【全】数学计算工具+编程cheatsheet

转换radian和degreehttps://www.rapidtables.com/calc/math/Cos_Calculator.html计算器https://web2.0calc.com/?action=checkadblock

原创 机器学习基础之PCA-协方差矩阵

基础：https://www.zybuluo.com/mdeditor#1468315-full-reader协方差covariance, correlation & linear regression are closely related.covariance解释和测量linear relationship的方向，correlation解释linear relationship的大小covariance为正，表示向同一方向move求解协方差矩阵的步骤矩阵X由三个向量构成，

原创 Week1考试查缺补漏：A-B testing

One online shopping business found that 20% of shoppers quit during the checkout process without buying anything. A good next step would be:When the reason that shoppers are dropping out of an online checkout is unknown, concluding that shoppers don’t und

原创 Week1.8-风险指标-杠杆和声誉风险

风险指标Risk Metrics杠杆风险最常见的业务风险似乎源于过高的杠杆：当公司的负债高于它的价值时，它便很难生存。The most common sources of business risk seem to stem from excessive leverage. When a company owes more money than it is worth, it is unlikely to survive.Excessive leverage = low survival rate

原创 Week1.7-盈利率/效率指标-酒店房间

Profitability/Efficiency Metrics: Hotel Room Occupancy Optimization不是所有的库存中的消耗性资产都是传统意义上的摆放在架子上的产品，有两个很重要的例子是航空票务和酒店房间。以下说明为什么这些可以被看做是完全浪费型的资产。消耗性资产wasting assets沉没成本sunk cost一个航空公司有定期安排的航班，比如说从罗利达勒姆机场到旧金山。航空公司如果卖出一张票，那么它的最小可变成本就仅仅是额外100公斤需要的燃油费，来自于这名乘

原创 Week1.6-盈利率/效率指标-库存管理

Profitability/Efficiency Metrics: Inventory Management我们已经认识了一些最重要的针对企业销售的收入业务指标。现在我们要看一下盈利能力或效率指标，重点关注目前广泛用于衡量企业库存管理效率的指标。并且我们会告诉你如何订到最便宜的酒店房间的秘密。We’ve already identified some of the most important revenue business metrics, focusing on enterprise sales.

原创 Week1.5-动态指标案例Amazon.com

动态盈利指标Revenue Metrics - Amazon.com as a Leading Example of Use of Dynamic Metrics企业销售依赖于销售人员和潜在客户的一对一的会议，他们代表了销售连续统一体的两个极端：Enterprise Sales = Personal以传统收入指标为主导vsComputer Sales = Impersonal电商通过不与人直接的接触来诱使潜在客户购买商品但是成功的电商会设法通过网页或移动端界面管理用户体验，不会让客户觉得

原创 Week1.4-传统企业销售漏斗Traditional Enterprise Sales Funnel

收入指标是针对外部活动的，它们从针对一个客户延伸至面向多名客户，它们衡量一个公司的识别潜在客户能力的高低，与他们交流可以提供给他们什么，了解他们的价值主张，最终将产品卖给他们。在看完这个视频之后，你会有能力去识别跟踪最重要的那些可以决定传统企业销售的成功与否的商业指标。企业销售 Enterprise Sales我们会有点宽泛地用企业销售这个术语去指那些任何需要有公司全职销售员参与的销售。企业销售原来指复合产品和服务的大量销售 是一项精心制作的资本设备，像一个风力涡轮机或者一个投标过程去赢得，一个建筑大