_Ronnie_-CSDN博客

原创【笔记】NLP 数据增强（二）

打比赛看到有人总结文本增强的方法里提到了这两篇论文。以下是个人的总结记录。《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》《AEDA: An Easier Data Augmentation Technique for Text Classification》......

2022-06-28 22:03:53 815

原创【笔记】损失函数最大似然估计&最大后验估计

面试被问到最大似然与最大后验概率的区别时卡壳了，才发现自己的基础需要好好巩固一下。这一篇记录一下学习最大似然和最大后验区别，以及与损失函数之间的关系。下面记录中省略的一些推导和内容都可以去[1] 查看。最大似然&最大后验估计不得不提贝叶斯公式：P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta|X)=\frac{P(X|\theta)P(\theta)}{P(X)}P(θ∣X)=P(X)P(X∣θ)P(θ)其中，几个重要的概率：P(θ∣X)P(\theta|X)P(θ

2022-04-11 18:24:22 1698

原创【刷题】codeforces Problem - 1661B Getting Zero

题目链接Getting Zero题目大意：求最少的操作数你可以对数vvv进行两种操作：1）加1：v=(v+1)%32768v=(v+1) \% 32768v=(v+1)%327682）乘以2：v=(2×v)%32768v=(2\times v)\% 32768v=(2×v)%32768求对于给定的数vvv，最少需要多少次操作将其变为0.输入输出范例input:419 32764 10240 49output:14 4 4 15 解题思路由于每个数的数据范围限制在3276

2022-04-10 22:56:48 615

原创【笔记】Linux环境下使用tee记录python程序的标准错误输出stderr

问题描述我想要运行一个python程序，要求：print输出显示在屏幕上和保存到文件中；想同时记录标准输出（stdout）和标准错误（stderr）。下文仅针对print进行输出设置，不涉及logging库。方式1：2>&1 >log.txt（不行）使用2>&1将stderr合并到stdout，同时保存结果到文件log.txt。cmd 2>&1 >log.txt 与nohup搭配使用使得程序后台运行nohup cmd 2>

2022-01-26 20:52:44 2895 1

原创【笔记】再访word2vec

写在前面以前学习的时候忽略了很多细节，也没有对照源码[1] [2]细细理解，忽略了很多有价值的内容，这里做一个记录，自己再学习word2vec的过程。我们都知道word2vec的两种训练方法：CBOW模型和Skip-gram模型。CBOW利用中心词wtw_twt的上下文来预测中心词；Skip-gram则相反，是利用中心词wtw_twt预测上下文的词。这是模型的设计思路但是实际实现中有许多额外要考虑的东西，例如：词表很大时，模型的输出层预测就会占用比较大的开销。层次Softmax（Hierarchic

2022-01-03 23:18:06 546

原创【笔记】logging in python/模板

logging通过Handler控制将日志信息输出到命令行和文件。logging.StreamHandler() # 命令行logging.FileHandler(log_file) # 文件logging通过Formatter控制Handler输出内容的格式。log_format = logging.Formatter(fmt='%(asctime)s - %(levelname)s: %(message)s', da

2021-11-29 14:52:56 695 1

原创【笔记】Word2vec模型复现与PYTHONHASHSEED

1 Word2vec模型复现问题1.1 问题描述我在对word2vec模型（基于gensim.models.Word2Vec）进行实验的时候发现，在设置了random和numpy的种子后，结果依旧无法复现。主要表现在生成的词向量是随机的。所以我猜测问题出在是word2vec模型生成部分。1.2 解决Seed for the random number generator. Initial vectors for each word are seeded with a hash of the co

2021-09-13 20:30:58 732 2

原创【笔记】NLP 数据增强

NLP 数据增强Created time: June 26, 2021 5:23 PMLast edited time: Sept 8, 2021 20:18 PM参考资料：https://amitness.com/2020/05/data-augmentation-for-nlp/1. 词汇替换替换语句中的单词而不改变句子原本的语义，即同义词替换，同义词的来源可以有以下几种方式。1.1 基于词库的替换词库比如WordNet，可以通过NLTK、或TextBlob来使用。1.2 word-em

2021-09-08 20:19:55 425

原创【笔记】torch 乘法总结

【笔记】torch 乘法总结一、乘号(*) 和 torch.mul()element-wise 即对应元素相乘例子：>>> a = torch.randn(2,3)>>> b = torch.randn(2,1)>>> res = a * b>>> restensor([[-0.9672, -0.1052, 0.1392], [-0.8552, 0.8967, -0.6433]])特别地，如果是（

2021-05-07 19:53:03 3694

原创【笔记】论文阅读 TinyBERT(EMNLP2019) 知识蒸馏

【笔记】TinyBERT(EMNLP2019)两阶段蒸馏：预训练阶段+finetune阶段设计3种损失函数分布来适应bert的不同层级的损失计算embedding 层输出来自 transformer 层的隐藏层和注意力矩阵输出 logits 的预测层1. 知识蒸馏的设计可以将网络的任何一层称为行为函数（fff , behavior function），KD就是利用小模型（SSS, student）学习大模型（TTT, teacher）。知识蒸馏的数学表示：LKD=∑x∈XL(fS(x)

2021-04-17 17:44:46 437

原创【刷题】并查集（UnionFind）模板 python代码

并查集的知识点可以看：算法学习笔记(1) : 并查集 - 知乎 (zhihu.com)下面是自己实现的python版并查集模板"""描述：并查集（UnionFind）模板 pyhon代码创建日期：2021/2/15更新日期：2021/8/17"""class UnionFind: def init(self, items): fa, rank = {}, {} for i in items: fa[i] = i

2021-02-15 14:03:29 922 1

原创【笔记】神经网络的优化问题（一）

神经网络的优化问题（一）笔记总结自《神经网络与深度学习》第7章-网络优化与正则化1. 高纬空间的非凸优化在高纬空间中，大部分的局部最优点都是鞍点。因此，在深度网络的非凸优化问题的难点是如何逃离鞍点。通过引入随机因素，能够解决梯度下降方法在鞍点附近梯度为0的问题，从而有效地逃离鞍点。2. 改善神经网络计算的优化方法2.1 小批量（Mini-batch ）梯度下降初衷：通常深度神经网络使用的数据量都非常大，不适合一次性加载所有的数据进行梯度计算和更新，因此用到了小批量的梯度更新方法。影响小批量梯

2021-01-18 16:34:16 2164

原创 Crontab - Linux 定时任务

1. About Cron维基百科：Cron工具型软件cron是一款类Unix的操作系统下的基于时间的任务管理系统。用户们可以通过cron在固定时间、日期、间隔下，运行定期任务（可以是命令和脚本）。cron常用于运维和管理，但也可用于其他地方，如：定期下载文件和邮件。通常，任务时间表（crontab）文件储存的指令被crond守护进程激活，守护进程在后台运行，并每一分钟检查是否有定期的作业需要执行。这类作业一般称为cron jobs。2. Crontabs 文件2.1 文件地址crond是一个用

2021-01-18 14:06:00 157

原创【笔记】《Speech and Language Processing》Chapter 2 Minimum Edit Distance 最小编辑距离

C2. Minimum Edit Distance许多的NLP应用都会关注字符串的相似性这一问题。例如在拼写纠正中，用户输入了错误的单词，我们想要猜测用户的真实意图是什么。另外一个例子是共同指向（coreference），任务需要判断两个字符串是否指向同一实体。1. 一些定义Minimum Edit Distance编辑距离（Edit distance）帮助我们度量两个字符的相似程度。最小编辑距离（minimum edit distance）定义为两个字符串间将一个词转换成另一个单词的最小编辑操作

2020-07-06 17:01:09 278

原创【笔记】《Speech and Language Processing》Chapter 2 Text Normalization 文本规范化

C2. Text Normalization处理文本之前还需要Text Normalization。归结起来有以下几种Normalization方式：Tokenizing (segmenting) wordsNormalizing word formatsSegmenting sentences1. 用Unix工具进行粗略的Tokenization和Normalization可以使用几个Unix命令进行粗略的标注和标准化（以及词频统计）。如tr，可以更改输入为特定的字符；sort，可以将输入

2020-07-05 18:48:38 638

原创数据归一化 MinMaxScaler

MinMaxScalerclass sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1), copy=True)一、功能将每个元素（特征，feature）转换成给定范围的值。该估计器（estimator）分别缩放和转换每个特征，以使其处于训练集的给定范围内，例如在区间[0,1]。转换原理如下：X_std = (X - X....

2020-05-05 18:55:41 13329 3

_Ronnie_的博客