weixin_43639369的博客

RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU）1. 问题描述2. 解决办法1. 问题描述Pytorch，GPU显存明明够用，为什么还报错呢？发现此时减小batch_size 同样是没用的。根本原因是代码指定的GPU与实际使用的GPU不一致。你以为代码在1上跑，实际上是在已经有代码运行的其他gpu跑，因此显示显存不足。2. 解决办法让自己指定的gpu与实际使用的对应一致即可。比如，现在0，2，3号GPU已经在

Pytorch 中文语言模型（Bert/Roberta）进一步预训练（further pretrain）1.Motivation2.相关链接3. 具体步骤3.1 依赖项3.2 数据格式3.3 代码运行4. 结果4.1 完整的目录结构4.2 训练过程4.3 训练结果5 .附录1.MotivationBert是在大规模的语料下进行MLM训练得到的结果。然而，在具体的任务下，再在自己新的数据集进行finetune的效果并不会特别好。因此，需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练，

中文/英文 文本相似度/文本推理/文本匹配数据集汇总（SNLI、MSRP、MultiNLI、Quora、SciTail、SICK、STS、CCKS2018、LCQMC、OCNLI、XNLI）1. 所有数据集合集1.1 包含的数据集1.2 合集链接2. 英文数据集2.1 MSRP2.2 MultiNLI2.3 Quora2.4 SciTail2.5 SICK2.6 SNLI2.7 STS3. 中文数据集3.1 CCKS20183.2 Chinese SNLI MultiNLI3.3 LCQMC3.4 OCN

NLP基础：SVM手推1. SVM的目标函数2. 拉格朗日乘子法和KKT条件3. Dual对偶形式的推导3.1 线性可分支持向量机的推导3.2 (非)线性支持向量机的推导4. Kernel Trick1. SVM的目标函数目标函数是最大化 Margin根据约束条件分为Hard Constraints 和 Soft Constraints两种情况Soft Constraints情况下可以转为为 Loss 形式（Hinge loss），可利用梯度下降等方式进行优化2. 拉格朗日乘子法和KKT条件

利用TF-IDF完成Emotion Detection1. 数据加载与划分2. 文本向量化3. 建立逻辑回归模型并训练、测试4. 利用交叉验证筛选超参数1. 数据加载与划分import pandas as pdfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.linear_m

NLP基础：逻辑回归（LR）详解1. 逻辑回归（Logistic Regression）简介2. 逻辑回归优化算法推导2.1 梯度下降法（Gradient Descent）2.2 随机梯度下降法2.3 mini-batch 梯度下降3. 自适应学习率算法3.1 AdaGrad3.2 RMSProp3.3 Adam4. 迭代终止条件4.1 对数似然函数基本不再发生变化时4.2 参数基本不再发生变化时4.3 Early-stopping5. 逻辑回归实战6. 逻辑回归的缺陷7. 逻辑回归的改进7.1 L1 正则

NLP基础：机器学习指标 Accuracy Precision Recall F11. 混淆矩阵2. 例子3. Accuracy4. Precision5. Recall6. F1 score7. macro-8. micro-9. 利用sklearn内置函数计算macro、micro指标1. 混淆矩阵对于二分类，混淆矩阵如下：其中，T代表True，F代表False，P代表Positive， N代表Negative，TP可以形象的记忆为正确的分为了正样本，FN可以记为错误的分为了负样本，FP可以记

NLP基础：词性标注实战（HMM / CRF / LSTM）1. 预备知识1.1 隐马尔可夫模型1.1.1 HMM 简介1.1.2 词性标注理论推导1.2 条件随机场1.3 LSTM2. 利用 HMM 实现词性标注2.1 语料库的准备2.2 统计得到概率分布A、B、pi2.3 利用Viterbi算法实现标注2.4 运行结果1. 预备知识1.1 隐马尔可夫模型1.1.1 HMM 简介定义：指的是一个隐层的马尔可夫链（MC）随机生成不可观测的状态序列，再由状态序列生成可观测的观测序列的过程。三个概率