MSFollower的博客

本文是对百度DDParser中文解析工具的安装和使用进行介绍。

关于pytorch多任务训练loss=nan的问题

问题：LaTex Error: Option Clash for package xcolor在documentclass{}前面添加：\PassOptionsToPackage{dvipsnames}{xcolor}然后导入包就可以：\usepackage{color}\usepackage[dvipsnames]{xcolor}

第一次使用FasterRCNN，尝试使用开源的代码来实现object feature extraction。看了网上有很多的博文都是复现和介绍FasterRCNN，或者直接使用torchvision里面的包，这里我介绍下使用Facebook MMF实现的FasterRCNN，包括安装和使用。第一步，建立conda环境并安装python、pytorch和torchvision，MMF要求python>=3.7，pytorch>=1.6。如果有同学不了解conda的环境构建，可以参考我的另一篇文

本文仅当做个人的工作笔记，如有错误，请指教。该方案适合于Linux系统操作。①　首先，需要在你的本机上安装git，安装命令是：sudo apt-get install git②　接着，在github上创建你自己的新的

python类的私有方法和属性（即前面加__（或_）的方法或属性）：解释：类的私有方法和属性，可以由类内部的方法来访问，但是不可以由类的实例对象来访问。若类的实例对象想直接访问私有方法或属性，则需要：实例._类名__变量名的形式。参考：https://www.cnblogs.com/randomlee/p/9026105.htmlpython类的继承与扩展：解释：可以通过将super().方法名X(参数)放在子类同名方法X的适当位置来对父类方法X的全部内容进行继承，然后可以进行扩展。（.

python中的＠类修饰符解释：对于带参数的修饰符，参数首先传入修饰符函数中，然后返回一个函数Ａ，接着被修饰类作为函数Ａ的参数进行下一步处理；对于不带参数的修饰符，类直接作为修饰符函数的参数。对于参数完整的修饰符，类修饰符不需要显式的调用，即可执行；而当出现类对象实例化时，执行初始化函数。参考：https://cloud.tencent.com/developer/article/1566268　https://blog.csdn.net/gavin_john/article/details/5

经过了几天的学习和总结，得到了一小点知识。破除理解上的障碍，希望和大家共同分享。当前的pytorch分布式训练，主要使用两种方法：DataParallel和DistributedDataParallel。本篇文章对这两种方法的使用流程和关键步骤进行介绍，不涉及很复杂的原理和内核，仅仅方便大家理解和使用。DistributedDataParallelfrom torch.utils.data.distributed import DistributedSamplerfrom torch.n..

（一）gradient_accumulate_steps　　对于模型训练来说，batch_size越大，模型效果会越好。但是某些环境下，没有足够的GPU来支撑起大的batch_size，因此这时可以考虑使用gradient_accumulate_steps来达到类似的效果。　　具体地，原来训练过程中每个batch_size都会进行梯度更新，这时我们可以采取每训练（叠加）gradient_accumulate_steps个batch_size再更新梯度（这个操作就相当于将batch_size扩大了gr

# 该代码主要是为了讲解介绍Dataloader的工作机制# 任何Dataset数据类的子类，并重写相关的函数class NerDataset(data.Dataset): # 将需要的参数进行初始化 def __init__(self, examples, tokenizer, label_map, max_seq_length): self.examples=examples self.tokenizer=tokenizer self.

解释：随机数生成器，其实是一种复杂的随机数生成算法。当使用了随机数种子时，每个随机数种子都会生成指定的批量随机数(就像指针指定了相应区域的存储内容，这里只是变成了随机数种子指向了批量随机数)。因此，当你使用相同的随机数种子时，生成的随机数是一样的（因为它指向的是同一批量的随机数）。只是，当你取出的数据量不同时，该批量数据的表现结果不同。样例：seed(0)———>(0.548813503927，0.715189366372，0.602763376072，0.544883182997，0.42

一　在NLTK中使用StanfordNLP的功能1 安装nltk:使用以下命令进行安装，pip install nltk参考2 导入nltk数据：import nltknltk.download()因为网速原因，nltk.download()很慢甚至不成功。这时，我们记住nltk.download()运行时产生的图形界面中Download Directory地址。3 下载NLTK官网上的packages包，并将其解压后名称改为nltk_data。将该包放入２记录的地.

因为平时比较忙，事情多而杂乱，没有时间和大家分享一些技术问题。但是最近老是写些浅显的爬虫代码，同时发现很多人也有相关需求，因此写些内容分享给大家。这包括了爬虫的部分插件、翻页方法、爬虫与数据结构的关系、json读写等。首先我介绍下爬虫常用的插件，selenium、bs4、lxml及其使用方式。其次，因为很多网站不会一次性展示全部网页内容，多数需要翻页及跳转，接下来介绍跳转操作。很多人，特别是后来转行到计算机类的同行，刚开始认识不到数据结构的重要性。还有很多同行，工作多年，发现数据结构的知识都用在

好长时间不用服务器，很多东西都忘记了，这里算此次的一个笔记。(1)安装anaconda：在官网上下载符合自己机器版本的anaconda，并安装在个人用户权限的某个地方。(2)尝试使用“conda list”来检验conda命令是否可用：若不可用，则键入：vim ~/.bashrc在最后一行加入：export PATH=/home/XXX/package/anaconda/bin:$PATH然后键入：source ~/.bashrc为了避免每次打开终端都要执行“sourc

（1）方法的基本思想是：对样本进行非线性变换，在变换空间进行主成分分析来实现在原空间的非线性主成分分析；（2）算法步骤：① 通过核函数计算矩阵，其元素为。其中和为原空间的样本，是核函数。② 计算K的特征值，并从大到小进行排列。找出由特征值对应的特征向量(表示第个特征向量)，并对进行归一化()。③ 原始样本在第个非主成分下的坐标为： 这里的是指第i个样本，的...

（一）K-L变换的基本原理① 对D维随机向量，用一个完备的正交归一向量系来展开： 将x表示成的线性组合，其中： ② 当只有有限的d项来逼近x，即。则与原向量的均方误差表示为： 若记，则e可以写成下式： ...

特征选择的目的：①：降低特征空间的维度，使后续的分类器设计在计算上更容易实现；②：为了消除特征之间可能存在的相关性，减少特征中与分类无关的信息，使新特征更有利于分类。主成分分析方法：（1）算法的出发点是从一组特征中计算出一组按重要性从大到小排列的新特征，它们是原有特征的线性组合，并且相互之间是不相关的。（2）算法实现思路：①记为p个原始特征，设新特征是这些原始特征的线性组合： ...

在机器学习中，常用的近邻法包括近邻法、最近邻法、K-近邻法、剪辑近邻法、以及压缩近邻法。本篇文章，我们将对这几种方法进行介绍。