qq_52662631的博客

TF-IDF是信息检索领域中对搜索词重要性的度量，衡量一个关键词w对于查询所提供的信息。TF词频：表示关键词w在文档Di中出现的频率；Di为第i个文档中所有词的总数IDF逆文档频率：表示词的普遍程度；一个词越普遍，其IDF值越低；所有文档总数N，I表示关键词w是否出现在Di文档，I=0/1是指示函数TF-IDF=TF*IDF总结：当一个词在文档中出现的频率越高且普遍度低时，其tf-idf值越高；兼顾了词频与新鲜度，可以过滤掉一些常见的词，保留能反映特征的重要词TextRank

在python中，一切皆对象。对象的本质是id地址，类型，值，每个对象都占一个内存块。例如：a=3，a是变量，存在于栈内存，3是对象存在于堆内存，可以看做是变量通过id地址引用了对象。变量必须有初始化的地址，不能为空，当堆内存中的对象没有被引用时，将会被垃圾回收机制回收。同一运算符：is：用于判断两个变量引用的对象是否一致，看起来比较严格；==：用于判断两个变量引用对象的值是否相等。整数缓存问题：在pytorch中，如果要在>-5的区间创建两个一样的整数对象，在内存中...

预训练模型是为了解决深度神经学习中大规模参数学习问题，其核心思想是在大数据上对深层次神经网络进行预训练得到模型参数，然后将这些训练好的模型运用到具体的下游任务中。在现代自然语言处理任务中，用大规模语料库进行无监督训练得到的词的分布式表示被广泛使用，其中Word2Vec实现了在低维条件下用稠密向量对词进行表示，但是这种方式只能提取浅层文本表征，忽略了上下文，无法在不同语境下对词的句法和语义进行有效表示；ELMo采用双向长短期记忆网络对语言模型实现了基于上下文的词嵌入表示；直到Google在Transfor

假设有一个图片识别十分类的任务，输入图片的像素点有3072个（32*32*3），那么得分函数矩阵如何求得？只需要一个W权重集合矩阵（10*3072）*像素点矩阵（3072*1）=得分函数矩阵（10*1），通过反向传播逐步优化权重矩阵。softmax分类器是将得分值转化成概率，把得分函数的任意得分值转化成[0,1]，常用的有sigmoid函数。神经网络的整体架构是输入层，隐藏层，输出层，在每个隐藏层之后都要加上一个非线性变换函数即激活函数，比如sigmoid（当自变量很大或很小时容易出现梯度消失），r

RNN是基本的序列处理模型，主要应用于自然语言处理。与传统神经网络不同的是，它考虑了之前输入的信息，依赖于神经网络在上一周期所产生的输出。RNN可以看做是若干个由输入层，记忆单元h，输出层的连接，在每一组的连接上都有一个参数W用于传输上一周期的输出结果。随着序列的不断推进，前面的隐层将会影响后面的隐层；损失函数也会随着序列的推进而不断积累。除上述特点之外，标准RNN的还有以下特点：1、权值共享，图中的W全是相同的，U和V也一样。2、每一个输入值都只与它本身的那条路线建立权连接，不会和别的

CNN经常被用于图像识别，语音识别等场景；在图像识别中，它的主要用于特征提取，还可用于关键点定位以此来判断人的各种动作。与神经网络不同的是，CNN多了卷积层和池化层，卷积层用于提取特征，池化层用于特征浓缩；除此之外，在CNN中也有一个关于“深度”的概念，可以将CNN看成有三维形状（3个通道）的神经网络。例如输入层输入一个32*32*3（h*w*通道）个像素点的图片，32*32表示图片的像素点，3表示输入图片是彩色3维，即RGB=3，卷积层在提取特征时，首先要设置n个filter用于卷积计算，此时fi