九久的博客

work report

视频来源：1、面向类脑视觉的生物视觉编码机制和模型（余肇飞）2、基于视觉编解码的深度学习类脑机制研究（何晖光）

这些团队在目标检测领域的研究和应用方面都有杰出的表现，不过需要注意的是，该领域涉及众多领域，许多其他研究机构和个人也做出了重要贡献。随着时间的推移，新的团队和研究者也可能崭露头角。当学习目标检测和其特定领域（三维目标检测、多模态目标检测、小物体目标检测）时，有一些经典的论文和在线课程可以帮助您建立知识基础。

VGG模型网络图：VGG为什么比较经典？证明了使用小的卷积核也可以达到比较高的精度。网络结构：卷积层、池化层、全连接层由于网络中1）卷积层的步长均为2，填充方式均为same，激活函数为relu2）池化层的核大小为2，步长为2，填充方式为same3）x个卷积层后面搭配上一个池化层，并且这x个卷积通道数均一致所以将卷积层和池化层并称为一个VGG块。所以VGG是由很多个VGG块组成的。VGG块编写：def vgg_block(num_conv, num_fliters): '''

环境：python3.7gpu: RTX3060CUDA: 11.4cudnn: 8.6tensorflow-gpu: 2.5.0所有的网络层使用全连接层，有BN和dropout，无卷积部分。流程：额外实现：one-hot编码、搭建顺序模型主函数：读取数据----->图片变为向量、label变为one-hot------->训练------>画图代码：import keras.layersimport tensorflow as tffrom tensorfl

文章目录优化算法局部最优鞍点与海森矩阵海森矩阵梯度消失批梯度下降Mini-Batch 梯度下降mini-banch大小选择动量梯度下降指数加权平均怎么解决鞍点问题逐参数适应学习率方法学习目标：- 知道局部最优问题、鞍点与海森矩阵- 说明批梯度下降算法的优化- 说明三种类型的优化算法- 知道学习率退火策略- 知道参数初始化策略与输入归一化策略- 应用完成梯度下降算法的优化1、为什么深度学习需要进行优化？虽然硬件水平的提升，让我们可以很方便的构建大型神经网络，但是构建神经网络的算法，还是需要我

文章目录神经网络的表达能力浅层神经网络的前向传播与反向传播浅层神经网络的表示反向梯度下降激活函数的选择目标：- 知道浅层/深层神经网络的前向和反向计算过程- 掌握激活函数的使用以及选择- 知道神经网络的参数和超参数不用太纠结有几层的神经网络是浅层，有多少层的神经网络是深层，一般的，1、2层，3、4层，浅层没救够了。神经网络的表达能力这段话我目前没有太理解，把原文放上：如果有明白的朋友欢迎留言讨论！浅层神经网络的前向传播与反向传播浅层神经网络的表示假设有一下结构的神经网络：这个网络

文章目录最优化神经网络的链式法则与反向传播算法逻辑回归的推导计算图过程最优化定义：就是寻找参数W，能够使得损失函数值最小。（简略，非数学上的定义）方法：1、找到目标函数（知道目标函数是什么，是cross-entropy或者其它的损失函数，都行）2、找到一个能让目标函数最优化的方法（梯度下降）（当梯度下降应用到神经网络时，会与机器学习的梯度下降不太一样，比如加入链式法则，反向传播算法如何应对比较大的深层/浅层神经网络）3、利用这个方法求解当梯度下降到了神经网络，就不再是凸函数了，也不会是下图右边

文章目录图像分类图形分类介绍挑战：近邻分类器图像分类图形分类介绍对于输入的图像赋予一个标签，这个标签在指定的集合中。例如：图片也可以看成数组（大型三维数组）。挑战：1、单个物体从不同角度照的照片。2、图像大小的问题（大头贴，全身照）3、物体形状（水 冰）4、遮挡问题5、光照影响（白天 晚上）6、物体和环境融合7、同一个对象有不懂类别（椅子）近邻分类器数据驱动方式提供每个类别的很多样本，进行算法学习，去识别，也就是用更多的情况去学习。我们以CIFAR-10的例子进行介绍近邻

文章目录下载使用说明Python / Matlab versionsBinary version下载Cifar10是一个小型的图片分类的数据集，不详细介绍，参照官网：这里是官网​www.cs.toronto.edu看域名就知道是外网下载起来确实比较慢，这里放在了百度云上，一共有三个版本：python，matlab和c，拿走不谢。链接：https://pan.baidu.com/s/1n9Hz_dKjRcf3ZcZ3-8EZ4w提取码：jklm使用说明以下是从官网copy过来的内容：Py

文章目录关于特征处理吴恩达老师的方法项目中的方法总结关于训练集测试集的划分关于模型评估关于假设检验Delong testFriedman test 和 Nemenyi后续检验关于特征处理吴恩达老师的方法吴恩达老师的视频中所提到的特征处理的一个原因是为了能够更好的进行梯度下降，我们试想一下，有一个多元的目标函数表达式，这个表达式里有很多特征，如果这些特征取值范围不一样，有的是0~1之间的小数，有的是几百几千的大数，那么如果我们进行梯度下降，则损失函数的等高线映射到平面上就是一个很扁的椭圆，如下图所示：

文章目录什么是深度学习硬件数据算法什么是深度学习深度学习用于计算机视觉的两个关键思想，即卷积神经网络和反向传播，在 1989 年就已经为人们所知。长短期记忆（LSTM，long short-term memory）算法是深度学习处理时间序列的基础，它在 1997 年就被开发出来了，而且此后几乎没有发生变化。那么为什么深度学习在 2012 年之后才开始取得成功？这二十年间发生了什么变化？总的来说，三种技术力量在推动着机器学习的进步：硬件数据集和基准算法上的改进由于这一领域是靠实验结果而不是理论指

文章目录数据集数据描述导入相关的包数据处理数据读取缺失值处理划分数据集特征工程机器学习模型评估数据集https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin下载.data文件即可数据描述（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤相关的医学特征，最后一列表示肿瘤类型的数值。（2）包含16个缺失值，用”?”标出。导入相关的包import pandas as

使用随机梯度下降（线性拟合里面的一种算法）进行波士顿房价预测，最后使用均方误差进行模型的评判代码：from sklearn.model_selection import train_test_splitfrom sklearn.datasets import load_bostonfrom sklearn.preprocessing import StandardScalerfrom sklearn.linear_model import SGDRegressorfrom sklearn.met

文章目录项目描述数据集介绍学习目标：熟练掌握KNN、数据集划分、交叉验证、网格搜索这些内容。项目描述本次比赛的目的是预测一个人将要签到的地方。 为了本次比赛，Facebook创建了一个虚拟世界，其中包括10公里*10公里共100平方公里的约10万个地方。 对于给定的坐标集，您的任务将根**据用户的位置，准确性和时间戳等预测用户下一次的签到位置。**数据被制作成类似于来自移动设备的位置数据。 请注意：您只能使用提供的数据进行预测。数据集介绍数据集：文件说明 train.csv, test.cs

该工具包包括：读取数据、清理数据、使用模型导入所需要的包#导入所需要的包import numpy as npimport matplotlib.pyplot as pltimport pandas as pd导入数据dataset = pd.read_csv("Restaurant_Reviews.tsc",delimiter = '\t',quoting = 3)其中使用的数据后缀为tsv而并非csv，这是由于csv是以逗号作为分隔符，tsv是以tab作为分隔符，而大多数情况下我们无法

什么是隐变量模型？隐变量模型是去学习特征最好的表示方法数据表示也叫表示学习，表示学习的核心在于：对于图片，我们用像素表示；对于人，使用人的特征：工资、年龄、性别。这些特征是可以理解的。 文本中的单词，都是容易理解的特征。那么这些特征是最好的去表示物品的方法吗？从数学/AI角度：不是，因为有很多冗余的特征+有噪音特征+不需要的特征...

Forward/Backward 算法：分为forward算法、backward算法，算法目标：得出complete o(z|x)由贝叶斯定理可得：Forward算法详解：backward算法详解：目标：将该问题拆分为更小的子问题通过边缘化的性质，可以得到：即：...

inference问题：给定θ，即给定 θ = （A,B,π）和x ，能否推出Z？如下图所示：方法一：穷举法将所有的可能的z的值进行罗列。由于A和B是已知的，也就是每个状态转移的概率是知道的，那么下面这个式子：P(z1)p(z2|z1)...p(zn|zn_1)*p(x1|z1)p(x2|z2)...p(xn|zn)是可以得到计算结果的，将所有的概率值算出来，并且值最大的作为结果即可。但是可能性太多了，而且可能性的罗列是指数级的，所以不使用该方法。方法二：Viterbi算法该算法的本质为

当我们讨论HMM里面参数的时候，通常Zi为离散型变量（为了好罗列Zi的）我们通常为了方便将变量进行标记，如下图所示：其中：参数A：代表状态的转移矩阵，大小为mm。i,j 表示为：某一个z前面是i后面是j的概率是多少参数B：用于生成观测值 （Emission），大小为mm i,j表示再i的状态下生成j的概率是多少。如果是连续型，则用GMM进行参数π：π1+π2+π3+…+πn = 1HMM模型中的两大问题：问题1：即inference和decoding问题2：分为以下两种情况（1）c

时序模型：数据会随着时间的改变二进行改变，比如温度、说话等。HMM模型是一个时序模型，因为是个时序模型所以每时每刻都有一个观测值。下图所示：Z为隐式变量，X为已知的观测值。扔不均衡硬币有两枚硬币A和B，这两枚硬币正反面概率不一样，我们记A和B各自出现正面的概率分别为u1和u2。现在小明进行扔硬币，我进行结果的观测，我跟小明之间有东西挡着，互相看不见，观测结果如下图所示：那么就有两个问题：问题1：目前我们得到了观测序列，我们能否推出小明扔硬币的序列是什么？称为inference问题问题2：能够

非时序数据：图片、特征、特征向量，就是说使用这些时数据维度不会进行改变 。时序数据：股票价格、文本、温度我们需要另一个模型去收集这些信息。

解决一段文字中代词的指代。其实这类问题是一个经典的二分类问题，只需要判断0和1解决办法：1、最简单的办法：将代词指为离该代词最近的词2、基于有监督的学习方法。（1）、收集数据（2）、构造分类器（3）提取特征句法分析：理解一个句子，有两种方法：1、结构分析 主谓宾2、凭感觉 （基于语言模型）结构分析法：将句子的结构分为一颗语法树，该语法树以主语为树根，如下图所示：其中叶子结点称为：terminals 中间结点为inter node怎么从语法树中提取特征？根据父

问题定义：给定两个实体，判断是否指向同一个实体？（本质：0和1 的问题）例如：str1 str2 是否统一实体？第一种办法：计算str1和str2之间的相似度，使用边际距离算法。第二种办法：基于规则的方法，通常用于地理名、公司名消除歧义。基于图的实体统一核心：计算A和B之间的相似度，即A的周围提取特征，B的周围提取特征，再计算A B 之间相似度怎么从图中生成特征？冲突中可以看出，我们可以提取如下特征：1、A节点本身的特征 2、A的度 3、与哪些节点相连？ 同理得出B的特征

实体消歧本质在于一个词可能有多个意思，也就是再不同的上下文中所表多钱啊的含义不太一样。例如：小米、苹果每个实体都有实体库，用于存储各种意思，如下图所示：实体消歧算法如下图所示：需要判断跟哪个意思接近，即实体相似度哪一个较高。方法：需要将句子与解释的意思转化为向量表示，核心问题：怎么提取特征并且转化为向量？1、要提取多少个字符串？2、将提取的字符串转化为向量。3、进行相似度计算...

从非结构化的文本中抽取出一些非常重要的、关键的、人们关心的数据 。核心店：挖实体+实体间的关系三元组表示（属于知识图谱范围）：信息抽取为什么这么重要？1、问答系统。2、扩充原有的知识库。3、用于法律、金融领域一些关系展示：Ontological RelationIS-AInstance-of例如：开源的知识库：关系抽取方法介绍：当数据多的时候就不用第一种方法了。...

简历分析：抽取有用分析。搭建ENR分类器1、定义实体种类。2、准备训练数据.3、训练ENRNER方法：利用规则（比如正则）、投票模型、利用分类模型（非时序 模型：逻辑回归、SVM；时序模型：HMM）基于规则的方法：用正则的办法写一些规则或者利用一定定义好的完整的词库，最后就是利用人工的办法。基于投票的方法：统计每个单词的实体类型，记录针对每个单词出现概率最大的实体模型。例前三句话中讲London划分为GEO，第四句话划分为location。那么再出现London这个单词那么它为GEO的可能性.

线性SVM缺点：线性SVM是做不到的，实际上的决策边界：怎么解决非线性模型：1、利用非线性模型-----神经网络2、把数据映射到高纬度的空间，在高纬度空间中学习一个线性模型数据映射到高维空间方法：将特征做加减乘除平方等方法获得更多的特征但是这种方法需要耗费大量时间：1、转化为高纬度模型2、高维度空间建立模型解决办法：kernel tack...

线性回归：线性分类器介绍：线性分类器图片如下图所示，有两堆数据，绿色和红色，以及有三条线将它们分开，我们需要从这三条线中选择一条线，那么选择哪一条线？这三条线准确率都是100%，那么选择哪条线？如果选择第一条线，那么如果数据有点杂音的话就不在那么准确，而且也能看出来1有点过拟合，3同理，所以我们选择第二条线。接下来解释为什么选择第二条线：从下图可以看出，我们以第二条线向这两对数据做平行线，即途中绿色虚线我们定义margin为这两条绿色线的距离，距离越大那么我们区分这两对数据的准确是不是也也越大

与其它一般的算法并不一样，因为梯度下降是迭代算法，也跟初始化的值有关系，也跟步长有关。那么是否能比较各个算法之间的复杂度呢？直观方法：每个方法都跑一下。核心：需要多少次迭代？方法：收敛分析...

AI问题 = 模型+优化优化是使用一些工具进行解决（SGD、Adm等各种算法进行优化），那么怎么选择优化算法？将得到的模型和问题，能够明确知道属于哪些问题，从而选择正确的方法。并不是使用算法就好了，也要加一些东西：比如正则化。objective function 目标函数，由目标函数分类，选择相应的优化算法全局最优解和局部最优解，如果是凸函数，那么找到的姐是全局最优解，如果不是凸函数找到的是局部最优解，此时想方设法得到最好的局部最优解。non-convex问题很难解决，解决办法：改变数学公式得到

回归：当我们拿到的样本数据中，数据大部分是向量，标记可能是连续可能是离散。当标记为连续的时候，我们做回归，如果是离散的，那么做分类。

脏数据就是再物理上存在过，但是逻辑上并不存在的数据。数据清洗是整个数据分析过程的第一步，就像做一道菜之前需要先择菜洗菜一样。数据预处理方法：1、部署环境，导入分析包和数据import pandas as pdimport numpy as npfileNameStr = '文件名'DataDF = pd.read_csv()2、尝试去理解这份数据我们可以通过对数据集提问来判断这份数据能不能满足解答我们的问题，数据是否干净需不需要进一步处理，问题包括但不限于：数据集多少数据？包含

What is NLP?NLP = NLU + NLGNLU：语言、文本——>意思NLG：意思——>语音文本解决问题：一词多义。怎么解决：如果没有语境，只能通过词语使用概率进行猜测；有语境就加上 上下文 即与该词有关的信息。例如：机器翻译。原始：每个单词对照翻译改进：先进行大概翻译，再从各个可能的翻译中选取概率最大的翻译。缺点：时间复杂度很高。语言模型：给定一句英文e，计算概率（e），如果是符合英文语法的p(e)会高，如果是随机语句，p(e)会低翻译模型：给定一对<c,

线性分类的式子作为逻辑回归的输入，再回归的时候完成分类，同时也有概率值。用于：广告点击率、判断用户性别、预测用户是够会购买给定的商品类、判断一条评论是正面还是负面。逻辑回归是解决二分类问题的。逻辑回归公式：输出：[0,1]区间g(z)为sigmoid函数sigmoid函数图：损失函数、优化与线性回归原理相同,但由于是分类问题， 损失函数不一样，只能通过梯度下降求解。对数似然损失函数：完整的损失函数：cost损失的值越小，那么预测的类别准确度更高..

准确率精确率召回率模型调参数交叉验证网格搜索

1、认识决策树决策树是分类算法中的一种，其思想很朴素，就是程序设计里面的if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。2、决策树优缺点以及改进优点： 简单的理解和解释，树木可视化。 需要很少的数据准备，其他技术通常需要数据归一化。缺点： 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成改进： 减枝cart算法 随机森林...

交叉验证交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次（组）的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最络结果。又称4折交叉验证。实际业务中常使用10折交叉验证。我们在做数据集划分是时候将数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理：·训练舞：训练集+验证集·测试集：测试集超参数搜索-网格搜索（Grid Search）通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值）

为什么要学习算法：算法是核心，数据和计算是基础。一、数据类型离散型数据：一个一个点组成的数据连续性数据：一系列连续的数（数轴上的一段）组成的数据，其y值称为概率密度，总体积分结果为1数据类型的不同应用类型不同------算法是有区别的二、机器学习算法分类监督学习：有特征值、目标值无监督学习：只有特征值1、监督学习： 分类（目标值离散）算法：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络 回归（目标值连续）算法：线性回归、岭回归...

降维：特征的数量 ，易混概念：维度：数组的维度1、特征选择是什么？选取部分特征当做最后分析得数据原因：冗余：部分特征相关性高，计算量大 噪声：部分特征对预测结果有影响主要方法：Filter （过滤式） Embedded（嵌入式）：正则化、决策树 Wrapper（包裹式），不怎么用删除地方差特整：删除相似的特征。sklearn主成分分析PCA（主成分分析）：特征数量达到上百的时...