qq_43238260的博客

前言春节回家好多天了，最近在家一直在娱乐，都好久没有学习了，哈哈哈正好趁着年初二有空，小伙伴们今天没有约我，把年前做的一个聊天机器人再回顾一下，写个记录，也提醒提醒自己该学习了…这个chatbot是基于SeqSeq的，SeqSeq的原理之前也写过一点记录(虽然写的很烂)，基于SeqSeq的原理，我制作了这么一个闲聊机器人，有两个版本，后面会把代码传到github，一个是中文的一个是英文的，两个的模型是一摸一样的，只是一个使用的中文预料数据集，一个使用的是英文预料数据集，两者只有处理数据集的部分有不同。

文章介绍的是使用SeqSeq完成一个机器翻译任务，数据集使用的是torchrext中的multi30k从德语到英语，我们先介绍Seq2Seq的原理，再进行pytorch实现。SeqSeq(attention)原理Seq2Seq的主要原理就是通过两个rnn一个充当编码器一个充当解码器，编码器的任务就是把机器翻译中源语言的句子给编码成向量，而解码器的作用就是把编码器编码好的向量再通过rnn一点点生成语言的句子，其中解码器的作用类似于文本生成。这里要注意的一些地方是，源语言(德语)和目标语言(英语)需要分.

Fasterrcnn的backbone部分以resnet50为backbone并且加入了fpn网络，关于fpn就是特征金字塔，简单来说就是融合不同尺度的特征进行检测，既加入底层卷积特征的位置信息对检测小目标很有用，又融合高层卷积特征的语义信息，关于具体实现过程可以看下面的代码分析。transfrom部分到这里就定义好了backbone部分。fasterrcnn再dataloader读入数据时仅仅做了to tensor转为张量的操作，因此读入的图像尺寸都是不一样的，在送入网络之前还要进行transf

ssd模型图示模型原理ssd主要的思想是以cnn做为特征提取网络，例如以resnet50做为提取网络，删除掉resnet后面的全连接层，再增添几层额外的卷基层提取特征，得到不同尺度的特征图，然后我们让这些不同层次的特征图分别预测不同大小的目标，浅层卷积层提取到的是比较细小的特征，越深层的卷积提取到的信息会越丰富，因此我们让浅层的卷积特征图去检测小的目标，让深层的卷积特征图去检测大的目标。还是直接上图和代码吧ssd原论文应该是使用的vgg做为backbone，这里我做了一点修改，使用更优秀的resn

docker简单命令的熟悉最近想在实验室集群上配置一个目标检测算法的环境，需要在docker下配置环境，记录一下刚接触docker的一些简单命令用法，方便以后自己查看docker命令1.docker pull安装好docker之后，可以去dockerhub寻找匹配的docker镜像，然后使用docker pull命令拉取需要的镜像$ docker pull ubuntu2.docker images镜像下载结束之后，可以使用docker images命令查看已有的镜像$ docker im

lecture7深度学习的优化方法网上搜到一篇博客觉得讲的很好这里记录一下。https://blog.csdn.net/u012328159/article/details/80311892

Training Neural NetworksActivation Functions 激活函数在神经网络中选取合适的激活函数非常重要，前面我们已经接触了一些激活函数，比如处理二分类的sigmoid函数，还有relu函数等等，损失函数很多，接下来我们详细介绍一下损失函数的细节。Sigmoid激活函数先来看sigmoid函数，看的出来sigmoid会把所有的输入都挤压到0到1这个区间内，在以前很流行使用。优点：sigmoid函数因为0到1的数值可以很好地解释为这个神经元的激活程度，为0则说明这

Convolutional Neural Networksfully connected layer在前面的课程中，我们用到的神经网络的层都是把输入展开与权重矩阵W做矩阵乘法，这也意味着输入数据将与W中的神经元每个都直接连接，所以这也叫全连接层，但是全连接层存在一些问题，比如说我们需要将输入的32323的彩色图像拉伸成13072的长向量才能与权重W连接，但是这个拉伸过程实际上就丢失了输入图像空间位置信息。而且还有一个问题就是全连接层因为要与每个输入都直接连接，所以该层的参数就会非常多，例如下图我们经过一

Neural Networkstwo-layer neural networks在以前我们是用线性函数来得到我们的score function，现在来介绍我们的神经网络，前面我们是用一个简单的乘法线性运算就结束了评分函数的计算，现在我们在线性运算之后加入一个非线性的激活函数，例如下面图中的max函数，在加入激活函数之后我们再在经过激活之后的数值再给他进行一次线性运算，用W2作为权重。这样我们就给神经网络加入了非线性，正是因为有了激活函数的存在，我们可以像搭积木一样一层一层构建很深层的神经网络。但是要注

image classification图像分类问题就是为输入图像从一组给定的类别中为其分配一个标签的问题，这是计算机视觉领域的核心任务之一，尽管他很简单但却有很多种实际应用，许多看似不同的其他计算机视觉任务都可以简化为图像分类任务。例如下图就给出了一个图像分类模型根据给出的输入图像为其分配标签。可能遇到的问题虽然图像识别任务对于人来说是微不足道的，因为大脑早已具备了视觉识别的神经系统，但是这对于计算机来说却是十足的挑战，你很难像编写一个排序算法一样对给定的图像去给出他的输出类别，而且分类算法需要对