2019年10月

2019/10/17

在实验室的电脑上安装了pycharm、anaconda还有很多包，通过各种笨方法下了WinSCP，连上了老师的服务器~ 在自己的小破本上很多搞了很久都没有解决的东西，在新电脑上一下就解决了~超开心！

2019/10/19

d2l-pytorch/ch04_the_preliminaries_a_crashcourseuntitled folder
Automatic_Differentiation
Data_Manipulation
Documentation
Linear_Algebra
Naive_Bayes_Classification
大概内容就是torch.tensor，还有矩阵、线性代数、贝叶斯分类器
torchvision.transforms
torchvision.datasets

2019/10/20

Naive_Bayes_Classification
在师兄的详细讲解下终于把朴素贝叶斯分类搞清楚了个大概orz。。。代码的主要部分也已经搞清楚啦~下一步就是自己加深理解，然后自己实现。
在此附上师兄的博客~~https://gakkiri.github.io/

今天大概了解了的内容~

• 朴素贝叶斯分类器在MNIST数据集上的应用
• 解决了一个图片为什么不能显示的bug （display.set_matplotlib_formats(‘svg’)这句话不能加上去，否则就会报很奇怪的错，也不知道为啥。。。但是加上好像也没什么用）
• 深入理解了拉普拉斯平滑
• 还有对数似然估计~~

每天都有小进步好开心~~

2019/10/23

回家了一趟，今天把一些东西捡起来。。
会用Python的matplotlib包画一些概率模型了。。。

2019/10/24

今天开始 线性回归模型~
学了torch.nn.Linear( )
参考链接 torch.nn.Linear

notes:

X = np.random.normal(scale=1, size=(num_examples, len(w))) 
 #`在这里插入代码片，此概率分布的标准差（对应于分布的宽度，scale越大越矮胖，scale越小，越瘦高）

y = torch.from_numpy(y).float().reshape(-1, 1)   # reshape(-1, 1)可以自动识别行数`

question：

1. TensorDataset()传入的应该是一个张量，不知道 * 是什么意思？？

dataset = TensorDataset(*(features, labels))  # * 不能少， 否则会报错

2019/11/5

前一个星期做老师要求的关于背包问题的小算法，不算难，但是很繁琐，用pytorch中的矩阵写的~也算是用Python写出的第一个真正意义上的自己的小东西吧，anyway，克服了对Pytorch的恐惧，也算是一个小小小进步吧！就是没什么作用就对了hhhhhh

最近做的东西可以说是很杂了，还在研究d2l-pytorch里面linear_neural_networks的Image_Classification_Data(Fashion-MNIST)。

看了一篇论文“ACCELERATING DEEP LEARNING BY FOCUSING ON THE BIGGEST LOSERS”， 是今年十月份的康奈尔大学的论文，大致是说一种抽样技术selection backprop，用于通过训练优先处理高损失的示例。损失函数L()由向前传播决定，SB通过概率函数p(L）决定是否将某个示例用于梯度更新，为梯度更新选择足够数量的批处理（Mt）示例， SB再基于此次批处理的梯度更新网络。还在努力扒代码……看起来不太简单的亚子……

一个月前在git上看的一个关于中文命名实体识别的项目了，涉及到BILSTM+CRF， 中文命名实体识别，实体抽取，tensorflow，pytorch，BiLSTM+CRF ， 之前一直搞得很头痛，大概是心理原因，一看到那么复杂就怕了，昨天好像突然开窍了，有了思路（看代码也需要思路??hhhhhh）大概是自己前段时间看各种教程，有了一定的代码基础和心理基础了，开心小李正在努力扒代码~~

这两天的任务应该是给上个星期写的背包问题小算法debug，然后看一下关于svc（貌似这个名字？？）的相关内容~然后继续手撕代码

加油少女！

2019/11/10

BILSTM+CRF 的代码撕的差不多了，还有一些细节问题和结果处理。感触最深的就是nn.Embedding 和 nn.lstm函数吧，还要经常复习哦！
老师给我布置了任务，要看懂师兄以前关于布匹瑕疵点匹配的代码，可能是想让我写论文吧+跟进师兄进度吧hhhhh。看了一下，emmmmmm难得很……
师兄的代码用的是模型是Cascade-RCNN-ResNeXt101-FPN。。。emmmmmmmm看来是需要一些时间了。。
今天我看了CNN， 正在看Faster RCNN，还处理了一些细节的函数和问题~总的来说还是挺充实哒！

2019/11/13

这几天一直都在看这几个基本模型，CNN, RCNN, VGG, faster RCNN, ResNeXt, ResNet, 不能说特别懂，但是还是理解的七七八八的了。现在准备开始看代码啦！
决定在另一个博客里记下所有我学过的函数，不管大小难易，方便后面复习。

2019/11/15

开始撕代码！
最近看了挺多函数的，今天比较收获大的就是了解了dilated conv
还看了一些基本的函数框架比方说 nn.Conv2d, nn.BatchNorm2d …

2019/11/21

resnet代码撕完了嘿嘿，接下来看faster rcnn，原理都已知晓。
准备看的时候老师又给了师兄的一个项目申请书，大概看了一下，涉及到centernet（CenterNet :Objects as Points） 和 mask-rcnn，今天啃了centernet的原理，但是很牵强，还需要学下翻墙啃下论文~（hiahiahia我保存了好多论文啊都放着没看，这篇一定要看了额TAT）
今天涉及到的小细节： 看了NMS的代码，还复习了bbox 回归(损失函数中加入正则项λ||w^∗||2 是为了避免归回参数wT∗过大)。。。大概这些吧（撤）

2019/11/24

交叉熵
Faster RCNN 源码解析(3.2) – Anchor 生成(generate_anchors.py)
faster rcnn中anchor的生成过程理解
喵喵，这几天的学习记录，积累到一天还真不知道怎么说。。。明天又是周一了（TAT）。。。
这个周末解决的rpn的算是预处理阶段吧， 搞定了AnchorGenerator 还有 RPNHead（返回cls_logits 和 bbox_pred）
rpn网络那里又有一堆乱七八糟看着头大的函数，，，下周慢慢啃吧咳咳
（麻蛋为什么乌七八糟搞一通，最后总结起来就这两句话TAT）撤了撤了

2019/11/28

1. Low-level feature： 通常是指图像中的一些小的细节信息，例如边缘（edge),角(corner),颜色(color),像素(pixeles), 梯度(gradients)等，这些信息可以通过滤波器、SIFT或HOG获取；
   High level feature：是建立在low level feature之上的，可以用于图像中目标或物体形状的识别和检测，具有更丰富的语义信息。
   通常卷积神经网络中都会使用这两种类型的features: 卷积神经网络的前几层学习low level feature，后几层学习的是high level feature。

师兄的代码里，RPNHead的classification_logits_regression 和 bbox_prediction 是用 Conv2d来定义的。

self.cls_logits = nn.Conv2d(in_channels, num_anchors, kernel_size=1, stride=1)
self.bbox_pred = nn.Conv2d(in_channels, num_anchors * 4, kernel_size=1, stride=1)

t = F.relu(self.conv(feature))
logits.append(self.cls_logits(t))
bbox_reg.append(self.bbox_pred(t))

今日问题：为啥要用conv2d来定义bbox_reg???