![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络与机器学习
文章平均质量分 80
爱吃苹果的魚
学习中...
展开
-
【kaggle】北大&百度发起的自动驾驶竞赛的初步了解
前言:{ 最近在kaggle上瞎逛时,忽然看到了一些新竞赛,其中就有北大&百度联合发起的自动驾驶相关竞赛[1]。之前没有了解过自动驾驶,这次趁着这个机会了解一下。}正文:{ 首先是竞赛任务。 此竞赛的任务是预测图片中车辆的型号,朝向和位置。值得一提的是,这次的任务不是分割,而且训练集和测试集都配有mask图片,不过这个mask遮住的是不需...原创 2019-10-27 22:59:24 · 1776 阅读 · 14 评论 -
【阅读记录】贝叶斯相关知识(极大似然估计与贝叶斯分类器)
前言:{ 上一期[1]实际应该算是阅读记录,因为主要参考的只有[2],这一期也是继续后面的内容。}正文:{ 极大似然估计(Maximum Likelihood Estimation,MLE): { 这个概念在《概率论与数理统计》中有涉及,不过我还记得考试时相关的题目都很简单,只需要取对数求导即可,更深的内容我就不了解了,这次正好...原创 2019-03-16 18:56:13 · 459 阅读 · 0 评论 -
【论文阅读记录】一篇关于地震预测的论文
前言:{ 这几天开始忙了,可能时间没有之前充裕,但是我尽量3天一更吧。 这篇论文的名称是《Machine Learning Predicts Laboratory Earthquakes》(机器学习预测实验室地震)[1],读一读扩充一下视野。}正文:{ 在第一节,作者先介绍了经典的地震预测方法:基于地震的间隔时间来预测。但是,这种方法在最近的一段...原创 2019-03-16 17:11:35 · 990 阅读 · 0 评论 -
【问题探究】tensorflow中batch normalization的特点
前言:{ 最近在训练自己的模型,但是评估结果很不理想(虽然训练时表现的结果已经很不错了)。在网上查了查,发现了tensorflow里batch normalization的一些特点。} 正文:{ 根据我自己的理解,batch normalization的作用是根据统计数据使得输入数据的分布标准化(具体信息参考[1][2])。为了提高模型的性能,tensorf...原创 2019-01-28 22:51:48 · 186 阅读 · 0 评论 -
【杂散记录】西瓜书的部分习题外加几个专利
前言:{ 这几天休息,没做什么事情,这里就放些之前的记录。} 正文:{ 西瓜书习题: { 上图是神经网络的梯度计算。 } 技术推荐: { 焦点交叉熵和路径对比: http://36.7.84.108:9991/pdf/pdfPlugin?...原创 2019-01-08 22:08:27 · 144 阅读 · 0 评论 -
【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)
前言:{ 最近很久没跟新了,本来想好好休息一段时间,但我还是放不下当前的学习任务,所以就继续看起了西瓜书[1]。 很久以前我就见到过支持向量机的相关内容,不过从来都没有仔细琢磨,只知道这是一种分类方法。不看不知道,看了后才发现其中涉及很多数学知识(高数里没涉及到的数学知识),我感觉这值得单独开几期。} 正文:{ 支持向量与支持向量机(SVM):...原创 2019-01-26 22:23:05 · 567 阅读 · 1 评论 -
【杂散记录】机器学习的部分新技术
前言:{ 本来这次想放点西瓜书的手稿,但不知道为什么图片上传不了(用手机4G也上传失败),所以这次休息,随便放点东西。} 正文:{ 嘴型序列检测(语音获取): http://36.7.84.108:9991/pdf/pdfPlugin?patentAppNo=201810496073.2&patentType=%E5%8F%91%E6%98...转载 2019-01-02 21:38:11 · 225 阅读 · 0 评论 -
【技术分享】机器学习的部分新技术 (2)
前言:{ 之前我浏览过很多机器学习相关专利,其中有些我感觉还是很有质量的,所以我自己有记录一些精选专利。这次也是相关专利的转载。} 正文:{ 卷积+循环网络的序列预测(股票): http://36.7.84.108:9991/pdf/pdfPlugin?patentAppNo=201810469767.7&patentType=%E5%8F...原创 2019-01-05 18:16:24 · 255 阅读 · 0 评论 -
【零散知识】gradient boosting的简单实践(xgboost)
前言:{ 昨天简单了解了一下gradient boosting,实际上在机器学习比赛中,gradient boosting的算法非常流行。这次要记录的是gradient boosting的一种实现:xgboost(eXtreme Gradient Boosting)。}正文:{ xgboost的简单介绍: { 论文原文地址:[1...原创 2019-03-20 17:13:24 · 764 阅读 · 0 评论 -
【零散知识】梯度提升(gradient boosting,GB)的简单记录
前言:{ 之前在kaggle上看到了几个之前没学习过的模型,梯度提升机(gradient boosting machine,GBM)就是其中之一,可是《机器学习》[1]里没有相关介绍,因此我就在网上找了一些资料了解一下gradient boosting。}正文:{ boosting算法: { 首先需要介绍一下boosting算法...原创 2019-03-17 22:06:58 · 899 阅读 · 0 评论 -
【阅读记录】聚类(《机器学习》第9章)
前言:{ 之前《机器学习》[1]第8章还有几个习题没搞明白(8.1和8.2我甚至连题目的意思都还没看懂,可见我的水平是有多捉急),这次就先进行第9章的内容,毕竟时间宝贵(也许有一天突然开窍了也说不定)。}正文:{ 聚类指标和距离度量: { 聚类是一种无监督学习。度量聚类效果的指标有两类:外部指标和内部指标。 外...原创 2019-03-29 18:00:38 · 446 阅读 · 0 评论 -
【论文阅读纪录】Gated-SCNN: Gated Shape CNNs for Semantic Segmentation
前言:{ 前几篇分割网络的论文都是在[1]中找到的,开始我发现我忘了[2],在[2]中我找到了一个比较新的网络:Gated-SCNN[3],这次就来看看它有什么特点。}正文:{ 在论文的第一节,作者指出了目前分割网络所面临的问题,包括使用略微修改的分类网络会降低网络输出的空间解析度,和颜色、形状(shape)、纹理信息都被混在一起处理。因此,作者提出了一种...原创 2019-09-13 23:28:27 · 2408 阅读 · 3 评论 -
【论文阅读纪录】UPSNet: A Unified Panoptic Segmentation Network
前言:{ 今天阅读的还是在之前的awesome semantic segmentation[1] 中看到的论文UPSNet[2],主要针对全景分割(Panoptic Segmentation)[3]。}正文:{ 在论文的第一节,作者提到了一个现象:目前分割任务包括语义分割(Semantic Segmentation)和实例分割(Instance Segme...原创 2019-09-09 19:54:19 · 378 阅读 · 0 评论 -
【论文阅读纪录】High-Resolution Representations for Labeling Pixels and Regions(HRNetV2)
前言:{ 最近在github上看到了一个语义分割的汇总[1],上面有很多论文我都还没看过,这次我打算选一个比较新的来读读看。 这次选择的论文是2019年的High-Resolution Representations for Labeling Pixels and Regions [2]。}正文:{ 在论文的第一节,作者介绍了目前一些高分辨率风格...原创 2019-09-08 20:56:52 · 1268 阅读 · 0 评论 -
【论文阅读纪录】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
前言:{ 最近很久都没更新了。说实话,没时间都是借口,主要还是忘记了要时刻学习。 这段时间我在了解segmentation网络,之前我搜到了一篇腾讯云社区上的文章[1],标题说其秒杀DeepLab。这确实激起了我的兴趣,因此我决定先读一读原论文[2]。 值得一提的是,此论文的目标是缺陷检测(分割),我很好奇其能不能泛化到其他的segmentation领域。}...原创 2019-09-06 15:13:14 · 9066 阅读 · 20 评论 -
【论文阅读纪录】如何处理深度学习中图像的标注遗漏(missing annotation)
前言:{ 很久没有更新了,这是因为之前我很幼稚地觉得写博客有点浪费时间。但是现在看来,不整理笔记的话学习效率更低,所以还是继续更新了。 今天的这个话题是之前多目标识别[1]的后续。本来想换个数据集试试目标检测任务,但是现在遇到些棘手的问题,其一就是如何处理样本的标注遗漏(missing annotation)。 下面简单纪录我读到的相关论文。}正文:...原创 2019-06-14 22:09:00 · 1726 阅读 · 7 评论 -
【论文阅读纪录】M2Det(目标检测)
前言:{ 之前github上搜目标检测的模型,搜到了几个效果不错的模型,这次要介绍的就是其中之一:M2Det[1],[2]。 这次的博客就用来做M2Det论文的阅读纪录。}正文:{ 在文章的一开始,作者介绍了目标检测的主要问题:目标的尺度不定。解决这个问题的方法有两种:使用图像金字塔,即对原图进行缩放以使用不同尺度的图像。由于需要反复计算特征...原创 2019-06-18 22:04:14 · 818 阅读 · 0 评论 -
【阅读记录】降维与度量学习(《机器学习》第10章)
前言:{ 我大概看了一下这一章的内容,有很多是我之前了解过的,学习这一章应该不会花费我太多时间,所以就连着上一期一起做笔记了。 线性代数警告!}正文:{ k近邻学习: { 书中描述的比较简单,这种方法大致意思就是:无标签样本标签由周围最近的k个有标签样本的标签决定(哪个标签最多就是哪个标签)。 很明显...原创 2019-04-13 21:21:38 · 262 阅读 · 0 评论 -
【机器学习实践】自动调参的实践(hyperopt)
前言:{ 在看西瓜书11章的时候,突然想到模型的超参数问题。之前我都是在尝试别人的模型+自己凭感觉给的超参数,不过学习的时候最好不要靠感觉(话说靠感觉也要能解释的通)。 我记得去年我去了谷歌的线下开发者大会,当时遇到一个谷歌的工程师,我向他咨询为什么我修改的模型效果不好(我把inception模型中间部分的数据提取出来做特征,但是效果反而变差),当时那个工程师告诉我一些事情...原创 2019-04-25 10:12:04 · 2277 阅读 · 0 评论 -
【零散知识】概率神经网络(Probabilistic Neural Network,PNN)
前言:{ 又到了该更新的时间,这次更新的内容是之前见到了概率神经网络(Probabilistic Neural Network,PNN)。} 正文:{ [1]中对概率神经网络的介绍非常简单,但没有图。 [2]中给出了一张结构图,见图2。 按照[1]的介绍,概率神经网络包括输入层,模式层,求和层和输出层。 输入层接受数据输入,...原创 2018-12-27 22:52:10 · 6787 阅读 · 3 评论 -
【论文阅读记录】FaceNet的简单记录
前言:{ 最近我去了支付宝的开放日活动,似乎看到了人脸支付的未来。我也趁热打铁,借助目前比较流行的模型了解一下人脸识别的相关模型。 我在谷歌上搜到FaceNet[1],这是谷歌的一个模型,专门用来识别人脸。} 正文:{ 论文说的很明白,模型主要分为两部分:特征提取和距离判定。结构如图2。 其中deep architecture是特征提取...原创 2018-12-15 20:20:06 · 423 阅读 · 0 评论 -
【零散知识】径向基函数,径向基神经网络和其与BP神经网络的区别
前言:{ 最近在重新看傅立叶变换,感觉这简直是打开新世界的大门。都怪我之前没学好,现在看起来比较费劲,花了不少时间,所以这次还是零散知识。 这次的主要内容都是围绕径向基神经网络展开的。}正文:{ 根据[1]中的介绍,径向基函数(Radial basis function,RBF)是一类函数。设输入样本为x,一个中心点为c,则任何只依赖x和c之间距离的函...原创 2018-11-27 17:25:17 · 4688 阅读 · 0 评论 -
《Quantization Mimic: Towards Very Tiny CNN for Object Detection》的阅读总结
前言:{ 此文为论文《Quantization Mimic: Towards Very Tiny CNN for Object Detection》的阅读总结。 此论文的主题是速度和结构的优化,而不是提高准确率;综合了两种方式:Quantization(量化)和Mimic(模仿)。 论文地址:https://arxiv.org/pdf/1805.02152.pdf...原创 2018-09-10 19:16:25 · 1636 阅读 · 2 评论 -
YOLO更新的相关记录(YOLOv2)
前言:{ 在写了YOLO的笔记(https://mp.csdn.net/postedit/82634004)后,我又看到了它的几个更新,目前更新到了YOLOv3。我就来看看都在哪些方面做了改进。 文章地址:https://arxiv.org/pdf/1612.08242.pdf(YOLOv2)} 正文:{ 在第一节,作者引入了YOLO9000,一个...原创 2018-09-17 19:22:56 · 145 阅读 · 0 评论 -
交叉熵与softmax的初步了解
前言:在调试tensorflow官方教程代码时,我发现了交叉熵(Cross Entropy)损失和其之前所用的softmax函数。我还没在《神经网络与机器学习第3版》中看到交叉熵,就大概先了解一下,并且记录下我目前了解到的信息。 正文:先说交叉熵的公式: 如果是在训练神经网络的情况下,p(i)代表标签中当前样本属于i类的概率。在mnist的标签中此项非1即0,而且只有某一类对应的概率是1,其他都是...原创 2018-03-23 13:08:14 · 489 阅读 · 0 评论 -
Python从零开始(习题2.8和2.9)
前言(): { 因为工作的原因,这次更新的比较晚,以后试着跟上进度。 之后大部分的Python学习都是从《神经网络与机器学习第三版》中的习题出发的。 }正文(): { 本次实验习题比较简单,所以主要收货是对numpy的用法的熟悉。 习题2.8(): { 代码如下:import numpy as np#主要函数,其完全按照书上的公式原创 2018-01-29 23:01:25 · 440 阅读 · 0 评论 -
神经网络与机器学习(第3版)阅读笔记{第2章}
前言(): { 上一章中提到了Bayes的相关知识,但我感觉我理解的还是太浅薄了。不过本章到是又涉及到了Bayes,我也可以加深一下理解。 还有,之前我没有记录关于公式推导的思考,本次我会尽量多写点关于公式推导的内容。 }正文(): { 本章有以下几部分内容: 线性回归模型;最大后验估计;最小二乘法;最小描述长度原则;和固定样本大小考虑。 线原创 2018-10-24 22:30:06 · 444 阅读 · 0 评论 -
零散记录--可形变部件模型(Deformable Part Model)
可形变部件模型(Deformable Part Model)原创 2017-12-06 23:30:31 · 582 阅读 · 0 评论 -
神经网络与机器学习(第3版)阅读笔记{第1章}
第1章,Rosenblatt感知器原创 2017-11-13 00:01:27 · 542 阅读 · 0 评论 -
Python从零开始(库的安装与初步使用3+习题1.6)
搞了好一阵子终于有个结果了。原创 2017-11-22 00:54:57 · 394 阅读 · 0 评论 -
联结主义时间分类(Connectionist temporal classification)的论文笔记
前言:{最近在github上更新了一些代码,但没在这里更新文章,这次就在这写一篇论文的阅读笔记。论文是《Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural 'networks》(Alex Graves, Santiago Fernández,Fa...原创 2018-09-09 15:25:12 · 4659 阅读 · 0 评论 -
YOLO(You Only Look Once)论文记录
前言:{ 最近想了解以下目前比较先进的目标检测(object detection)模型和方法,所以就在github上搜到了https://github.com/amusi/awesome-object-detection,这里面介绍了不少目标检测的文章。 YOLO(You Only Look Once)我之前见过,可只是知道它是目标识别的方法,并且效果不错,但没有了解其具体过...原创 2018-09-11 22:37:44 · 260 阅读 · 0 评论 -
YOLO更新的相关记录(YOLOv3)
前言:{ 这次记录YOLO的最新版本YOLOv3的相关改动,文章地址:https://arxiv.org/pdf/1804.02767.pdf。} 正文:{ 第二节中提到了相关改变。 当与标签框非最佳匹配的框先验(box prior)的预测与标签框的覆盖没有超过一个阈值时,此预测只参与目标性得分的损失计算(即其目标性为0);并且当与标签框非最佳匹配的...原创 2018-09-23 19:11:13 · 672 阅读 · 0 评论 -
【神经网络实践】tentorflow上的多目标识别(5,完)
前言:{ 经过这么久,这一系列终于结束了。} 正文:{ 网络的特征提取部分被我换成了inceptionV3。用分类训练好的pnasnet进行单目标分类的效果还不错,但是用于多目标检测时却学不到东西(可能是此网络过于复杂,特征到最后都被混淆到了一起)。 我做了以下实验: 1,VOC2012分类 + pnasnet + 自定义归一化 + 双补...原创 2018-11-17 23:19:16 · 1817 阅读 · 2 评论 -
【零散知识】受限波兹曼机(restricted Boltzmann machine,RBM)和深度置信网络(deep belief network,DBN)
前言:{ 最近一直在想要不要去线下的英语学习机构学英语 (本人的英语口语能力实在是低)。如果我想完成今年的年度计划,那么今年就没时间学英语了。 这次的内容是之前落下的深度置信网络(deep belief network)[1]和其涉及的受限波兹曼机(restricted Boltzmann machine)[2]。不过这次就不看原论文了,而是简单地做一次零散知识的记录。...原创 2018-11-12 23:19:06 · 1370 阅读 · 0 评论 -
【论文阅读记录】RepMet(2,完)
前言:{ 我非常想做实践部分,但之前我在github上找到的pnasnet的代码可能还有些问题(is_training=Ture时会报错),所以我还是决定先把论文看完。 上次[2]看到了[1]中第三节的,接下来继续阅读。}正文:{ 上次没有说明的是,式(2)和式(3)联合决定了输入的样本属于哪一类。 损失由两部分组成,一个是计算...原创 2018-11-04 15:21:42 · 2181 阅读 · 16 评论 -
【论文阅读记录】Focal Loss for Dense Object Detection
前言:{ 之前就见过几次Focal Loss(焦点损失),只是知道它可以用于解决样本不均衡[1],这次就来详细了解一下这种损失和对应的一种模型:RetinaNet。 论文地址:https://arxiv.org/pdf/1708.02002.pdf} 正文:{ 在论文的第一节,作者提到,目前state-of-art的目标检测模型是双阶段的结构,即首...原创 2018-09-29 16:15:22 · 157 阅读 · 0 评论 -
【论文阅读记录】Unsupervised Hard Example Mining from Videos for Improved Object Detection
前言:{ 在https://github.com/amusi/awesome-object-detection里看到了论文《Unsupervised Hard Example Mining from Videos for Improved Object Detection》(https://arxiv.org/pdf/1808.04285.pdf)。论文主要是关于使用视频来提升目标检...原创 2018-09-26 17:01:47 · 875 阅读 · 0 评论 -
【神经网络实践】tentorflow上的多目标识别(1)
前言:{ 这段时间一直在更新论文的阅读记录,文字太多,这次的形式就改成了实践记录。 本次的目标是在VOC2012数据集上实现多目标识别。} 正文:{ 最近发现了一个目前目标识别效果比较好的新网络:PNASNet[1],就把它拿来改改。不求很好的效果,只是想做做实践换换口味。本次的计划是从PNASNet中的一些部位引出一些张量,配合着最后的瓶颈层一起...原创 2018-10-04 20:59:25 · 871 阅读 · 0 评论 -
Deeplab相关改进的阅读记录(Deeplab V3和Deeplab V3+)
前言:{ Deeplab目前最新的版本是V3+,这个系列一直都有不错的语义分割表现,所以这一次我还是选择了它来了解一下。 论文地址:https://arxiv.org/pdf/1706.05587v1.pdf(Deeplab V3);和https://arxiv.org/pdf/1802.02611.pdf(Deeplab V3+)} 正文:{ D...原创 2018-09-22 13:51:53 · 15937 阅读 · 10 评论