machine learning
文章平均质量分 84
holmosaint
这个作者很懒,什么都没留下…
展开
-
西瓜书习题3.3
3.3 编程实现对率回归,并给出西瓜数据集 3.0α 上的结果. 数据集密度 甜度 好or 坏 0.676 0.460 1 0.774 0.376 1 0.634 0.264 1 0.608 0.318 1 0.556 0.215 1 0.403 0.237 1 0.481...原创 2018-08-20 21:50:39 · 2332 阅读 · 0 评论 -
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
这篇文章提出了两个二进制类的网络模型,一个叫做Binary-Weighted-Networks,一个叫做XNOR-Net。其中BWN只有filter是二进制的表达,而XNOR-Net在input和filter上都是二进制的表达。其中指出二进制的表达XNOR-Nets在执行卷积运算时能够提升58×的速度,而可以节省32×的内存空间,这为XNOR-Nets在CPU上运行提供了可能性。Binary-...原创 2018-09-13 16:20:39 · 903 阅读 · 1 评论 -
Euphrates: Algorithm-SoC Co-Design for Low-Power Mobile Continuous Vision
(这篇博客不设计文中的硬件部分)这篇文章同样也讲述了如何在live video中应用motion estimation的算法,通过应用上下帧之间的相似信息来加速detection并且维持较高的accuracy。文中列了一张不同的object detection算法的效率和准确率的比较的图。在通常的live video的处理当中,大致的一个模块分布如下图所示:其中的imge ...原创 2018-09-18 15:19:23 · 410 阅读 · 0 评论 -
EVA2: Exploiting Temporal Redundancy in Live Computer Vision
这篇文章提出了一种叫做activation motion compensation(AMC)的算法,类似于motion estimation的方式,运用上下帧之间的相似度来减少一些重复的计算,或者说是估计发生移动的物体的位置。这篇文章不仅提出了软件层的算法,同时也co-design了一个能够有效运行该算法的硬件,但是这篇博客只讨论AMC算法。说到底,该算法就是两个主要思想的结合体:1. 利...原创 2018-09-17 20:24:29 · 646 阅读 · 0 评论 -
YOLO合集:You Only Look Once
YOLO现在有三个版本,每个版本相对于之前都有很大的进步,现总结如下。YOLO论文"YouOnlyLookOnce: Unified,Real-TimeObjectDetection":https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Redmon_You_Only_Look_CVPR_2016_paper...原创 2018-09-16 15:25:06 · 1407 阅读 · 0 评论 -
Ternary weight networks
这篇文章开发了一种新型的网络结构——ternary nearal networks(TWNs)。该网络所有的权值被限制在1,0,-1之中,只需要2-bit来存储权值信息。TWNs和全精度的网络之间的欧氏距离确保是最小的,为了高效地实现这一点,文章中使用了一个threshold-based function来近似。在性能方面,TWNs比起binary precision有更强大的描述性;同时和全...原创 2018-09-06 15:11:32 · 703 阅读 · 0 评论 -
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
本文提出了MobileNets的模型,有助于减少inference的时间,使得其可以在移动端开展运行。最重要的算法为depthwise separable convolutions,是将传统的卷积算法分解为了两步,可以减少卷积的时间复杂度和实际的运行时间。同时为了在移动端更加灵活地应用,文章提出了两个全局的超参数用来权衡latency和accuracy。相比于其他的将CNN移植到移动端的方法,...原创 2018-09-09 21:18:47 · 610 阅读 · 0 评论 -
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
这篇文章重点分析了CNN深度对于其performance的影响,并且提出3×3的filter size可以大幅提升原先的CNN performance。同时,这篇文章提出了VGG的网络架构,获得了ImageNet Challenge 2014的冠军,同时该架构在其他数据集上的泛化能力也很强。1 ConNet Configuration2 Classfication framework...原创 2018-09-09 20:15:38 · 459 阅读 · 0 评论 -
OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks
这篇文章将classfication,localization和detection三种任务同时用一个CNN网络进行实现。并且提出了一个十分厉害的feature extractor:Overfeat。在ImageNet数据集中,物体在图片中呈现的位置大致是在图片的中间,而且占据了图片很大的地方,但是感兴趣的物体分布却非常的不同。常用的解决方案有3种:1. 将CNN用在图片的不同位置,或者使用多尺...原创 2018-09-09 16:35:32 · 594 阅读 · 0 评论 -
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
摘要作者提出了一种只使用整数运算的quantization方式,比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off,并且可以在MobileNets上使用。1 introduction作者总结了目前有效将庞大的神经网络应用在资源更为...原创 2018-09-05 16:40:55 · 3952 阅读 · 3 评论 -
Accelerating deep convolutional networks using low-precision and sparsity
(这篇blog不涉及文中所探讨的dLAC设计的内容)这篇文章旨在不影响其准确率的情况下提高deep CNN的计算效率。作者采用了两种方法:1.使用2-bit代替原来的full precision进行训练和inference;2.跳过过于zero value的计算。1 low-precision deep CNN作者使用了先前研究者提出的ternary network的框架,使用2-bi...原创 2018-09-02 23:40:11 · 328 阅读 · 0 评论 -
ImageNet Classification with Deep Convolutional Neural Networks
这篇文章提出了很多卷积神经网络的先驱——AlexNet。和其他的很多前馈神经网络相比,由于CNN的卷积层不是全相联的,所以CNN的参数会少很多,而且训练起来会更加地容易。作者在训练AlexNet的时候,为了加快速度,使用了两块GTX 580 3GB GPU,并且对网络的结构进行了一定的改造以更好地适应GPU的性质。1 总体框架AlexNet的网络基本结构为:输入层——5层卷积层...原创 2018-08-30 15:27:52 · 1262 阅读 · 0 评论 -
Learning representations by back-propagating errors
这篇文章清晰地阐释了backpropagation的过程。backpropagation的精髓就在于chain rule。同时利用神经网络的结构,使得gradient descent的过程就如同反向的神经网络一般。假设我们有如下一个神经网络其中最终的loss function被定义为gradient descent所做的事情就是不断调整W的取值,使得最终的los...原创 2018-08-29 22:23:21 · 5519 阅读 · 0 评论 -
Visualizing and Understanding Convolutional Networks
这篇文章基于AlexNet,对CNN中每层的作用进行了可视化的分析,提出了新颖的可视化工具,让开发者能够清晰地知道每一层提取到的feature,并且有助于研发出performance更好的CNN框架。同时,作者也对基于ImageNet进行训练的AlexNet其他训练集的泛化能力进行了测试。AlexNet:https://blog.csdn.net/holmosaint/article/deta...原创 2018-09-02 15:04:29 · 321 阅读 · 0 评论 -
感知机原理与python实现
感知机原理原理线性可分给定一个二类数据集的标签为正负1,如果存在某个超平面SSS:wx+b=0wx + b = 0wx+b=0将所有正负实例点完全正确地划分到超平面的两侧,即对y=+1y = +1y=+1的实例有:wx+b>0wx + b > 0wx+b>0;即对y=−1y = -1y=−1的实例有:wx+b&a原创 2018-12-10 00:45:59 · 314 阅读 · 0 评论