wydbyxr的博客

ALFnet实测实际测试，发现检测完全错误。可能是官方开源的model有问题，也可能是参数设置的问题(见Config.py文件)地址：https://github.com/liuwei16/ALFNet

更详细的资料整理到了个人的github上，地址为https://github.com/whitenightwu/11-Algorithm_and_Data/02-深度学习（部件）\类dropoutTargeted Dropout介绍date：NIPS/NeurIPS 2018keywords：Targeted Dropout；将剪枝带到训练中去；偏向于压缩算法author：google...

更详细的资料整理到了个人的github上，地址为https://github.com/whitenightwu/11-Algorithm_and_Data\11-Paper Summary(根据应用划分)\53-行人图中带*号的代表，推荐细读...

更详细的资料整理到了个人的github上，地址为https://github.com/whitenightwu/11-Algorithm_and_Data\11-Paper Summary(根据应用划分)\53-行人图中带*号的代表，推荐细读...

更详细的资料整理到了个人的github上，地址为https://github.com/whitenightwu/11-Algorithm_and_Data\11-Paper Summary(根据应用划分)\53-行人检测和行人重识别图中带*号的代表，推荐细读...

行人检测/人体检测综述更详细的资料整理到了个人的github上，地址为https://github.com/whitenightwu/11-Algorithm_and_Data\11-Paper Summary(根据应用划分)\53-行人检测和行人重识别\Pedestrian Detection数据集现在用的最多的数据集是CityPersons、Caltech-USA和KITTI，二者都是...

本篇博客中提到的所有资料都放在https://github.com/whitenightwu/20-Information/tree/master/21-月份资讯/21-2019年资讯脑机接口马斯克高调公布其脑机接口公司 Neuralink。Facebook发布脑机接口新突破，并在随后发布的官方博客中表示：「这可能还需要十年时间……但我们认为可以缩小这个差距。」这项技术依然处于早期研究...

参考资料和本篇博客见https://github.com/whitenightwu/20-Information/tree/master/21-月份资讯/21-2019年资讯/7月AI行业局势来自《2019人工智能行业冷暖观察》资本不再激进，热钱不再涌动，人工智能企业或面临洗牌。在当前资本市场资金短缺的情况下，会有大量底层技术实力较弱的企业逐步被淘汰，而一些细分领域中，有扎实技术支撑并且...

参考资料和本篇博客见https://github.com/whitenightwu/20-Information/tree/master/21-月份资讯/21-2019年资讯/6月产业互联网见“BAT前景如何？ 关键看其B端表现"的文章。ComputeX 2019台北国际电脑展各大厂商都发布了新产品，还行吧，最值得一提的是芯片厂也发布了新产品。有兴趣自己去查查。芯片由于芯片产业的大趋...

谷歌I/O开发者真的感觉没什么好说的，无非是谷歌发布了最新的智能手机Pixel 3a和Pixel 3a XL；发布Android Q等等。微软的Build 2019 开发者大会1）云服务 Azure：微软最为重视，受众很广，各种微软系的服务中都有它的身影。2）浏览器Edge：热度很高，我基本是每个月都会看到相关的消息。3）Windows Terminal：终端命令行工具，包括PowerS...

都已经5月中旬了，这一篇4月的资讯报告有点晚另外，最近去了一个苏州的展会，2019年全球人工智能产品应用博览会，收获不大，但聊胜于无，到时候整理整理放上来。Yoshua Bengio、Geoffrey Hinton、Yann LeCun获得了2018年度图灵奖ACM官宣，Yoshua Bengio、Geoffrey Hinton、Yann LeCun获得了2018年度图灵奖，表彰他们以概念和...

量子计算1）  2019 年美国物理学会三月会议上，IBM抛出了量子体积”(Quantum Volume)的概念，它是IBM提出的一个专用性能指标，用于测量量子计算机的强大程度，其影响因素包括量子比特数、门和测量误差、设备交叉通信、以及设备连接和电路编译效率等。  IBM 发现量子体积遵循一种 “摩尔定律”：其量子计算机实现的量子体积，每年增加一倍。量子摩尔定律：量子体积每年翻番，10年内实...

2019年2月过年+休假，也没过多关注资讯方面的内容。1）Facebook正在加入AI芯片竞赛  Facebook希望与多家芯片公司合作开发新设计 ，他们最近也宣布与英特尔合作开展项目。但他也表示，Facebook也在开发自己的定制“ASIC”芯片，以支持它的AI程序。  微软计划在其所有数据中心服务器中加入一种不同类型的芯片，称为现场可编程门阵列（FPGA）。2）julia又被提了一下...

2019年1月1）量子计算还是一项相对乐观的长期科技。  上看AI，下看IoT，近看5G，远看量子计算，至于区块链已经被p2p搞得乌烟瘴气。2）周鸿祎回应“google将针对中国的安卓系统收费”，说“这是假消息，但安卓系统迟早要收费的！”  目前国产手机巨头的操作系统：华为EMUI、小米MIUI、魅族Flyme、阿里YunOS等。除了阿里YunOS之外，都是基于Android开源的技术修改...

在CSDN上发布的博客，在github中都有。对于阅读而言，CSDN更方便；对于收藏而言，github更友好。所有关于算法的内容都整理到了：https://github.com/whitenightwu/11-Algorithm_and_Data所有关于编程和深度学习框架使用的内容都整理到了：https://github.com/whitenightwu/12-Engineering_and...

区块链行情  在中国，区块链最不确定的时期正在逐渐过去。技术的突破和实体应用的落地将成为主旋律。  上半年市场火热，大批资本、创业者、投机者涌入，有人甚至不了解区块链是什么，内心只是怀揣着「一夜暴富」的迷梦。  下半年，一批死掉的。互联网行情  一句话就是：要变天了。上市  2018年，互联网过得很急。并购、危机、上市、转型、调整、撕逼，互联网像是被压缩了一样，事情都被堆到了一块。...

虚拟打印为PDF格式，可以保存静态内容。（推荐，直接ctrl+p，然后另存为）保存为MHTML格式，可以重现部分JavaScript功能。（还有Firefox专用的MAFF格式）使用Scrapbook、Pocket等快照软件，可以重现部分JavaScript功能。如果希望100%重现，那么最好使用录屏软件进行录像。作者：asukaid链接：https://www.zhihu.com/...

  foo还有bar都是无意义的代名词，就好像中文里面的“某某“，“张三李四”差不多。  foo bar baz = 无名氏 = 张三李四小明小张  在计算机程序设计与计算机技术的相关文档中，术语foobar是一个常见的无名氏化名，常被作为“伪变量”使用。从技术上讲，“foobar”很可能在1960年代至1970年代初通过迪吉多的系统手册传播开来。另一种说法是，“foobar”可能来源于电子学...

REF 一般都是指reference，即对照变量/参考变量

  多数情况下是指用来测定你所编写的应用程序的运行效率的一个程序，它可以列出你程序中每个函数运行了多长时间等参数。  在计算机中的profiler/profile，多数情况下是指用来测定你所编写的应用程序的运行效率的一个程序，它可以列出你程序中每个函数运行了多长时间等参数。...

  一种用numpy-style broadcasting来保证tensor参数的形态兼容的操作。  广播术语描述了在算术运算过程中numpy如何处理具有不同形状的数组。受到某些约束，较小的数组是跨越较大阵列的“广播”，以便它们具有兼容的形状。广播提供了一种向量化数组操作的方法，以便循环发生在C而不是Python中。它不会造成不必要的数据副本，通常会导致高效的算法实现。然而，广播是一个坏主意，因...

inf: infinite的前三个字母,无穷大的意思

一般，是前缀async：异步的fsync：同步的，fsync函数同步内存中所有已修改的文件数据到储存设备

  参考：https://www.zhihu.com/question/28207179?sort=created  普通应用都是10，计算机学科是2，编程语言里面是e。  常用编程语言中Math.log一般都是以E为底（MATLAB里面是以e为底的）。  ln是以e为底数，lg是以10为底数。在C语言中printf(""%f
"",log(10)); //log是以e为底的对数函数 ...

in-place 无中间值

lock是多线程中的操作，意思类似抢答，即同一资源的竞争

就是先占住一个固定的位置，等着你再往里面添加内容的符号，广泛用于计算机中各类文档的编辑。例如：%d, %i,代表整数。

  没有垃圾回收，内存会爆掉。回收垃圾主要为了防止内存碎片，更好的利用内存。  一般回收机制都是遵循这个算法套路回收  1）判断引用计数  2）内存增量到一定程度  3）时间判断,活得长的垃圾的可能性小。python中的垃圾回收  python 有gc，不过gc也有不灵的时候，要不然你看某些代码还要close。close和GC有多大的关系。。。close一般关闭的是IO流等。。GC回收...

  线程池使用对象的概念，目的是减小对象的创建和注销的开支，减轻JVM的压力。  为什么使用线程池呢？因为newTread有很多弊端：  1）新建对象性能差；  2）线程之间缺乏统一管理，可能无限创建线程，相互之间竞争会带来过多的系统损耗，到最后死机；  3）缺乏更多的功能，例如定时执行，定期执行，线程中断，可以基本理解为线程池扩展许多新功能；...

回调（hook）  hook是一种编程范例。对消息进行拦截，所以经常用来做木马。  Hooks就像一些外来的钩子，在源代码之间钩取（窃听）一些信息，当它捕捉到自己感兴趣的事发生，就拦截下来，让自己的代码执行一下，处理一下这个信息，然后再放出去继续之前的进程。这样就可以在不用改变源代码的情况下，做一些别的事情，比方说监控、分析和一些恶意的事。  Hook：在已经可以正常运作的程序中额外添加流程...

大端高位放高位，低位放低位x86系列的CPU都是little-endian的字节序。

  结构化数据：拥有多种数据类型的数据。  序列化：将结构化的数据变成数据流的格式，即变为一个字符串或二进制流。  结构化数据处理工具：实现数据序列化及反序列化（从数据流中还原出原来的结构化数据）。如下：  1）XML<user> <name>Li Zhang</name> <id>890</id> &lt...

  哈希表是根据关键码值而进行直接访问的数据结构，通过相应的哈希函数(也称散列函数)处理关键字得到相应的关键码值，关键码值对应着一个特定位置，用该位置来存取相应的信息，这样就能以较快的速度获取关键字的信息。  比如：现有公司员工的个人信息（包括年龄），需要查询某个年龄的员工个数。由于人的年龄范围大约在[0，200]，所以可以开一个200大小的数组，然后通过哈希函数得到key对应的key-valu...

1.抽象：2.继承：3.封装：4.多态性：

  区别于面向过程和面向对象的另一种编程思想。  简单说，“函数式编程"是一种"编程范式”（programming paradigm），也就是如何编写程序的方法论。它属于"结构化编程"的一种，主要思想是把运算过程尽量写成一系列嵌套的函数调用。六大特征  1）函数是"“第一等公民”"。指的是函数与其他数据类型一样，处于平等地位，可以赋值给其他变量，也可以作为参数，传入另一个函数，或者作为别的函...

没有IDE，但通过ToolChain可以开发iOS App。另外，macos的主流ide是xcode。

用快递来解释数据帧：快递二层MAC地址:你的身份证号，全球唯一三层IP地址:你的当前的住宅地址，你随时可能会搬去其他地址住额外的规则:一个住宅地址只能住一个人，否则会导致收发快递不正常交换机：给你派件的快递员，但是只认身份证号的数字(MAC)，不认地址上的中文(IP)路由器：物流公司的集散中心，占有一个身份证号(MAC)，同时占有一个住宅地址(IP)载波：运输快递的火车/飞机/船猫...

ckzl:https://zhidao.baidu.com/question/46456953.html同样是无损数据压缩，RAR文件通常比ZIP文件压缩比要高，但是压缩速度较慢。因为RAR文件头也要占据一定空间，在数据压缩余地不大时，压缩过的文件可能比原文件要大。RAR的一个主要优点是可以把文件压缩目标分割到多个文件，并且很容易从这样的分割的压缩文件解压出源文件。...

瀑布模型  瀑布模型（Waterfall Model） 是一个项目开发架构，开发过程是通过设计一系列阶段顺序展开的，从系统需求分析开始直到产品发布和维护，每个阶段都会产生循环反馈，因此，如果有信息未被覆盖或者发现了问题，那么最好 “返回”上一个阶段并进行适当的修改，项目开发进程从一个阶段“流动”到下一个阶段，这也是瀑布模型名称的由来。包括软件工程开发、企业项目开发、产品生产以及市场销售等构造瀑布...

  一般来说，退出命令会和字母「q」有一些关系，所以记住以下的退出命令或快捷键就十分有用了。进入 License 文档 “q” 键跳过， 然后 yes 确认， 默认安装路径。Bash：CTRL+c；q；exitPython：quit()；CTRL+dNano: CTRL+xVim: :q!小技巧：很多跟在–后边常用的命令选项，可以被略写为一个短线加命令首字母。所以–...

  是由数学家阿兰·麦席森·图灵（1912～1954）提出的一种抽象计算模型，即将人们使用纸笔进行数学运算的过程进行抽象，由一个虚拟的机器替代人们进行数学运算。  所谓的图灵机就是指一个抽象的机器，它有一条无限长的纸带，纸带分成了一个一个的小方格，每个方格有不同的颜色。有一个机器头在纸带上移来移去。机器头有一组内部状态，还有一些固定的程序。在每个时刻，机器头都要从当前纸带上读入一个方格信息，然后...

  操作系统里指进程识别号，也就是进程标识符。操作系统里每打开一个程序都会创建一个进程ID，即PID。  PID是各进程的代号，每个进程有唯一的PID编号。它是进程运行时系统分配的，并不代表专门的进程。在运行时PID是不会改变标识符的，但是进程终止后PID标识符就会被系统回收，就可能会被继续分配给新运行的程序。  含义：1）只要运行一程序，系统会自动分配一个标识。2）是暂时唯一：进程中止后...

SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全（Transport Layer Security，TLS）是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层对网络连接进行加密。...

  简单来说，A/B 测试的目的是得出：给定环境中存在一处不同时主体（subject）反应会有什么变化。  A/B测试（也称分离测试）是比较两个版本的网页，看哪个版本更好。向类似的访问者同时展示两个变量，对两个版本的网页进行比较。转化率更好的版本获胜！  AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组随机的访...

  简单来说，A/B 测试的目的是得出：给定环境中存在一处不同时主体（subject）反应会有什么变化。  A/B测试（也称分离测试）是比较两个版本的网页，看哪个版本更好。向类似的访问者同时展示两个变量，对两个版本的网页进行比较。转化率更好的版本获胜！  AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组随机的访...

  LUT本质上就是一个RAM。它把数据事先写入RAM后，每当输入一个信号就等于输入一个地址进行查表，找出地址对应的内容，然后输出。  LUT的应用范围比较广泛，例如：LUT(Look-Up Table)可以应用到一张像素灰度值的映射表，它将实际采样到的像素灰度值经过一定的变换如阈值、反转、二值化、对比度调整、线性变换。显示器的颜色也与其有关。...

  IP地址由两部分组成，网络号和主机号。  不过是要和“子网掩码”按位与上之后才能区分哪些是网络位哪些是主机位。4段数字就是只表示一个IP地址。网络位就是说该地址所处的网络能划分几个网段，主机位就说每个网段容纳多少台电脑  为了标识IP地址的网络部分和主机部分，要和地址掩码（Address Mask）结合，掩码跟IP地址一样也是32 bits，用点分十进制表示。IP地址网络部分对应的掩码部分...

吐槽一句自己，这种贼偏门东西怎么也收录了…  为了从零开始，我们选择键盘上的回车键被按到最低处作为起点。在这个时刻，一个专用于回车键的电流回路被直接地或者通过电容器间接地闭合了，使得少量的电流进入了键盘的逻辑电路系统。这个系统会扫描每个键的状态，对于按键开关的电位弹跳变化进行噪音消除(debounce)，并将其转化为键盘码值。在这里，回车的码值是13。键盘控制器在得到码值之后，将其编码，用于之后...

  主要用于web开发。  Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。  它快速、可靠并且可通过简单的API扩充，将Perl/Python等解释器编译到服务器中。同时Apache音译为阿帕奇，是北美印第安人的一个部落，叫阿帕奇族，在美国的西南部。也是一个基金会的名称、一种武装直...

  主要用于web开发。  Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。  它快速、可靠并且可通过简单的API扩充，将Perl/Python等解释器编译到服务器中。同时Apache音译为阿帕奇，是北美印第安人的一个部落，叫阿帕奇族，在美国的西南部。也是一个基金会的名称、一种武装直...

HTTP、HTTPS  http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。HSTS  HSTS（HTTP Strict Transport Security）国际互联网工程组织IETF正在推行一种新的Web安全协议。  HSTS的作用是强制客户端（如浏览器）使用HTTPS与服务器创建连接。  HSTS可以很大程度上解决SSL剥离攻击，因为只要浏览器曾...

ACK (Acknowledgement）即是确认字符，在数据通信中，接收站发给发送站的一种传输类控制字符。表示发来的数据已确认接收无误。

CSV是以逗号间隔的纯文本文件

dev，即develop（开发者版本）  dev是开发包，做开发，或者从源码编译安装相关软件的时候需要。Debug和Release，以及profilingdebug调试，可以对软件进行单步执行、堆栈跟踪、调试等操作来发现bug。release发行版，如果最终调试后程序没有明显bug，可以作为可用的软件分享给他人使用就可以使用这个选项编译。profiling性能分析。可以...

分布式：一个业务分拆多个子业务，部署在不同的服务器上集群：同一个业务，部署在多个服务器上  集群是个物理形态，分布式是个工作方式。只要是一堆机器，就可以叫集群，他们是不是一起协作着干活，这个谁也不知道；一个程序或系统，只要运行在不同的机器上，就可以叫分布式，嗯，C/S架构也可以叫分布式。集群一般是物理集中、统一管理的，而分布式系统则不强调这一点。...

SDK是工具箱，是一份code，产生了很多API  SDK的英文全名是：software development kit，翻译成中文的意思就是“软件开发工具包”。  通俗一点的理解，是指由第三方服务商提供的实现软件产品某项功能的工具包。一般以集合kpi和文档、范例、工具的形式出现  通常SDK是由专业性质的公司提供专业服务的集合，比如提供安卓开发工具、或者基于硬件开发的服务等。也有针对某项软...

  英文全称为：Release To Manufacturing（发布到制造）。  程序代码开发完成之后，要将母片送到工厂大量压片，这个版本就叫做RTM版。所以说，RTM版的程序码一定和正式版一样。但是和正式版也有不一样的地方，例如正式版中的OEM不能升级安装，升级版要全新安装的话会检查旧版操作系统光盘等。...

先占个坑，这个方面的“道”“术”杂糅，而且相当个人化。

  在由单片机构成的微型计算机系统中，由于单片机的工作常常会受到来自外界电磁场的干扰，造成程序的跑飞，而陷入死循环，程序的正常运行被打断，由单片机控制的系统无法继续工作，会造成整个系统的陷入停滞状态，发生不可预料的后果，所以出于对单片机运行状态进行实时监测的考虑，便产生了一种专门用于监测单片机程序运行状态的芯片，称"看门狗"。...

信息时代，信息的获取难度已经大大降低，而筛选高质量信息的能力越来越重要。下面按照个人的阅读优先级排序，列一列值得关注的资讯源：雷锋网（https://www.leiphone.com/category/ai）engadget：每周一会有上周回复精选，值得一看（https://cn.engadget.com/）ai研习社新智元量子位（https://zhuanlan.zhihu.com...

这些资料都是本人近两年收录的，当时全供自己备忘，而今想着回顾一遍就索性整理成博客了。内容很杂乱，有些要点也不全面、深入，请各位见谅。另外，当时也未上心，只是埋头记录要点，没有记录出处，所以其中可能涉及到他人的劳动成果，如有发现请各位指出原文，必当改正。...

尽可能地设大batchsize "Large BatchLarge Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。"在利用 ImageNet 训练 AlexNet 模型时，其中每 GPU 的最优批量大小为 512。如果我们希望使用大量 GPU 并保证每 GPU 皆拥有理想的执行效率，则应当将批量大小设定为 16 x 512 = 8192。 "Tra...

正则化（regularization）  正则化是解决高方差问题的重要方案之一，也是Reducing Overfiltering（克服过拟合）的方法。  过拟合一直是DeepLearning的大敌，它会导致训练集的error rate非常小，而测试集的error rate大部分时候很大。网络的拟合能力随之降低，这会使网络不容易过拟合到训练集。1）L2正则化  L2正则化倾向于使网络的权值接...

  计算loss是会把所有loss层的loss相加。从验证集误差是和测试集误差的角度分析  其实你这个问题就是个伪命题，如果我们刻意的去在训练集上拟合模型，使其准确率达到很高的高度，或者说尽量在验证集合上表现的好，都是相悖的。  因为我们不能为了某一特定数据集来刻意拟合，因为模型预测数据是不一定就在这个训练或者验证集合的空间中。  还有，如果这个model预测集合acc20% 训练集合a...

  ReLU对于0的输出的梯度为0， 所以一旦陷入了0输出， 就没法恢复了。  过小的 feature_size/kernel_size的比值会造成BN的统计值不稳定；kernel_dim 过小的时候， 加ReLU 容易使得整个kernel退化成空白。  BN在最后的时候会fix，然后再训练5~10W次。...

无监督的、逐层的预训练  作者认为，无监督预训练可以为参数，提供先验（prior or regularizer），而且这种先验分布或者说是正则化，与传统的形式不同，它没有显示的正则化项，并且是依赖于数据自动发现。  正则化带来的效用会随着模型的复杂性的增大而增大。  但是实验结果显示，这个效应只有对layer size 足够大（100个隐藏层），网络足够深。无监督的预训练带来的效益才才会随着...

  可将准确率提高若干个百分点，它就是测试时增强（test time augmentation, TTA）。这里会为原始图像造出多个不同版本，包括不同区域裁剪和更改缩放程度等，并将它们输入到模型中；然后对多个版本进行计算得到平均输出，作为图像的最终输出分数。  有作弊的嫌疑。  这种技术很有效，因为原始图像显示的区域可能会缺少一些重要特征，在模型中输入图像的多个版本并取平均值，能解决上述问题。...

  将反卷积层的学习率设为0，upsample的方式就是默认的双线性插值，当然也可以设置学习率不为0，让反卷积层自己学习参数（听说：学习率不为0，能让网络的效果有略微提升）。  转置卷积层的stride最好别设置为和kernal相等，最好小一些，比如1/2；  如果遇到了上图的马赛克现象，就将反卷积层的weight_filler设为双线性插值；而不要设为高斯。例：layer { name...

渐进式调整大小  有一种很简单有效的方法，经常用来处理过拟合效应和提高准确性，它就是训练小尺寸图像，然后增大尺寸并再次训练相同模型。  最初减少训练图像大小使得卷积神经网络训练更有效地进行图像识别任务，逐步增加图片的大小可以加快训练速度。  参考论文：《Testing the Efficient Network TRaining (ENTR) Hypothesis: initially re...

  注意，是首层的可视化  如果神经网络是用在图像相关的问题上，那么把首层的特征和数据画出来(可视化)可以帮助我们了解训练是否正常例子  上图的左右是一个正常和不正常情况下首层特征的可视化对比。左边的图中特征噪点较多，图像很『浑浊』，预示着可能训练处于『病态』过程：也许是学习率设定不正常，或者正则化系数设定太低了，或者是别的原因，可能神经网络不会收敛。右边的图中，特征很平滑和干净，同时相互...

分布式训练  当前最优的分布式训练方式是通过参数服务器（Parameter Server）执行的同步随机梯度下降算法（SGD）。  这是一种简单的分布式算法，其中存在一组节点，每个节点都拥有经过训练的神经网络的一个版本。这些节点通过一个服务器共享梯度和权重等信息。当试图扩展节点数量时，问题出现了。考虑到如今的问题涉及的巨大维度，当扩展节点数量（到什么级别）时，节点将不得不交流大量的信息。多G...

All you need is a good init. If you can’t find the good init, use Batch Normalization.

问题  神经网络很容易被对抗样本戏弄。一个金鱼图片本来可以分类正确。但是，如果我们加入中间图片的噪音模式，则分类器认为这是一张雏菊的图片。解决  显然，多扫视后投票和无监督预训练的策略都不能解决这个漏洞。  使用高度正则化会有所帮助，但会影响判断不含噪声图像的准确性。  Ian Goodfellow提出了训练这些对抗样本的理念。它们可以自动的生成并添加到训练集中。结果表明，除了对对抗样本...

选择训练集/开发集/测试集大小  之前，我只知道较普遍的 60/20/20 分隔。  但对于一个非常大的数据集，应该使用 98/1/1 甚至 99/0.5/0.5 的分隔。这是因为开发集合测试集只要足够大能保证模型处于团队设定的置信区间即可。如果你使用 1 千万个训练样本，那么 10 万样本（即数据集的 1%）就足够保证开发集和/或测试集的置信区间了。数据集如何确保开发集和测试集的数据分布一...

学习率  主要是两个方面：学习率的初始化和学习率的更新  梯度更新的步长就是学习率学习率初始化  1）ReLu的线性不饱和激活端着相对于Tanh的双饱和端（经验规则0.1），肯定要降量级。  2）b的学习率一般为w的两倍；  例如Caffe和Alex给的Model基础都是0.001(W)/0.002(b)。  至于为什么Bias的学习率是2倍，猜测是更快抑制Wx加权结果，加速学习。...

SGD系列1）Batch gradient descent(批量梯度下降)  在整个数据集上  每更新一次权重，要遍历所有的样本，由于样本集过大，无法保存在内存中，无法线上更新模型。对于损失函数的凸曲面，可以收敛到全局最小值，对于非凸曲面，收敛到局部最小值。  随机梯度下降（SGD）和批量梯度下降（BGD）的区别。SGD 从数据集中拿出一个样本，并计算相关的误差梯度，而批量梯度下降使用所有...

SGD系列1）Batch gradient descent(批量梯度下降)  在整个数据集上  每更新一次权重，要遍历所有的样本，由于样本集过大，无法保存在内存中，无法线上更新模型。对于损失函数的凸曲面，可以收敛到全局最小值，对于非凸曲面，收敛到局部最小值。  随机梯度下降（SGD）和批量梯度下降（BGD）的区别。SGD 从数据集中拿出一个样本，并计算相关的误差梯度，而批量梯度下降使用所有...

何时微调模型  一般来说，如果我们的数据集在上下文中与预训练模型的训练数据集没有明显不同，我们应该进行微调。像 ImageNet 这样大而多样的数据集上的预训练网络，在网络前几层可以捕获到像曲线和边缘这类通用特征，这些特征对于大多数分类问题都是相关且有用的。  当然，如果我们的数据集代表一些非常具体的领域，例如医学图像或中文手写字符，并且找不到这个领域的预训练网络，那么我们应该考虑从头开始训练...

训练技巧 1：准备数据：务必保证有大量、高质量并且带有干净标签的数据，没有如此的数据，学习是不可能的 2：预处理：这个不多说，就是0均值和1方差化 3：minibatch：建议值128,1最好，但是效率不高，但是千万不要用过大的数值，否则很容易过拟合 4：梯度归一化：其实就是计算出来梯度之后，要除以minibatch的数量。这个不多解释 5：下...

  关键是反向传播的实现！  如果你手动实现了反向传播算法但是它不起作用，那么有99%的可能是梯度计算中存在Bug。那么就用梯度检测来定位问题。  主要思想是运用梯度的定义：如果我们稍微增加某个权重值，模型的误差将会改变多少。  参考资料：  http://ufldl.stanford.edu/wiki/index.php/Gradient_checking_and_advanced_op...

1）学习率  ReLu的线性不饱和激活端着相对于Tanh的双饱和端（经验规则0.1），肯定要降量级。  Caffe和Alex给的Model基础都是0.001(W)/0.002(b)。2）基本没有用的LRN层  LRN是unsupervised learning流行时期的遗留物。有一定bio inspired成分。现在看来似乎对performance贡献不大。目前，更多的是使用BN。  尽...

1）kennel_stride  一种技术是使用较大的步幅来进行卷积内核，也就是说，我们应用不是每个像素的平铺卷积，而是每两个或四个像素（stride为2或4），以便产生较少的输出数据。  这通常用于输入层，因为这些使用大部分内存。  当然，大stride通常是配合大的kenel_size一起使用；而使用大的kenel_size是为了扩大感受野。  为什么在第一层的stride要这么大？...

1）批量归一化和最近的SeLU非线性技术“解决”爆炸梯度问题的技术2）ResNets具有明显较低的梯度，因此可以规避爆炸的梯度问题，从而能够对更深层的网络进行有效的训练3）BN之后Relu  BN的两个缺陷也很明显，因为是对mini-batch求统计信息，因此具有数据依赖性，数据的随机性会导致训练的不稳定，且batch=1时无法使用。而各种变体本质上就是在寻找Natural Gradient...

网络的设计网络结构设计  1）金字塔式的形状  你也许经常在表征能力和减少冗余或者无用信息之间权衡。卷积神经网络通常会降低激活函数的采样，并会增加从输入层到最终层之间的连接通道。  2）Summation Joining  Summation 是一种常用的合并分支的方式。在 ResNets 中，使用总和作为连接的机制可以让每一个分支都能计算残差和整体近似。如果输入跳跃连接一直存在，那...

人脸的loss  1）Softmax 是最常见的人脸识别损失函数，然而，Softmax 不会显式的优化类间和类内距离的，所以通常不会有太好的性能。  2）Triplet Loss 作为一种 Metric Learning，也在人脸识别中广泛使用。  相比 Softmax，其特点是可以方便训练大规模 ID(百万，千万)的数据集，不受显存的限制。但是相应的，因为它的关注点过于局部，使得性能无法达...

正则化的理解  规则化函数Ω有多重选择，不同的选择效果也不同，不过一般是模型复杂度的单调递增函数——模型越复杂，规则化值越大。   正则化含义中包含了权重的先验知识，是一种对loss的惩罚项（regularization term that penalizes parameters）。  L2正则化是权重符合正态分布的先验；L1则是权重符合拉普拉斯分布的先验（对参数引入 拉普拉斯先验 等价...

参数初始化的原理  权值初始化对网络优化至关重要。早年深度神经网络无法有效训练的一个重要原因就是早期人们对初始化不太重视。  模型对初始的参数是很敏感的，如果参数都很大，那么经过wx+b这个线性函数时，输出的值也会很大，若是经过tanh这个激活函数，输出的结果绝对值都几乎接近于1，也就是说每个神经元的输出都几乎相同，这完全违背了神经网络的初衷，事实上我们希望每个神经网络都能去学习一个不同的特征...

在做大型项目时，不要每次都做数据预处理！  一般是一步一步来，1.做完预处理再做训练，2.做完训练再预测，3.然后根据预测的结果迭代调节模型和数据(交叉验证、过/欠采样等)。  由于需要训练模型预测unknown值，预处理过程的时间代价比较大。因此将预处理后的数据持久化，保存到文件中，之后的学习模型直接读取文件数据进行训练预测，无须再预处理。  简单的表述就是，将需要参数的部分和不需要参数的...

  这种问题和业务需求也有很强的相关性，可能根据领域知识也能解决一些问题。  一篇综述论文：《Learning from Imbalanced Data》。不平衡数据评估指标  1）单一评估指标、ROC曲线和PR曲线见机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线  2）除此之外，Cost Function也可以作为一个指...

处理缺失数据的方法  1）用平均值、中值、分位数、众数、随机值等替代。  如果预计该变量对于学习模型效果影响不大，可以对unknown值赋众数，这里认为变量都对学习模型有较大影响，效果一般，因为等于人为增加了噪声，不建议采取此法。  数值型的话，均值和近邻或许是更好的方法。做成哑变量更适合分类、顺序型变量。  2）用其他变量做预测模型来算出缺失变量。  效果比方法1略好。有一个根本缺陷，...

处理缺失数据的方法  1）用平均值、中值、分位数、众数、随机值等替代。  如果预计该变量对于学习模型效果影响不大，可以对unknown值赋众数，这里认为变量都对学习模型有较大影响，效果一般，因为等于人为增加了噪声，不建议采取此法。  数值型的话，均值和近邻或许是更好的方法。做成哑变量更适合分类、顺序型变量。  2）用其他变量做预测模型来算出缺失变量。  效果比方法1略好。有一个根本缺陷，...

  若增加训练数据，则能够提升算法的准确率，因为这样可以避免过拟合，更好地泛化；而避免了过拟合你就可以增大你的网络结构了。  可以大量使用数据增广。1）几何变换  包括：弹性变换（Elastic Transform）、透视变换（Perspective Transform）、分段仿射变换（Piecewise Affine transforms）、枕形畸变（Pincushion Distorti...

输入归一化/标准化  Alex 和 Caffe中的初始化参数都是基于均值归一化的，如果不做归一化，会因为输入大了一半，导致训练失败。这也是为什么Caffe强制为样本计算图像均值的原因。  这样，像素值[0,255]被调整成了近似[-128,128]。尽管图像数据格式规整，但是做一做归一化还是挺有用处的。  归一化本身是一种降低特征之间差异的手段，不一定就可以增强discriminative ...

  围绕着要喂给神经网络的数据：收集数据、清洗数据、操作数据、给数据加标签、分析数据、做数据可视化等等。数据预处理阶段  基于对业务的理解，这种相对比较少一点，更多的还是基于数据本身。你可以用一些数据挖掘中常用的数据清理的方法，过滤异常值，过滤缺失严重的特征等等。  有时候做预处理，最终还是需要一些反馈。比如从数据上看，可能需要扔掉某些东西。我们需要去试一试，扔掉这些东西之后，在最终的比赛中...

  关于模型融合，方法依旧在网上有一大堆，近几年也没有太大的创新，  主要说一下的就是模型融合前应该画一画误差曲线，确定模型之间是否有融合的需要，比如一个模型完爆另外一个模型，那融合价值就很低。kaggle ensembling guide（Kaggle中常用融合技术 ）  计算了我们所有提交的皮尔逊相关系数，然后选择一些表现好但又相互不太相关的模型。通过多个结果的平均融合，我们获得了50名...

  关于模型融合，方法依旧在网上有一大堆，近几年也没有太大的创新，  主要说一下的就是模型融合前应该画一画误差曲线，确定模型之间是否有融合的需要，比如一个模型完爆另外一个模型，那融合价值就很低。kaggle ensembling guide（Kaggle中常用融合技术 ）  计算了我们所有提交的皮尔逊相关系数，然后选择一些表现好但又相互不太相关的模型。通过多个结果的平均融合，我们获得了50名...

数据与特征工程（如何选择与处理数据）  1）在处理数据上，数据并非越多越好，多余的无关特征会因为伪相关、巧合而影响模型。  2）对数据做相关性分析的时候，善用可视化可以一目了然发现问题。  3）对于高度相关的特征，移除或者合并前要三思，可能并不会提高模型能力。  3）如果选用了线性模型，可能需要对特征进行离散化  4）对于大部分模型来说，归一化或者标准化是必不可少的步骤，至少”无害“ ...

实际应用中我们如何选择合适的模型算法的选择纲领  要想获取好的结果，按照流程工作很重要，并且仔细检查确保不犯常见错误。模型选择及评估流程a方案：  1）先针对特定问题，选算法。一般不会用最新的，而是用最成熟的，大概会选择2到3个算法。  2）实现算法，小规模样本保证流程正确。有数据就爽，不然还要收集。  3）调参数，选特征。得到模型的最优解。  4）针对特定问题会进行少量的修改。...

泛化能力、方差、偏差、过拟合、欠拟合避免高偏差  若人类级别的性能和训练误差之间差距比较大，那么模型的偏差可能就比较大。若测试集误差与训练集误差间的差距比较大，那很可能方差就会比较高，且模型出现了过拟合现象。泛化能力、方差、偏差、过拟合、欠拟合  如何调试机器学习模型 常用的一种调试方法是分析一个模型的泛化能力，主要看他的偏差与方差。  一般地，  高偏差=欠拟合，多训练或者使模型更复...

炼丹算法  现在大家都用 GSS 算法，全称是 Graduate Student Search 算法。翻译成中文就是博士生人肉搜索算法，又称炼丹算法。缘由  好吧，其实除了 GSS 算法，我们也有一些别的算法，比如之前提到的贝叶斯算法（Bayesian Optimization），还有 Hyperband 算法，等等，其实都是一些很优美的算法。那么，既然之前提到贝叶斯算法可以用来炒鸡蛋，为什...