2018年03月_Bruce_0712

转载如何通俗的解释交叉熵与相对熵?

作者：CyberRep链接：https://www.zhihu.com/question/41252833/answer/195901726来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。讨论这个问题需要从香农的信息熵开始。小明在学校玩王者荣耀被发现了，爸爸被叫去开家长会，心里悲屈的很，就想法子惩罚小明。到家后，爸爸跟小明说：既然你犯错了，就要接受惩罚，但惩罚的程度就...

2018-03-28 23:23:41 678

转载 Softmax函数详解

Softmax在机器学习中有非常广泛的应用，但是刚刚接触机器学习的人可能对Softmax的特点以及好处并不理解，其实你了解了以后就会发现，Softmax计算简单，效果显著，非常好用。我们先来直观看一下，Softmax究竟是什么意思我们知道max，假如说我有两个数，a和b，并且a>b，如果取max，那么就直接取a，没有第二种可能但有的时候我不想这样，因为这样会造成分值小的那个饥饿。所以我希望分...

2018-03-27 23:05:11 4123

转载最大似然估计和最小二乘法

说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法：我假设我抽到黑球的概率为p,那得出8次黑球2次白球这个结果的概率为：P(黑=8)=p^8*（1-p）^2,现在我想要得出...

2018-03-26 23:10:39 548

转载卷积神经网络系列之softmax，softmax loss和cross entropy的讲解

我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一...

2018-03-26 23:03:27 298

转载梯度下降优化算法综述

摘要虽然梯度下降优化算法越来越受欢迎，但通常作为黑盒优化器使用，因此很难对其优点和缺点的进行实际的解释。本文旨在让读者对不同的算法有直观的认识，以帮助读者使用这些算法。在本综述中，我们介绍梯度下降的不同变形形式，总结这些算法面临的挑战，介绍最常用的优化算法，回顾并行和分布式架构，以及调研用于优化梯度下降的其他的策略。1 引言梯度下降法是最著名的优化算法之一，也是迄今优化神经网络时最常用的方法。同时...

2018-03-18 11:24:11 1472

转载 g++编译多个原文件和头文件

(头文件名是：Sales_item.hpp 源文件名：7-31.cpp和Sales_item.cpp)（点击我下载源文件）方法1：我用的命令是：g++ -o 7-31 7-31.cpp Sales_item.cpp出现如下提示：方法2：g++ -c 7-31.cppg++ -c Sales_item.cppg++ -o 7-31 7-31.o Sales_item.o此方法生成.o文件然后再连接成...

2018-03-07 23:58:02 10161

转载程序编译与运行时头文件或动态链接库的查找(四)

假设有如三个源代码文件：$ cat a.cppvoid a(){} $ cat b.cppextern void a();void b(){ a(); // 调用a.cpp中的a()} $ cat x.cppextern void b();int main(){ b(); // 调用b.cpp中的b() return 0;} 对应的Makefile文件：all: x liba.a...

2018-03-04 23:09:39 315

转载程序编译与运行时头文件或动态链接库的查找(三)

以下结论及分析仅针对动态库。结论：（1）-rpath和-rpath-link都可以在链接时指定库的路径；（2）运行可执行文件时，-rpath-link指定的路径不再有效(链接器没有将库的路径包含进可执行文件中)，　　　　　　　　　　而-rpath指定的路径还有效(因为链接器已经将库的路径包含在可执行文件中)；（3）-L指定的是链接时的库路径，生成的可执行文件在运行时库的路径仍由LD_LIBRA...

2018-03-04 22:46:51 309

转载程序编译与运行时头文件或动态链接库的查找（二）

众所周知， Linux 动态库的默认搜索路径是 /lib 和 /usr/lib。动态库被创建后，一般都复制到这两个目录中。当程序执行时需要某动态库，并且该动态库还未加载到内存中，则系统会自动到这两个默认搜索路径中去查找相应的动态库文件，然后加载该文件到内存中，这样程序就可以使用该动态库中的函数，以及该动态库的其它资源了。在 Linux 中，动态库的搜索路径除了默认的搜索路径外，还可以通过以下三种方...

2018-03-04 22:43:49 665

转载 pkg-config用法详解

在如今这个开源的环境里，想要开发某个功能，我们都会下意识的上网搜索有没有开源库，如果有开源库，那么好，下载下来给它编译好，使用。但是在使用过程中，你是否遇到不知如何将第三方库编译，链接到自己的工程中？怎么改makefile就是改不好？是否看到开源库lib/中pkgconfig文件夹，想都没想这是干什么用的，打开.pc文件也不知所云？那么好，今天我就总结下开源库中pkgconfig文件夹中.pc文件...

2018-03-02 00:14:31 978

Bruce_0712的博客