devil_bye的博客

论文地址：https://arxiv.org/abs/1609.066471.Introduction自动识别图像内容并转化为描述比研究得很好的图像分类或对象识别任务要困难得多，后者一直是计算机视觉界的主要关注点。事实上，描述不仅必须捕获图像中包含的对象，还必须描述这些对象如何相互关联，以及它们的属性和所涉及的活动。此外，上述语义知识必须以英语等自然语言表达，这意味着除了视觉理解之外，还需要一...

论文内容验证深度神经网络的正确性是困难的，我们研究一个关于前馈深度神经网络的一般性可达性问题——给定一个输入集合，使用Lipschitz连续的函数来计算输出，计算这个函数值的上下界。因为神经网络和函数都是利普希茨连续的，所以在这个上下界中的任意数值都是可达的。我们展示了如何通过实例化一个可达性问题来获取安全验证问题，输入范围分析问题和鲁棒性测量问题。我们提出了一种新的基于自适应嵌套优化的算法来解...

之前寒假其实已经在B站上看过Andrew的这门机器学习了，先在这里给出链接，基本上都是有中文字幕的。 喜欢弹幕的小伙伴可以看这个，https://www.bilibili.com/video/av9912938网易云课堂也上线了这门课，因为是官方翻译肯定比B站的好，缺点也是没有配套练习。 https://study.163.com/course/introduction/100457002...

感知器(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知器对应于输出空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知器学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知器学习算法具有简单而易于实现的优点，分为原始形式和对...

k近邻法(k-nearest neighbor,k-NN)是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k邻近法不具有显式的学习过程。k近邻法实际上利用训练数据集对特征空间进行划分，并作为其分类的“模型”。k值的选择，距离度量及分类决策规则是k近邻法的三个基本要素。...

朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法下图是朴素贝叶斯算法：具体的解释和证明可以看《统计学习方法》或其他博文，这里不再赘述...

15下载训练数据，每一行都是一个训练实例，每一行的数据中，前四项是特征值，最后一项是标签，编写PLA算法进行分类，设w初始为0，sign(0)=-1，问迭代多少次后算法结束？1.需要自己手动添加一维特征，X0=1 2.一个点分类正确的条件是x*w*y>0(PLA) 3.算法结束的条件是所有实例都被分配正确代码如下：import numpyclass NaiveCy...

17，18分类方法是”positive and negative rays”,老师上课讲过的第17题是要在[-1,1]种取20个点，分隔为21个区间作为theta的取值区间，每种分类有42个hyphothesis，枚举所有可能情况找到使E_in最小的hyphothesis，记录最小E_in第18题的意思是在17题得到的最佳hyphothesis的基础上，利用第16题的公式计算E...

台大林轩田《机器学习基石》：作业一python实现 台大林轩田《机器学习基石》：作业一python实现 台大林轩田《机器学习基石》：作业三python实现13给定target function，我们的工作是在X=[-1,1]x[-1,1]上随机产生1000个点，利用f(x1,x2)计算它的值，然后在基础上添加10%的噪声（二元分类的噪声就是把10%的样本的y值取相反数）。如果不做f...

13下载训练样本和测试样本，利用正则化的线性回归，参数lambda取10，得到Ein和Eout我计算w的方式是使用正规方程，即calculate_w_reg方法import numpy as np# load datadef load_data(filename): code = open(filename, "r") lines = code.readli...

决策树(decision tree)是一种基本的分类与回归方法。决策树模型呈树状结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常...

在搜索引擎的发展史上，一开始组织网页的方式是网页索引（人工编辑），Yahoo，DMOZ就是使用的这种方式，但随着网页数量越来越多，这种方式耗时耗力，难以为继。第二种方式就是网页搜索，但缺陷在于，网络是巨大的，充满了不可信，过时和随机的东西。网页搜索中的两种挑战：1.网络中存在多个来源的数据，该相信谁？ 方法：可信的页面彼此相互引用和链接 2.查询“数据”的最佳回答是什么？ 方法：...