DavenDW

想自学机器学习和深度学习?不妨边看专家讲解视频边自学。不仅能感受世界各地专家的熏陶，也能快速获取知识，一举两得。这篇文章整理了一个 YouTube 视频列表，供希望在该领域学习的朋友使用。　　视频观看建议　　我将视频分为三类：机器学习、神经网络、深度学习。为方便起见，你可以使用我创建的列表按顺序学习。特别推荐初学者根据顺序学习，以更好地理解视频。　　这套参考视频集需要时间消

经过一周的期中考，再次更新啦！ 上一讲是主要引入了VC维这个机器学习中非常重要的概念。并梳理了以下这个结论： 如果假设集的VC维有限大，数据足够大，且可以找到一个假设让，数据的Ein≈0，那么机器学习就是可行的。 但是数据集当中会不会含有一些我们认为他是对的东西呢，就是NOISE了，这一讲重点在于此。引子什么是噪音？

这一堂课是主要讲的是逻辑回归（Logistic Regression）。但是这个回归问题在问题的执行上更像是个分类问题，但是有和分类问题不一样。按照老师的观点：logistic regression是这样定义的我们从要解决的问题是: 有一组病人的数据，我们需要根据下一位病人的病症来判断其是否患病。变成了： 有一组病人的数据，我们需要预测他们在一段时间后患上心脏病的“可能性”，就是我们要考虑的问题

上一讲讲到的是逻辑回归，并且提出了cross-entropy error（交叉熵误差）的概念，并使用了梯度下降算法；再上一讲讲到是线性回归，第二节课讲的是PLA算法。这三讲将会是我们这一讲的基础。 本节课讲的是用这些线性模型来解决分类问题。

引言故事回到之前我们第一讲当中的发信用卡的问题，如果不是发和不发的决策如果是，发多少的决策的时候，这个时候就不是二分类问题了。 这是——线性回归问题

给定某地区20年的数据，分别为年份，人数，机动车数量，公路面积，公路客运量，公路货运量，这20年是1990年到2009年，现在给我们2010和2011年，人数，机动车数量，公路面积的数据，用BP网络预测该地区2010年和2011年公路的客运量和公路货运量。

从缺陷开始我们先来看下这两个图 如果我们的假设空间定在二维空间，那么当数据不是线性可分的时候，将会发生比较尴尬的事情——无从下手。 左边的数据我们称为线性可分，右边的是线性不可分。 之前的十一讲，所有林老师涉及的机器学习模型都为线性模型，即假设空间是线性的。线性模型中使用的界限函数为线性分数。线性模型的优点为在理论上可以使用VC维保证。但是，当数据集为线性不可分的时候，如右图，则会很难找

上节讲的是非线性分类模型，通过线性与非线性空间之间的变换，将非线性模型映转换为线性模型，再进行分类，分析了非线性变换可能会使计算复杂度增加。强调了纬度和负责度之间的关系。这节中，这种模型复杂度增加带来机器学习中一个很常见的问题——过拟合。什么是过拟合？机器学习的终极目标就是为了预测，当然预测前我们要对数据进行训练。用原生数据来直接训练的话，有一个问题就是我们设计的分类器在训练集上会得到

上一讲讲的是过拟合的原因，并且也介绍了一点，解决过拟合的方法。此讲重点介绍其中的一种最为常用的方法，正规化（Regularized）。 我们上一节讲说了一个过拟合的例子： step back不仅用于篮球中我们也知道了，如果我们使用一个高阶多项式（图中红色曲线所示），例如10阶，对目标函数（蓝色曲线）进行拟合。拟合曲线波动很大，虽然EinEinE_{in}很小，但是EoutEoutE...

这是一篇真的很有意思的AI WINTER主题的文章。文章主要论证，机器学习方面的研究目前主要由几项关键任务的性能改进为关注点的实验性工作为主导。 但是，表现最佳的模型的让人印象深刻的准确性，遭到了质疑，原因是相同的测试集已经用了多年来衡量这些模型。为了理解过度拟合的存在性危害，作者通过创建一个真正未经学习的图像新测试集来衡量CIFAR-10分类器的准确性。并给出了自己的发现。

本次的思考笔记也是这一系列的最后篇了~ 本次主要是简述当下较火的自动问答系统的基本结构和关键技术并且我会谈谈我认为的国家、社会和个人应该如何应对人工智能的快速发展和变化。

这一讲数学的成份非常浓，但是中心思想还是为了希望证明机器学习的可行性条件。其中第五讲中提出的2D perceptrons的成长函数mH(N)是多项式级别的猜想，就是本次课的重点内容。break point是k，数据量是N成长函数有着如下几个值的规律： 当N=1时，mH(N)=2,；当N=2时，由break point为2知任意两点都不能被shattered（shat

由于最近一直在准备比赛的事情就好久没有更新了。没想到的是一回过神就是这么重要的VC维的概念。上讲回顾 上一讲讲到了这个重要的主题结论，将Ein和Eout的关系限定在了一个VC bound的数值当中，这里我们的重要参数是成长函数mH，这一讲将提出一个稳定的结论替换掉它。

这一讲是对于之前机器学习的分类的介绍，也是让我们知道哪些类型的问题适合用什么类别的机器学习演算法进行计算。重点在于不同的分类标准，机器学习的分出的类别也不一样。

今天就自己给自己简述机器学习中的几种学习方式。基于专业选修机器学习以及通识选修课深度学习与AI+思维的课堂内容，基于我了解到的机器学习算法作以下的表述。按算法进行分类类别太过多，我还是使用的是老师上课给出了的按主题进行分类。       其一，分类法，有些资料直接将其称为监督式学习，也是类神经网络的感知器法的变种，著名的基础算法PLA算法就是属于这类（如下图）。无论是课堂上

对于机器学习的学习，我最先接触的是机器学习基石，一门来自台湾大学的林軒田教授的知名coursera的课程。对于林軒田老师的课程风格，整个课程是以一个故事的形式呈现在大家面前，因此，十分适合有一定数学基础且对计算机知识与应用有一定了解的同学来学习。而本人也是一名大三的在读学生，在此通过记录学习过程中的一些点点滴滴，供大家参考也希望大家多多指教。首先，林老师对整个课程有个整体授课思路的叙述

本次的这节课，开篇讲的是，我们如何透过已知的数据（样例）得到未知数据的方法的限制条件。

第一节课中，主要讲解的是机器学习的基本思路和相关的应用，算是一种对机器学习的大致介绍和简单的科普。到了第二讲，林老师将重点放在了PLA算法上，通过这个算法让机器学习的演算法大门正式打开了。对于机器学习，类似人的成长一般，一般是先学会判断是和不是，所以这一讲是介绍一种可以回答是非题的机器学习演算法——PLA。引入一个银行信用卡的例子，对于银行要对如下的用户进行判断要不要允许其办理信用卡。

这个课程思考呢，是源于老师上课给出的两个问题，也算是一定的总结课堂上的内容。Question请谈谈你对自然智能和人工智能的理解。你如何认识人工智能的三个流派及其关系。Assignment我选修这门课的目的是配合专业课人工智能导论和专业选修课机器学习进行进一步的拓宽我的视野和知识面。以下是结合老师上课使用的课件和我自己的理解。一、  关于自然智能和人工智能的理

简述卷积神经网络的基本思想和应用领域和循环神经网络的基本思想和应用领域。

上一节课，我们通过严谨的推倒知道了当样本数据足够大、假设集合可选择且有限，就知道这样的学习一般是可行的。此外我们通过之前的课程的学习，还知道了机器学习的几个特定的条件：1、 训练样本和测试样本是来自同一个集合2、 假设集是丰富但有限的3、 使用数据集是希望通过训练让Ein更小。老师还给出了前四节课的详细知识点：1、 知道了学习的定义——找出最好的g（映射

这一次的话题是：  什么是过度拟合，请举例说明。  简介至少三种神经网络模型。  简述什么是梯度下降和学习率。Q1：过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。例子1：送来一群天鹅的图像让机器来学习天鹅的特征，经过训练后，知道了天鹅是有翅膀的，天鹅的嘴巴是长长的

最近再进行Zero-Shot Learning关于知识图谱嵌入的研究，这篇文章开始将会从调研Zero-Shot Learning开始逐步记录整个类似问题做知识嵌入的研究过程。 本章80%翻译自一个公开的科学散记 也有本小弱观看去年CVPR的tutorial的个人见解，更多思考会在之后详细说明。Introduction在过去的几十年里，机器变得更加智能，但如果没有将机器所见训练...