小莫の咕哒君

因为近期服务器到期了，换了一个服务器。原先的服务器也仅仅是弄来随便玩玩的，所以也并没有基于镜像重新生成实例了，但是我原先写的一些项目的数据是存储在基于docker生成的mysql，mongodb，reids等容器中的。因此要进行迁移了。

NexT主题中在每篇文章单独的post页面，侧边栏会根据文章的多级标题自动生成Table of Contents。不过对于有些文章，我想关闭这项功能，怎么修改呢？

本章学习另一种结构化学习的方法—序列标注。也是结构化学习的最后一块内容！主要讲到了HMM，CRF，以及对前面学习的结构化支持向量机，结构化SVM在序列生成里面的应用！

本篇文章主要讲的是结构化的SVM，并且对结构化里面的一些基本理论和概念做一些基本介绍。根据这些概念，我们可以深刻的理解结构化的思想！以及对结构化SVM的基本认识！

在结构化学习中，线性模型是一个很重要的模型，我们接下来的内容很多都是基于线性模型来说的

本文是结构化学习的开端，简单介绍一下结构化学习的概念以及要解决的三个问题！

支持向量机(SVM)有两个特点：SVM=铰链损失(Hinge Loss)+核技巧(Kernel Method)。本文就这两个特点的原理进行深度剖析！

维特比算法是一个特殊但应用最广的动态规划算法。利用动态规划，可以解决任何一个图中的最短路径问题。而维特比算法是针对一个特殊的图-篱笆网了（Lattice）的有向图最短路径问题而提出来的。它之所以重要，是因为凡是使用隐马尔科夫模型描述的问题都可以用它解码，包括当前的数字通信、语音识别、机器翻译、拼音转汉字、分词等。

Ensemble的方法就是一种团队合作，好几个模型一起上的方法。本文主要介绍的方法有：Bagging,Random Forest,Boostring,Adaboost,Gradient Boosting,Stacking

Auto-encoder是一个基本的生成模型，更重要的是它提供了一种encoder-decoder的框架思想，广泛的应用在了许多模型架构中。简单来说，Auto-encoder可以看作是如下的结构，它主要包含一个编码器（Encoder）和一个解码器（Decoder），通常它们使用的都是神经网络。Encoder接收一张图像（或是其他类型的数据，这里以图像为例）输出一个vector，它也可称为Embedding、Latent Representation或Latent code，不管它叫什么，我们只需要知道它是关

Imitation learning(模仿学习) 讨论的问题是：假设我们连 reward 都没有，那要怎么办呢？Imitation learning 又叫做 learning from demonstration(示范学习) ，apprenticeship learning(学徒学习)，learning by watching(观察学习)

实际上用 reinforcement learning learn agent 的时候，多数的时候 agent 都是没有办法得到 reward 的。在没有办法得到 reward 的情况下，训练 agent 是非常困难的。我们可以通过三个方向来解决 sparse reward 的问题：Reward Shaping,Curriculum Learning,Hierarchical Rl。

演员-评论家算法(Actor-Critic Algorithm)是一种结合策略梯度和时序差分学习的强化学习方法。在 Actor-Critic 算法 里面，最知名的方法就是 A3C(Asynchronous Advantage Actor-Critic)。

Q-learning 有什么问题呢？最大的问题是它不太容易处理 continuous action。很多时候 action 是 continuous 的。本文章会详细介绍解决问题的四种方法！

本片文章要讲的是训练 Q-learning 的一些 tips：Double DQN，Dueling DQN，Prioritized Reply，Multi-step(Balance between MC and TD)，Noisy Net(on Action vs on Q-function)，Distributional Q-function，Rainbow

Q-learning 是 value-based 的方法。在 value-based 的方法里面，我们学习的不是策略，我们要学习的是一个 critic(评论家)。 critic要做的事情是评价现在的行为有多好或是有多不好。假设有一个actor(演员) π，critic就是来评价这个actor的策略 π 好还是不好，即 Policy Evaluation(策略评估)。

Proximal Policy Optimization，简称PPO，即近端策略优化，是对Policy Graident，即策略梯度的一种改进算法。PPO的核心精神在于，通过一种被称之为Importance Sampling的方法，将Policy Gradient中On-policy的训练过程转化为Off-policy，即从在线学习转化为离线学习，某种意义上与基于值迭代算法中的Experience Replay有异曲同工之处。通过这个改进，训练速度与效果在实验上相较于Policy Gradient具有明显提

2015年2月的时候，google在nature上发了一篇用reinforcement learning 的方法来玩akari的小游戏，然后痛鞭人类2016的春天，又有大家都耳熟能详的alpha go，也是可以痛鞭人类David Silver 说 AI 就是 Reinforcement Learning+Deep Learning Deep Reinforcement Learning : AI = RL + DL

BottomNavigation的创建

Room，RecyclerView，CardView的简单使用以及数据迁移

Navigation组件，参数传递以及自定义动画

ViewModel & LiveData & DataBinding & ViewModelSavedState & SharedPreferences & 小案例

本地化及多语言设置&固定屏幕与旋转屏幕

Activity作为Android的四大组件之一，非常的重要，也是最常用的四大组件，使用Activity必须要在AndroidManifest中进行注册，那么作为Android的基础，Activity的生命周期你是否完全掌握了呢？下面就让我们来一起回顾一下Activity的生命周期吧！

我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。

我们有一个更疯狂的想法，能不能直接learn一个function，这个function既做了Learning，又做了Prediction。给它Training Data，它就learn好了；给它Testing Data，它就给出Testing Data的答案！

上次说到meta learning是在训练一个learning algorithm。使用的方法是梯度下降，这次我们研究如何将这个learning algorithm看作是一个LSTM，我们通过训练这个LSTM网络来实现我们的meta learning。

元学习，meta-learning，又叫learning to learn，直译即为学习如何学习，从中文字面上来理解，似乎这类算法更接近人类的学习方式——触类旁通，举一反三。而传统的深度学习方法虽然功力强大，但是框架无外乎都是从头开始学习（训练），即learning from scratch，对算力和时间都是更大的消耗和考验。

迁移学习指的就是，假设你手上有一些跟你现在要进行的task没有直接相关的data，那你能不能用这些没有直接相关的data来帮助我们做一些什么事情。比如说：你现在做的是猫跟狗的classifer，那所谓没有什么直接相关的data是什么意思呢？没有什么直接相关其实是有很多不同的可能。比如说input distribution 是类似的(一样时动物的图片)，但是你的label是无关的(domain是类似的，task是不像的)。还有另外的一个可能是：input domain是不同的，但是task是相同的(猫跟狗的分

本文是GAN的最后一块内容，就是如何Evaluation一个GAN模型。说人话：如何评价GAN生成的图片好还不好。另外一个方面是：是否客观，因为虽然人评价结果比较准确，但是人容易受主观影响，尤其发在论文上的图片，作者肯定不会把很烂的结果摆出来。

这篇文章主要是说Improving Sequence Generation by GAN，讲GAN在sequence generator上的应用。sequence generator的应用很多，比如机器翻译，人机对话，甚至强化学习也算是sequence generator。使用GAN进行sequence generator主要有两大部分，分别是Conditional Sequence Generation 和Unsupervised Conditional Sequenc

本文主要是介绍基于GAN+Autoencoder来进行智能修图。还简单介绍了高清图片处理以及图像补全技术

本节主要介绍InfoGAN，VAE-GAN，BiGAN和Triple GAN，可以用于做feature extraction。还介绍了Domain-adversarial training,Voice Conversion(声音转换)以及Feature Disentangle(特征解耦)。

这篇文章要说的是对传统的GAN进行的一些优化，为了使GAN更容易训练。比如WGAN，它在原始的GAN上面做了几点改动，成功地提升了原始GAN的表现。还有WGAN-GP，EBGAN和LSGAN。

之前在讲GAN的时候，提到我们实际是在用Discriminator来衡量两个数据的分布之间的JS divergence，那能不能是其他类型的divergence来衡量真实数据和生成数据之间的差距？又如何进行衡量？（虽然在实作上用不同divergence结果没有很大差别）

之前讲的那篇CGAN都是有监督学习，那能不能无监督学习呢？当然可以啦，大多数情况我们很难弄到一个个对应匹配的数据，比如做图片风格转换，你很难弄到同一个图片的不同种风格，里面东西还是一模一样的，再比如，你很难把一个人的声音风格转换到另外一个人声音上，因为可能你说的是中文，另外一个人说英文，找不到一模一样的发音，所以我们需要研究无监督学习，只需要两堆数据，可将某种特征从一堆转到另一堆。

Conditional，意思是条件，所以 Conditional GAN 的意思就是有条件的GAN。Conditional GAN 可以让 GAN 产生的结果符合一定的条件，即可以通过人为改变输入的向量（记不记得我们让生成器生成结果需要输入一个低维向量），控制最终输出的结果。

生成式对抗网络（Generative Adversarial Network，又称GAN，一般读作“干！”）计算机科学领域里是一项非常年轻的技术，2014年才由伊安·好伙伴教授（Ian Goodfellow，这姓氏实在是太有趣以至于印象深刻）系统地提出。但是一经提出，就引发了学术界对GAN如火如荼的研究，同时在最原始的GAN的基础上，针对不同的应用场景提出了许多GAN的变体。使用GAN网络，输入已知数据，计算机可以学习并创建全新的合成数据。Facebook AI部长Yann LeCun对GAN的评价是"Ge

生成式对抗网络（Generative Adversarial Network，又称GAN，一般读作“干！”）计算机科学领域里是一项非常年轻的技术，2014年才由伊安·好伙伴教授（Ian Goodfellow，这姓氏实在是太有趣以至于印象深刻）系统地提出。但是一经提出，就引发了学术界对GAN如火如荼的研究，同时在最原始的GAN的基础上，针对不同的应用场景提出了许多GAN的变体。使用GAN网络，输入已知数据，计算机可以学习并创建全新的合成数据。Facebook AI部长Yann LeCun对GAN的评价是"Ge

Anomaly Detection，翻译为中文意思是异常侦测，异常侦测要做的就是：让机器可以知道我不知道这件事。上面引用了《论语，论证》篇，“知之为知之，不知为不知，是知也（知道就是知道，不知道就是不知道，这样才是真正的知道）”，就是让机器知道它不知道这件事

ELMO、BERT、GPT背景机器是如何理解我们的文字的呢？最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为1，其他地方为0。但是这么做词汇之间的关联没有考虑，因为不同词之间的距离都是一样的。所以，接下来有了word class的概念，举例说dog、cat和bird都是动物，它们应该是同类。但是动物之间也是有区别的，如dog和cat是哺乳类动物，和鸟类还是有些区别的。后来有了更进阶的想法，称作word embedding，我们用一个向量来表示一个单.

在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。今天我们要介绍的是 DenseNet(Densely connected con

Transformer的Decoder的输入输出都是什么？Shifted Right到底是什么？Transformer里decoder为什么还需要seq mask？

引言深度残差网络（Deep residual network, ResNet）的提出是CNN图像史上的一件里程碑事件，让我们先看一下ResNet在ILSVRC和COCO 2015上的战绩：ResNet取得了5项第一，并又一次刷新了CNN模型在ImageNet上的历史：ResNet的作者何凯明也因此摘得CVPR2016最佳论文奖，当然何博士的成就远不止于此，感兴趣的可以去搜一下他后来的辉煌战绩。那么ResNet为什么会有如此优异的表现呢？其实ResNet是解决了深度CNN模型难训练的问题，从图2中可

文章目录Recursive NetworkApplication: Sentiment Analysis(应用：情节分析)Recursive NetworkRecursive Network Tensor NetworkMatrix-Vector Recursive Network.Tree LSTMMore Application(更多应用：句子关联)Recursive NetworkApplication: Sentiment Analysis(应用：情节分析)Recursive Network

文章目录Pointer Network简介Pointer NetworkApplications-Summarization(应用：文章内容总结)背景介绍使用Pointer-Generator网络的文本摘要方法赋予seq2seq模型复制能力——CopyNet使用多来源Pointer Network的产品标题摘要方法Applications-Machine Translation(应用：机器翻译)Applications-Chat-bot(应用：对话)总结参考文献Pointer Network简介问题

文章目录GenerationConditional GenerationAttentionDynamic Conditional GenerationMachine TranslationSpeech RecognitionImage Caption Generation（图片字幕生成）Memory Network(在Memory上做attention)Neural Turing Machine(神经图灵机)Tips for GenerationAttention的正则化Mismatch between T

文章目录Unsupervised Learning: GenerationIntroductionPixelRNNIntroductionpokemon creationVAEIntroductionwrite poetryWhy VAE?problems of VAEGANUnsupervised Learning: Generation本文将简单介绍无监督学习中的生成模型，包括PixelRNN、VAE和GAN，以后将会有一个专门的系列介绍对抗生成网络GANIntroduction正如Rich

文章目录Unsupervised Learning: Deep Auto-encoderIntroductionCompare with PCADeep Auto-encoderMulti LayerVisualizeText RetrievalBag-of-wordAuto-encoderSimilar Image SearchPre-training DNNCNNCNN as EncoderUnpoolingDeconvolutionOther Auto-encoderDe-noising Auto-e

本文介绍了非线性降维的一些算法，包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随机邻居嵌入t-SNE，其中t-SNE特别适用于可视化的应用场景

文章目录Network Pruning（修剪）INTRODUCTIONWhy PruningLottery Ticket Hypothesis(大乐透假说)Rethinking the Value of Network PruningPractical IssueKnowledge Distillation(知识蒸馏)Student and TeacherEnsemble（合奏）TemperatureParameter Quantization（参数量化）less bitsweight clustering

​ 本作业来源于李宏毅机器学习作业说明，详情可看???? Homework 4 - Recurrent Neural Network(友情提示，可能需要翻墙)参考 李宏毅2020机器学习作业4-RNN：句子情感分类作业要求通过循环神经网络（Recurrent Neural Networks, RNN）对句子进行情感分类。给定一句句子，判断这句句子是正面还是负面的（正面标1，负面标0）用到的数据：链接：https://pan.baidu.com/s/1zfigNt2f1n4oTDRyeAZ

神经网络不仅是要用在研究上，最后更多的肯定要在各种有意义的应用中。因此model仅仅是对杂讯(噪声)robust和大部分时间work是不够的，还要去对抗恶意攻击(注意，这里不是说仅仅是对抗杂讯，而是所谓的，不暴露出弱点)。即使是垃圾邮件识别，人脸识别这种最基础广泛的领域，也存在着大量的攻击对抗。因此，对这方面的研究是十分重要的。

什么是范数？在线性代数以及一些数学领域中，norm 的定义是a function that assigns a strictly positive length or size to each vector in a vector space， except for the zero vector. ——Wikipedia简单点说，一个向量的 norm 就是将该向量投影到 [0, ​) 范围内的值，其中 0 值只有零向量的 norm 取到。看到这样的一个范围，相信大家就能想到其与现实中距离的类比

所谓的可解释性其实也分为两种，一种是局部可解释性，一般指的是机器说明如何判断这个样例(例如分类问题中，机器如何将一张猫的图片分成猫)；另一种是全局可解释性，一般指的是机器如何对总体进行特征判断(例如分类问题中，机器认为猫长什么样子)为什么我们需要这种可解释性呢？神经网络一般都是黑盒算法这确实，但并不是黑盒本身让我们难受，因为我们人的大脑也是个黑盒；而是如果我们没有一定的解释的话，我们可能会不爽。就例如一个神经网络来计算成绩，如果你分低还不知道为什么，那绝对会不爽，而如果机器能够解释每道题扣了多少分这种等

本文介绍NLP中词嵌入(Word Embedding)相关的基本知识，基于降维思想提供了count-based和prediction-based两种方法，并介绍了该思想在机器问答、机器翻译、图像分类、文档嵌入等方面的应用

Matrix Factorization本文将通过一个详细的例子分析矩阵分解思想及其在推荐系统上的应用Introduction接下来介绍矩阵分解的思想：有时候存在两种object，它们之间会受到某种共同潜在因素(latent factor)的操控，如果我们找出这些潜在因素，就可以对用户的行为进行预测，这也是推荐系统常用的方法之一假设我们现在去调查每个人购买的公仔数目，ABCDE代表5个人，每个人或者每个公仔实际上都是有着傲娇的属性或天然呆的属性我们可以用vector去描述人和公仔的属性，如果某

Unsupervised Learning: PCA(Ⅱ)本文主要从组件和SVD分解的角度介绍PCA，并描述了PCA的神经网络实现方式，通过引入宝可梦、手写数字分解、人脸图像分解的例子，介绍了NMF算法的基本思想，此外，还提供了一些PCA相关的降维算法和论文Reconstruction Component假设我们现在考虑的是手写数字识别，这些数字是由一些类似于笔画的basic component组成的，本质上就是一个vector，记做u1,u2,u3,...u_1,u_2,u_3,...u1​,u

Unsupervised Learning: PCA(Ⅰ)本文将主要介绍PCA算法的数学推导过程上一篇文章提到，PCA算法认为降维就是一个简单的linear function，它的input x和output z之间是linear transform，即z=Wxz=Wxz=Wx，PCA要做的，就是根据xxx把W给找出来(zzz未知)PCA for 1-D为了简化问题，这里我们假设z是1维的vector，也就是把x投影到一维空间，此时w是一个row vectorz1=w1⋅xz_1=w^1\cd

无监督学习(Unsupervised Learning)可以分为两种：化繁为简聚类(Clustering)降维(Dimension Reduction)无中生有(Generation)

Semi-supervised Learning半监督学习(semi-supervised learning)1、introduction2、Semi-supervised Learning for Generative Model3、Low-density Separation Assumption：非黑即白4、Smoothness Assumption：近朱者赤，近墨者黑5、Better Representation：去芜存菁，化繁为简IntroductionSupervised L

介绍torchvision是pytorch的一个图形库，它服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torchvision.transforms主要是用于常见的一些图形变换。以下是torchvision的构成：torchvision.datasets: 一些加载数据的函数及常用的数据集接口；torchvision.models: 包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；torchvision.transforms: 常用的图片变换，例如

错误描述今天在安装torchvision出现了一个错误：解决方案一看就知道是版本的问题对吧。torchvision版本与torch版本不匹配。只要指定好版本就行。pip install --no-deps torchvision==0.5.0下面是cuda版本，Torch版本，Torchvision版本以及python版本的对应关系做了一个表，仅供大家参考...

本作业来源于李宏毅机器学习作业说明，详情可看???? Homework 3 - Convolutional Neural Network(友情提示，可能需要翻墙)作业要求作业要求： 在收集来的资料中均是食物的照片，共有11类，Bread, Dairy product, Dessert, Egg, Fried food, Meat, Noodles/Pasta, Rice, Seafood, Soup, and Vegetable/Fruit.我们要创建一个CNN，用来实现食物的分类。我们可以借助

常用函数Densekeras.layers.Dense(units,activation=None,use_bias=True,kernel_initializer='glorot_uniform',bias_initializer='zeros',kernel_regularizer=None,bias_regularizer=None,activity_regularizer=None, kernel_constraint=None, bias_constraint=None)unit

隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。当然，随着目前深度学习的崛起，尤其是RNN，LSTM等神经网络序列模型的火热，HMM的地位有所下降。但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还是很好的。本文是HMM系列的第一篇，关注于HMM模型的基础。

Recurrent Neural Network(Ⅱ)上一篇文章介绍了RNN的基本架构，像这么复杂的结构，我们该如何训练呢？Learning TargetLoss Function依旧是Slot Filling的例子，我们需要把model的输出yiy^iyi与映射到slot的reference vector求交叉熵，比如“Taipei”对应到的是“dest”这个slot，则reference vector在“dest”位置上值为1，其余维度值为0RNN的output和reference vec

Recurrent Neural Network(Ⅰ)RNN，或者说最常用的LSTM，一般用于记住之前的状态，以供后续神经网络的判断，它由input gate、forget gate、output gate和cell memory组成，每个LSTM本质上就是一个neuron，特殊之处在于有4个输入：zzz和三门控制信号ziz_izi​、zfz_fzf​和zoz_ozo​，每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成IntroductionSlot Filli

请点击下方

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用SVD的。

概述一般用一个通用框架来表述优化算法有如下定义：待优化的参数 θ目标函数 J ( θ )学习率 α有如下过程（每次迭代）：计算目标关于此时参数的梯度 ∇ θ ( J ( θ ) )计算历史梯度的一阶动量和二阶动量计算下降梯度 g根据梯度进行迭代 θ = θ − g优化算法目前有固 定 学 习 率 和自 适 应 学 习 率 两种，差别也就体现在过程的第1和第2步固定学习率优化算法有：BGD、SGD、SGDM、NAG自适应学习率优化算法有：AdaGrad、AdaDelta、

作业要求：根据收集来的资料，判断每个人其年收入是否高于50000美元，用Logistic regression和Generative model两种方法来实现

Keras2.0Why Keras你可能会问，为什么不学TensorFlow呢？明明tensorflow才是目前最流行的machine learning库之一啊。其实，它并没有那么好用，tensorflow和另外一个功能相近的toolkit theano，它们是非常flexible的，你甚至可以把它想成是一个微分器，它完全可以做deep learning以外的事情，因为它的作用就是帮你算微分，拿到微分之后呢，你就可以去算gradient descent之类，而这么flexible的toolkit学起来是

Convolutional Neural Network part2人们常常会说，deep learning就是一个黑盒子，你learn完以后根本就不知道它得到了什么，所以会有很多人不喜欢这种方法，这篇文章就讲述了三个问题：What does CNN do？Why CNN？How to design CNN?What does CNN learn？what is intelligent如果今天有一个方法，它可以让你轻易地理解为什么这个方法会下这样的判断和决策的话，那其实你会觉得它不够intell

Convolutional Neural network(part 1)CNN常常被用在影像处理上，它的theory base就是三个property，和两个架构convolution 架构：针对property 1和property 2max pooling架构：针对property 3Why CNN for Image？CNN V.s. DNN我们当然可以用一般的neural network来做影像处理，不一定要用CNN，比如说，你想要做图像的分类，那你就去train一个neural n

Why Deep?本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别：shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测deep：考虑了input之间的某些共同特征，所有class用同个model分类，share参数，modularization思想，hierarchy架构，更有效率地使用data和参数Shallow V.s. DeepDeep is Better？我们都知道dee

当我每次看到希腊字母的时候，总是觉得眼熟，但就是说不出来名字，真的哭了:cry: 记录一下，以后忘了来翻一翻。:see_no_evil:

本文会顺带解决CNN部分的两个问题：1、max pooling架构中用到的max无法微分，那在gradient descent的时候该如何处理？2、L1 的Regression到底是什么东西本文的主要思路：针对training set和testing set上的performance分别提出针对性的解决方法1、在training set上准确率不高：new activation function：ReLU、Maxoutadaptive learning rate：Adagrad、RMSProp

BackpropagationBackpropagation(反向传播)，就是告诉我们用gradient descent来train一个neural network的时候该怎么做，它只是求微分的一种方法，而不是一种新的算法Gradient Descentgradient descent的使用方法，跟前面讲到的linear Regression或者是Logistic Regression是一模一样的，唯一的区别就在于当它用在neural network的时候，network parameters θ

Deep LearningUps and downs of Deep Learning1958：Perceptron(linear model)，感知机的提出和Logistic Regression类似，只是少了sigmoid的部分1969：Perceptron has limitation，from MIT1980s：Multi-layer Perceptron，多层感知机和今天的DNN很像1986：Backpropagation，反向传播Hinton propose的Ba

Logistic RegressionReview在classification这一章节，我们讨论了如何通过样本点的均值uuu和协方差Σ\SigmaΣ来计算P(C1),P(C2),P(x∣C1),P(x∣C2)P(C_1),P(C_2),P(x|C_1),P(x|C_2)P(C1​),P(C2​),P(x∣C1​),P(x∣C2​)，进而利用P(C1∣x)=P(C1)P(x∣C1)P(C1)P(x∣C1)+P(C2)P(x∣C2)P(C_1|x)=\frac{P(C_1)P(x|C_1)}{P(C_1)

作业要求：由每天前9个小时的18个空气的影响因素（如：NO，CO，SO2，PM2.5等等）来预测第10个小时的PM2.5，train.csv是一年的数据，每个月取了20天，每天24小时用到的数据 ???? 点击下载,确保有train.csv和test.csv两个文件 现在开始跟着我一步步copy~~ 开始之前先导入需要的库：sys：该模块提供对解释器使用或维护的一些变量的访问，以及与解释器强烈交互的函数pandas：一个强大的分析结构化数据的工具集numpy： Python的一个扩展程序库，支

Classification: Probabilistic Generative ModelClassification概念描述分类问题是找一个function，它的input是一个object，它的输出是这个object属于哪一个class还是以宝可梦为例，已知宝可梦有18种属性，现在要解决的分类问题就是做一个宝可梦种类的分类器，我们要找一个function，这个function的input是某一只宝可梦，它的output就是这只宝可梦属于这18类别中的哪一个type输入数值化对于宝可梦的分

Gradient DescentReview前面预测宝可梦cp值的例子里，已经初步介绍了Gradient Descent的用法：In step 3,​ we have to solve the following optimization problem:θ∗=arg⁡min⁡θL(θ)\theta^{*}=\arg \underset{\theta}{\min} L(\theta) \quadθ∗=argθmin​L(θ)L : loss functionθ:\theta:θ: paramet

Where does the error come from?Review之前有提到说，不同的function set，也就是不同的model，它对应的error是不同的；越复杂的model，也许performance会越差，所以今天要讨论的问题是，这个error来自什么地方error due to biaserror due to variance了解error的来源其实是很重要的，因为我们可以针对它挑选适当的方法来improve自己的model，提高model的准确率，而不会毫无头绪#

Regression：linear model这里用的是 Adagrad ，接下来的课程会再细讲，这里只是想显示 gradient descent 实作起来没有想像的那么简单，还有很多小技巧要注意这里采用最简单的linear model：y_data=b+w*x_data我们要用gradient descent把b和w找出来当然这个问题有closed-form solution，这个b和w有更简单的方法可以找出来；那我们假装不知道这件事，我们练习用gradient descent把b和w找出来

主要从宝可梦（一部训练神奇动物的动画）出发，举了一个回归的例子，讲解了深度学习的基本思路 - 建模、定义用于优化的损失函数loss、梯度下降。

主要介绍接下来要学习的内容大纲：监督学习，半监督学习，无监督学习，迁移学习，结构化学习，强化学习。

问题描述在Anaconda下准备下载东西的时候，出现了这样的报错：Solving environment: failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/r/noarch/repodata.json.bz2>Elapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP

问题描述一个规则的实心十二面体，它的 20个顶点标出世界著名的20个城市，你从一个城市出发经过每个城市刚好一次后回到出发的城市。Input前20行的第i行有3个数,表示与第i个城市相邻的3个城市.第20行以后每行有1个数m,m<=20,m>=1.m=0退出.Output输出从第m个城市出发经过每个城市1次又回到m的所有路线,如有多条路线,按字典序输出,每行1条路线.每行首先输出是第几条路线.然后个一个: 后列出经过的城市.参看Sample outputSample Input2 5

问题在一个给定形状的棋盘（形状可能是不规则的）上面摆放棋子，棋子没有区别。要求摆放时任意的两个棋子不能放在棋盘中的同一行或者同一列，请编程求解对于给定形状和大小的棋盘，摆放k个棋子的所有可行的摆放方案C。Input输入含有多组测试数据。每组数据的第一行是两个正整数，n k，用一个空格隔开，表示了将在一个n*n的矩阵内描述棋盘，以及摆放棋子的数目。 n <= 8 , k <= n当为-1 -1时表示输入结束。随后的n行描述了棋盘的形状：每行有n个字符，其中 # 表示棋盘区域， . 表示

多层感知机：MLP多层感知机由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络(DNN: Deep Neural Networks)。感知机：PLA为了理解神经网络，我们应该先理解神经网络的组成单元——神经元，神经元也叫做感知机。感知器算法在上个世纪50-70年代很流行，也成功解决了很多问题，并且感知机算法也是非常简单的感知机有如下组成部分：输入权值：一个感知器可以接受多个输入(x1,x2,...xn)(x_1,x_2,...x_n)(x1​,x2​,...xn​)，每个输

神经网络的组成单元——神经元，神经元也叫做感知机。在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。而在求解机器学习参数的优化算法中，使用较多的就是基于梯度下降的优化算法(Gradient Descent, GD)。

熵(Entropy) 是度量样本集合纯度最常用的一种指标。ID3决策树算法就是利用信息增益作为划分数据集的一种方法。ID3的后继C4.5使用一种称为增益率（Gain Ratio) 的信息增益扩充。CART中采用基尼指数来进行特征选择。

可以使用‘\\‘表示换行，在需要对齐的地方使用 ‘&’便可实现对齐

贝叶斯定理是统计学中非常重要的一个定理，以贝叶斯定理为基础的统计学派在统计学世界里占据着重要的地位，和概率学派从事件的随机性出发不同，贝叶斯统计学更多地是从观察者的角度出发，事件的随机性不过是观察者掌握信息不完备所造成的，观察者所掌握的信息多寡将影响观察者对于事件的认知。