m0_56404848的博客

原创 加州房价模型（住房价格中位数）

一、实验概述实验目标：选择加州房价数据集，基于1990年加州人口普查的数据，添加了一个分类属性，并且移除了一些特征。模型需要从这个数据中学习，从而能够根据其他指标，预测任意区域的房价中位数。二、获取数据1.创建工作环境工作环境选择的Jupyter notebook，使用python3.0版本，安装Python模块：Jupyter、Numpy、Pandas、Matplotlib和Scikit-Learn。2.下载数据（这里我不会按照网上的教程下载，我是找到了数据集之后直接引用的，这方面还存在不足，还

原创 李宏毅深度学习笔记16(Transfer learning迁移学习)

原创 李宏毅深度学习笔记15（GAN-03）

Unsupervised Conditional Generation本节在讨论如何将一个对象从一个域转换到另一个域,而不需要成对的数据.有两种做法,这节课主要介绍这两种做法.做法一:Direct Transformationgenerator可以生成类似Domain Y的风格的图片,骗过Discriminator.但如果仅仅如此,generator可以直接生成一张与原输入无关,但是与domainY的风格类似的图片,就可以直接骗过Discriminator.这个问题需要我们去解决.有三种方式可以解

原创 李宏毅深度学习笔记14（GAN-02）

本节考虑如何控制生成对象。将GAN变为Conditional GAN，两者的Generator是相同的，不同的是Discriminator。Text-to-Image传统的做法：如下图所示，但是如果训练的图片是多个角度的，这样机器两边都学习到就会产生不好的结果，让大家看不出来像什么。利用GAN去做：存在的问题是discriminator只会判断图片是否清晰是否真实，而无法按条件生成想要的图片。最后用到Conditional GAN：不改变generator的部分，只改变discriminator

原创 李宏毅深度学习笔记13( GAN-01)

Basic Idea of GAN（GAN的基础概念）generator:可以通过改变参数改变所要的图片内容(比如改变矩阵中第几个数就可以改变图片中二次元人物的嘴的大小,或者头发的颜色等等).discrimination:类似于一个评分机制.图片输出后,给出相应的评分结果.generator与discrimination是属于对立关系，两者属于对抗状态，所以当generator逐渐增强和演化的时候，discrimination也不断的增强和演化。（也可以理解成和平的比喻:互相追逐学习）Algor

原创 李宏毅深度学习笔记12(convolutional neural network)

why CNN for imageCNN简化了全连接的神经网络.它可以简化的原因是:1.图像识别的时候,并不是每识别一个模式都要查看整张图,大多数特征只要看图片的一小部分就行了.2.在图片不同区域出现的同一个模式,只需要训练出一组参数,就可以用于检测了.3.对图片进行采样不会影响图片上的信息.the whole CNNCNN是一个不断卷积不断池化的过程.并且上述提出的三个原因,前两个使用卷积完成,第三个是用池化完成.CNN-convolution用卷积核去卷积每个小方块(对应元素相乘相

原创 李宏毅深度学习笔记11(pytorch tutorial)

概述1.pytorch可以顺利地与python数据科学栈集合,pytorch非常类似于numpy.(在很多计算方法上都是一样的)2.动态计算图:取代了具有特定功能的预定义图形,pytorch为我们提供了一个框架,以便可以在运行时构建计算图,甚至在运行时更改它们.在不知道创建神经网络需要多少内存的情况下非常的有价值.3.易于使用的API:就像python一样简单.主要元素1.pytorch张量张量只是多维数组,pytorch中的张量类似于numpy和np.arrays,2.数学运算在计算相

原创 李宏毅深度学习笔记10(why deep)

给了两组实验.第一组越深的神经网路,其参数越多,模型就越复杂,能够拟合更加复杂的函数.第二组:只增加神经元个数,不增加层数,这样是没办法提高准确率的.Modularization:模块化分层次,逐层解决各个小问题,不断深入.模块化是自动完成的,不需要人为决定每层检测什么.由于把每一个步骤进行了简化,所以需要的training data数目较少.这章主要就是讲解了为什么要学习深度学习,深度学习的好处是什么,深度学习用到了模块化....

原创 李宏毅深度学习笔记09(Tips for Deep Learning)

Deep learning要分清楚是哪里不行,不能把所有的都归结于欠拟合.在training set上的no是陷入局部最优的原因.在testing set上的no才是overfitting的原因.Dropout在testing data结果不好的时候才能使用dropout,在testing data结果好的时候,使用了dropout,结果会越来越差.通过这个可以知道,处理问题的时候,要对症下药.Vanishing Gradient Problem我的理解是:network越深,经过越多的s

原创 李宏毅深度学习笔记08(Backpropagation)

反向传播算法(简称BP算法)BP算法的用途: To compute the gradients efficiently, we use backpropagation.为了有效的计算梯度.涉及到的数学知识chain rule 链式求导法则该神经网络用到的公式为:BP算法,从字面上的意思就是反向传播算法,所以运用过程中,就是先正着进行,之后在反向进行,反向进行的过程也相当于验证的过程.正向进行是通过输入进行计算,反向进行是通过输出进行计算.对BP算法进行总结...

原创 李宏毅深度学习笔记07（Brief Introduction of Deep Learning)

Deep learning 的历史Deep learning 的过程依旧是机器学习的三个过程：step1:define a set of function ; step2:goodness of function ; step3:pick the best function.只不过step1用到neural network。它也有对应的公式：根据相应的数学计算得到输出值。一些问题1.How many layers? How many neurons for each layer?answ

原创 李宏毅深度学习笔记06（Logistic Regression）

Step1 ：Function SetIncluding all different w and bStep2：Goodness of a Function（决定一个function的好坏）假设training data的数据如下图所示：则probability就是如下：cross entropy（与线性分析的时候的误差类似的东西）：Step3 ： Find the best Function（Logistic regression与liner regression一样）Cross E

原创 李宏毅深度学习笔记05（Classification：Probabilistic Generative Model）

应用场景1.Credit Scoring 信用评分Input: income, savings, profession, age, past financial history …… Output: accept or refuse2.Medical Diagnosis 医疗诊断Input: current symptoms, age, gender, past medical history …… Output: which kind of diseases3.Handwrit.

原创 李宏毅深度学习笔记04(Optimization for deep learning)

SGDMomentum项相当于速度,因为β稍小于1，表现出一些摩擦力，所以球不会无限加速下去,解决了局部最小点的问题,可以使球向最低点继续运动.AdagradAdagrad给SGD加上一个分母,将每一个参数的每一次迭代的梯度取平方累加后在开方，用全局学习率除以这个数，作为学习率的动态更

原创 李宏毅深度学习笔记03（Gradient Descent梯度下降法）

Tuning your learning rates1.learning rate，设置太小，时间过长；设置太大，无法找到最低点，永远在上面震荡。2.Adaptive Learning Rates（1）Adagrad每一个参数的learning rate都把它除以之前算出来的微分值的root mean square(均方根).（2）Stochastic Gradient Descent原来的gradient descent，看完一遍example之后，就更新一遍参数。你会发现他是比较稳定

原创 李宏毅深度学习笔记02（Basic Concept）

model的误差来源error的两大来源bias（偏差）和variance（方差）。误差:机器学习就是寻找一个函数，然后给它一个输入，就能得到一个理想的输出，f head是理论上找到的最佳函数，f star是我们用模型预测出来的函数，两者的差值就是误差。bias:估计值的期望等于假设值，就是无偏差，反之就是有偏差。当样本数越来越大时，样本均值才无限接近于期望。variance:方差表达的是数据的离散程度。Bias：枪打的准不准；Variance：枪打的散不散。Bias是f head 和f st

原创 李宏毅深度学习笔记01(Regression)

Regression定义Regression(回归):找到一个函数function，通过输入特征x，输出一个数值scalar。股市预测：输入：过去10年股票的变动、新闻资讯、公司并购咨询等输出：预测股市明天的平均值自动驾驶：输入：无人车上的各个sensor的数据，例如路况、测出的车距等输出：方向盘的方向商品推荐：输入：商品A的特性，商品B的特性输出：购买商品B的可能性实现Regression的步骤(机器学习的步骤)eg : 我们要预测Pokemon精灵攻击力。输入：进化前的cp值，物种