peacefairy的博客

目录The Marginal Value of Adaptive Gradient Methods in Machine Learning（机器学习中自适应梯度方法的边缘值）摘要1、引言2、背景2.1相关工作3、自适应方法的缺点3.1非自适应方法3.2自适应方法3.3自适应方法导致过拟合问题4 、深度学习实验4.1 调整超参数4.2 卷积神经网络的选择---针对试验进行设置5、结论The Marginal Value of Adaptive Gradient Methods in Machine Lear

数据处理与机器学习简介章节1、Python编程基础、科学计算基础库NumpyPython语言编程基础大概浏览Numpy-科学计算基础库（ndarray+ufunc）2、数据处理与统计分析Pandas、可视化Matplotlib数据处理与统计分析PandasMatplotlib3、网络数据爬虫及信息抽取（request\BeautifluSoup）4、机器学习与数据挖掘分析（Scikit-learn）5、深度学习6、自然语言分析处理简介学习掌握使用Python编程语言来开展数据分析全流程，包含数据抓取、

原文链接：https://www.cnblogs.com/bonelee/p/9030092.html我们从最基本的卷积操作开始说起。近些年来，卷积神经网络在很多领域上都取得了巨大的突破。而卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像的特征来进行图像的描述。然而去学到一个性能非常强劲的网络是相当困难

学习场景Semi-Supervised Learning(半监督学习)1、introduction2、Semi-supervised Learning for Generative Model3、Low-density Separation Assumption：非黑即白4、Smoothness Assumption：近朱者赤，近墨者黑5、Better Representation：去芜存菁，化繁为简Semi-Supervised Learning(半监督学习)1、introduction在现实生活中

卷积神经网络为什么用CNN来处理影像CNN的结构Convolution部分Max pooling部分Flatten为什么用CNN来处理影像当我们直接用一般的fully connected feedforward network来做图像处理的时候，往往会需要太多的参数。CNN做的事情其实是，来简化这个neural network的架构，我们根据自己的知识和对图像处理的理解，一开始就把某些实际上用不到的参数给过滤掉。在图像分类上，按照一般的思维，我们分辨一个图像里是什么，就根据有辨识度的特征来对这个物种

Deep Learning对Deep Learning的简单介绍深度学习为什么要Deep深度神经网络的训练技巧Backpropagation对Deep Learning的简单介绍对深度学习的发展进行了简单的介绍，从中我知道了perceptron（感知机），perceptron是最早神经网络，是一个linear model，其结构类似于我们现在的 logistic regression。深度学习作为解决机器学习问题的方法之一，其步骤和机器学习是一样的，都是首先定义一个模型，如何评判这个模型的好坏，选出最

classfication--宝可梦的研究1.分类是什么？2.宝可梦研究(问题的导入)3.把分类问题作为回归问题来解，work嘛？4.分类模型的分析（二分类）5.多分类案例说明6. Logistic Regression的局限-引入Deep Learning1.分类是什么？分类问题是找一个function，它的input是一个object，它的输出是这个object属于哪一个class。2.宝可梦研究(问题的导入)以宝可梦为例，已知宝可梦有18种属性，现在要解决的分类问题就是做一个宝可梦种类的分

Gradient Descent1、Gradient Descent的基本操作2、Gradient Descent的几个小tips3、Gradient Descent为什么会work？（原理）4、Gradient Descent的局限1、Gradient Descent的基本操作回顾一下机器学习的步骤，定义一个Model（function set），利用损失函数评估function的好坏，最后利用gradient descent 方法找到最优的function。梯度下降法就是找到最优的参数解，使得损失

目录1、误差的来源2、如何针对性地处理bias大 or variance大的情况呢？3、选择模型1. Cross Validation2.N-flod Cross Validation4、总结：1、误差的来源了解error的来源其实是很重要的，因为我们可以针对它挑选适当的方法来improve自己的model，提高model的准确率，而不会毫无头绪。y^\widehat{y}y​ 表示那个真正的function，而f∗f^*f∗表示这个f^\widehat{f}f​的估测值 estimator。

目录初步感受RegressionRegression能够做哪些事情？Regression案例分析（宝可梦研究）抛出问题解决思路ML 的步骤Step1：Model (function set)Step 2: Goodness of FunctionStep3：Pick the Best Function尝试讨论不同的参数针对过拟合问题的解决方案-Regularization初步感受RegressionRegression能够做哪些事情？股票行情预测（输出明天买哪只）自动驾驶（输出驾驶方向）推荐系统

目录1、作业情况2、什么是机器学习？3、我们要找什么样的函数？4、怎么样告诉机器我们要什么样的函数5、机器如何实际找出我们想要的函数6、前沿研究1、作业情况首先根据15个作业来说明本次课程要讲解的主体内容：其中，蓝色圈圈表示（数分钟完成） 黄色三角表示（数小时完成）红色星星表示（数日完成）2、什么是机器学习？简单来说，机器学习就是自动找到一个函数来帮我们解决问题的。比如你输入一段语音，机器学习就会找到一个函数来识别出语音中的文字你输入一个猫猫的图片，机器就会找到一个函数来说明它就是一只猫

动手学深度学习深度学习简介预备知识三级目录深度学习简介举一个小的例子，如何编写一个程序，让机器识别我输入的图片是否有一只猫？我们需要哪些值来帮助我们确定？事实上，要想解读图像中的内容，需要寻找仅仅在结合成千上万的数值时才会出现的特征，如边缘、质地、形状、眼睛、鼻子等，最终才能判断图像中是否有猫。通俗来说，机器学习是一门讨论各式各样的适用于不同问题的函数形式，以及如何使用数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的一类函数，它们的形式通常为多层神经网络。机器学习，神经网络是

本文是对博主**iteapoy** 相关笔记的续写，以此来督促自己学习。RNNRNNLSTMRNN的cost functionRNN的应用RNN相关的扩展RNN首先，介绍一个自然语言处理任务中常见的应用问题：Slot Filling（填槽）用户说出一句话，提取出其中的重点，把它填入对应的槽中，比如“目的地”填“台北”，“抵达时间”填“11月2日”我们可以用之前讲的 前馈神经网络来解决这个问题输入：一个单词（更准确的说，是它的向量）输出：这个单词属于某个槽的概率分布如：输入 “Tai