![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI
文章平均质量分 82
我是任玉琢
这个作者很懒,什么都没留下…
展开
-
LSTM - 长短期记忆网络
循环神经网络(RNN)人们不是每一秒都从头开始思考,就像你阅读本文时,不会从头去重新学习一个文字,人类的思维是有持续性的。传统的卷积神经网络没有记忆,不能解决这一个问题,循环神经网络(Recurrent Neural Networks)可以解决这一个问题,在循环神经网络中,通过循环可以解决没有记忆的问题,如下图:看到这里,你可能还是不理解为什循环神经网络就可以有记忆。我们把这个图展开:可以看出,我们输入 X0X_0X0 后,首先警告训练,得到输出 h0h_0h0,同时会把这个输出传递给下一次训原创 2021-02-08 22:04:35 · 611 阅读 · 0 评论 -
三种梯度下降算法的区别(BGD, SGD, MBGD)
前言我们在训练网络的时候经常会设置 batch_size,这个 batch_size 究竟是做什么用的,一万张图的数据集,应该设置为多大呢,设置为 1、10、100 或者是 10000 究竟有什么区别呢?# 手写数字识别网络训练方法network.fit( train_images, train_labels, epochs=5, batch_size=128)批量梯度下降(Batch Gradient Descent,BGD)梯度下降算法一般用来最小化损失函数:把原始的数据网络原创 2021-01-21 01:30:49 · 1402 阅读 · 0 评论 -
数据降维:主成分分析法
前言什么叫做主成分分析法,我们先看一张图椭圆的图,如果让你找一条线,使得椭圆上所有点在该线上映射的点最分散,保留下来的信息最多,你会怎么选择这条线?若是下图,会选择水平线,这是用一维的方式去尽可能多的表示二维的数据,那么多维的数据呢,是否可以用较低维的数据尽可能表示。如何用二维的平面去尽可能表示一个椭球面呢?思想主成分分析法是一种统计方式,简化数据的方式,是一种线性变换,把数据变换到新的坐标系中,使得任意投影的第一大方差映射到第一主成分上,第二大方差映射到第二主成分上。如果舍弃高维的主成分,一般原创 2021-01-19 00:39:16 · 1640 阅读 · 0 评论 -
Sigmoid 函数
前言Sigmoid 函数(Logistic 函数)是神经网络中非常常用的激活函数,我们今天来深入了解一下 Sigmoid 函数。函数形式函数图像代码实现代码运行:Colabimport matplotlib.pyplot as pltimport numpy as npimport mathx = np.linspace(-10, 10, 100)z = 1 / (1 + np.exp(-x))plt.title("Sigmoid")plt.plot(x, z)plt.xl原创 2021-01-07 23:59:07 · 18990 阅读 · 0 评论 -
深度学习中的正则化(一)
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。本文我们聊一聊深度学习中的正则化。深度学习中的正则化一般来说,深度学习所要做的事情是用已有的训练集训练一个网络模型,然后针对新的数据给出预测,我们期望我们的模型在训练集和测试集上都有良好的表现,但是有的时候两者不可兼得。一种情况是在训练集上表现很好,在测试集上表现不好或表现一般;另一种情况是在训练集上表现不好或表现一般,在测试集上表现很好。相比较而言我们更倾向于后者,.原创 2020-07-19 16:27:58 · 164 阅读 · 0 评论 -
深度前馈网络
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。从本文开始将继续学习本书的第二部分,将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络,是理论的应用与提高。深度前馈网络也叫 多层感知机 或者是 前馈神经网络,是典型的深度学习模型。这种模型是一种前向的映射模型,由最初的输入,经过函数 f 映射到结果 y,模型的输出和模型本身没有反馈(有反馈的称作循环神经网络)。这里网络的概念是一种有向无环图,最简单的是链式连.原创 2020-07-05 17:10:24 · 266 阅读 · 0 评论 -
构建机器学习算法
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容,理解了其中部分原理和这么做的原因,接下来我们总结一下,跳出来从更高一点的方面去概括的看一看,也许会有不同的感觉。构建机器学习算法构建机器学习算法是有套路的:特定的数据集、代价函数、优化过程和模型。...原创 2020-04-12 09:09:43 · 291 阅读 · 0 评论 -
随机梯度下降
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。梯度下降算法在机器学习或深度学习中,模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题,简而言之就是优化参数,梯度下降法是优化参数的一种方法。梯度是数学上面的概念,梯度的方向是某一点方向导数最大值的的方向,其向其反方向(负梯度)移动...原创 2020-04-10 15:52:29 · 312 阅读 · 0 评论 -
无监督学习算法
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。无监督学习算法就是无监督的一种学习方法,太抽象,有一种定义(这种定义其实不够准确,无监督和监督之间界限模糊)是说如果训练集有标签的就是有监督学习,无标签的就是无监督,没有标签,意味着不知道结果。有监督学习算法可以知道一堆图片它们是狗的照片,无监督学习算法...原创 2020-04-07 14:03:04 · 3585 阅读 · 0 评论 -
监督学习算法
本文首发自公众号:RAIS,点击直接。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。由于各平台 Markdown 解析差异,有些公式显示效果不好,请到我 个人维护网站 查看。监督学习算法监督学习算法的定义是,给定一组输入 x 和输出 y,学习如何将其关联起来,现在的大部分情况都是监督学习算法的范畴。逻辑回归很多的监督学习算法是基于估计概...原创 2020-04-06 09:09:47 · 1216 阅读 · 0 评论 -
最大似然估计与最大后验估计
前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。MLE VS MAP最大似然函数(MLE)和最大后验概率估计(MAP)是两种完全不同的估计方法,最大似然函数属于频率派统计(认为存在唯一真值 θ),最大后验估计属于贝叶斯统计(认为 θ 是一个随机变量,符合一定的概率分布),这是两种认识方法的差异。模型不变,概率是参数推数据,统计是数据推参数。最大似...原创 2020-04-04 08:23:47 · 1340 阅读 · 0 评论 -
超参数、验证集和K-折交叉验证
本文首发自公众号:RAIS前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。超参数参数:网络模型在训练过程中不断学习自动调节的变量,比如网络的权重和偏差;超参数:控制模型、算法的参数,是架构层面的参数,一般不是通过算法学习出来的,比如学习率、迭代次数、激活函数和层数等。与超参数对比的概念是参数,我们平时训练网络所说的调参,指的是调节&...原创 2020-04-02 08:18:22 · 1573 阅读 · 0 评论 -
过拟合和欠拟合
本文首发自公众号:RAIS前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。构建复杂的机器学习算法上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题,比较简单,接下来的文章我们将介绍一些设计学习算法的基本准则。误差泛化:机器学习的目的是在新的输入上具有良好的表现,而不是已有的数据,这很好理解,在新的数据上表现良好的能...原创 2020-04-01 06:28:55 · 397 阅读 · 0 评论 -
机器学习算法
本文首发自公众号:RAIS前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。深度学习是机器学习的子集,因此想更深入的了解深度学习,需要对机器学习的一些基本原理。学习算法机器学习算法是一种能够从数据中学习的算法,有人给出学习的定义 “对于某类任务 T 和性能度量 P,一个计算机程序被认为可以从经验 E 中学习是指,通过经验 E 改进后,它在任务 ...原创 2020-03-31 11:17:48 · 248 阅读 · 0 评论 -
深度学习中的数值计算
前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。数值计算机器学习算法需要大量的数字计算,并且这些计算包含有一些迭代拟合的过程,在这个计算过程中,由于计算机的局限,无法完全精确的表示,因此总是存在误差的,小的误差经过迭代次数的增多,或者多个误差的叠加,甚至会使得算法不可用,系统失效。上溢和下溢下溢:在现有的精度无法表示那么小的数的时候,接近零的...原创 2020-03-29 10:44:04 · 988 阅读 · 0 评论 -
深度学习中的信息论
本文首发自公众号:RAIS,欢迎关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。信息论信息论是数学上一个分支,非常重要,包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用,我就不赘述了,我们还是讨论更学术更专业性的知识。量化信息非常可能的事情包含较少的信息;较不可能的事情包含更高的信息;独立的事件具有增量的信息。...原创 2020-03-28 10:40:34 · 1021 阅读 · 0 评论 -
深度学习中的概率论
本文首发自公众号:RAIS,期待你的关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。概率论机器学习中,往往需要大量处理不确定量,或者是随机量,这与我们传统所需要解决掉问题是大不一样的,因此我们在机器学习中往往很难给出一个百分百的预测或者判断,基于此种原因,较大的可能性往往就是所要达到的目标,概率论有用武之地了。概念离散型概率质量...原创 2020-03-27 10:11:38 · 800 阅读 · 0 评论 -
深度学习中的线性代数
前言本系列文章是 Deep Learning 的读书笔记,本书是深度学习极其优秀的学习参考书,有一定难度,因此本系列文章需要搭配原书一起阅读,效果更佳,如果不看原书,则假设你具有大学高等数学一般水平。深度学习中的线性代数易混基础概念标量:单独一个数向量:一行/列数矩阵:二维数组张量:一般指多维(0 维张量是标量,1 维张量是向量,2 维张量是矩阵)转置:沿主...原创 2020-03-26 10:34:08 · 427 阅读 · 0 评论 -
深度学习最佳实践
本文首发自公众号:RAIS,欢迎关注。最佳实践,顾名思义,就是做某事的最佳方法,当然,这里的最佳一定是绝大多数情况,但又不是百分百的情况,我们不必纠结这个问题,我们需要记住的是下面这些方法在深度学习实践中是非常好的做法。回调机制如果你看到这里,我有理由认为你是一个懂得程序设计懂得编程的有一定开发经验的程序员,既然如此,你一定对回调不陌生,回调类似于一种观察者的设计模式,我交给你一个任务去...原创 2020-03-23 08:33:51 · 388 阅读 · 0 评论 -
现实比理论要复杂
我们试想一个实际问题,春天到了,我们要买衣服了,同时,作为服装厂商,也要开始发布新的衣服了,如果你作为一个服装厂商的技术顾问,请你分析出什么样的衣服属于今年的流行趋势,你会怎么做?首先,作为技术宅男的你,我不认为你会对流行元素有那么多的关注,不会去看什么巴黎时装周,你能做的就是根据各种各样的数据进行分析预测。你可能会在店铺中进行一些扫码填写调查表发放一些优惠券,还可能去各大时尚网站去扒一些评论分...原创 2020-03-21 16:39:50 · 185 阅读 · 0 评论 -
卷积神经网络处理文本序列
我们之前讨论了卷积神经网络,从局部可以提取出特征,用于小猫小狗的图片识别处理,非常有效;也讨论了循环神经网络进行文本的处理,因为文本的顺序是顺序相关的。基于以上特点,我们把时间或者说文本的前后看做一个维度,那一段文本就是一个一维空间,相比图片的二维空间,变得更加简单了,那卷积神经网络是否可以处理这样的情况呢?先亮出结论,答案是肯定的。图片是二维的数据,文本是一维的数据,因此我们可以对训练的神经网...原创 2020-03-19 09:33:53 · 2050 阅读 · 0 评论 -
再探循环神经网络
上一篇中,我们讨论了循环神经网络相关的基本内容,今天我们继续探讨一下循环神经网络还有那些需要注意的更高级的用法。降低过拟合在之前的讨论中,我们经常聊起过拟合的问题,我们一般判断训练的网络什么情况下算作训练完成,查看其精度和损失时,也都看的是其过拟合之前的数据,避免过拟合的一种方法是用 dropout 方法,随机清零的方式去实现,但是在循环神经网络中,这个问题就有点复杂了。人们在大量的实验中早...原创 2020-03-14 01:09:13 · 169 阅读 · 0 评论 -
循环神经网络
最近的股市震荡的有点厉害,跌的有点惨,面对如此情景,我波澜不惊,原因很简单,前几年我小试牛刀的时候我意识到了这不是我这种散户能玩得懂的,如今的我早已空仓。万物皆可 AI,如何用深度学习的方法去理解呢?当然,本篇不是一个指导买股票的文章,也不会用股票的数据信息去训练模型,我付不起这样的责任,也同样因为股票的市场行情远非一点股票价钱数据就可以解释的。下面我们来聊一聊正事,循环神经网络(RNN)。为...原创 2020-03-11 18:48:52 · 179 阅读 · 0 评论 -
AI:深度学习用于文本处理
同本文一起发布的另外一篇文章中,提到了 BlueDot 公司,这个公司致力于利用人工智能保护全球人民免受传染病的侵害,在本次疫情还没有引起强烈关注时,就提前一周发出预警,一周的时间,多么宝贵!他们的 AI 预警系统,就用到了深度学习对文本的处理,这个系统抓取网络上大量的新闻、公开声明等获取到的数十万的信息,对自然语言进行处理,我们今天就聊聊深度学习如何对文本的简单处理。文本,String 或 ...原创 2020-03-06 01:16:38 · 1110 阅读 · 0 评论 -
AI:拿来主义——预训练网络(二)
上一篇文章我们聊的是使用预训练网络中的一种方法,特征提取,今天我们讨论另外一种方法,微调模型,这也是迁移学习的一种方法。微调模型为什么需要微调模型?我们猜测和之前的实验,我们有这样的共识,数据量越少,网络的特征节点越多,会越容易导致过拟合,这当然不是我们所希望的,但对于那些预先训练好的模型,还有可能最终无法很好的完成所要做的工作,因此我们还需要对其更改,基于此原因,我们需要做的就是拿来一个训练...原创 2020-03-04 09:51:41 · 253 阅读 · 0 评论 -
AI:拿来主义——预训练网络(一)
我们已经训练过几个神经网络了,识别手写数字,房价预测或者是区分猫和狗,那随之而来就有一个问题,这些训练出的网络怎么用,每个问题我都需要重新去训练网络吗?因为程序员都不太喜欢做重复的事情,因此答案肯定是已经有轮子了。我们先来介绍一个数据集,ImageNet。这就不得不提一个大名鼎鼎的华裔 AI 科学家李飞飞。2005 年左右,李飞飞结束了他的博士生涯,开始了他的学术研究不就她就意识到了一个问题,...原创 2020-03-02 10:11:12 · 1690 阅读 · 0 评论 -
AI:是猫还是狗,这是个问题
首发自公众号:RAIS如果你不喜欢小猫和小狗,你可能不知道他们具体是哪一种品种,但是一般来说,你都能区分出这是猫还是狗,猫和狗的特征还是不一样的,那我们如何用机器学习的方法训练一个网络区分猫狗呢?我们选用的是 Kaggle 的一个数据集(https://www.kaggle.com/c/dogs-vs-cats/data),用神经网络的方法进行模型的训练。下载下来的数据集对于我们测试来说数...原创 2020-03-01 09:34:01 · 529 阅读 · 0 评论 -
卷积神经网络
卷积神经网络这个词,应该在你开始学习人工智能不久后就听过了,那究竟什么叫卷积神经网络,今天我们就聊一聊这个问题。不用思考,左右两张图就是两只可爱的小狗狗,但是两张图中小狗狗所处的位置是不同的,左侧图片小狗在图片的左侧,右侧图片小狗在图片的右下方,这样如果去用图片特征识别出来的结果,两张图的特征很大部分是不同的,这不是我们希望的,那思考一下,为什么我们人就可以把它们都看成是可爱的小狗狗呢?这是...原创 2020-01-20 23:16:13 · 187 阅读 · 1 评论 -
五个 Python 常用数据分析库
前言Python 是常用是数据分析工具,常用的数据分析库有很多,下面主要介绍如下六个分析库:NumPy、Pandas、SciPy、StatsModels、Matplotlib。NumPyNumPy 是一个非常常用的数据分析库,更准确点说是一个数学计算库,包括下面的 Pandas 也依赖于 NumPy。话说为什么用 NumPy,他有什么优点?众多内置的数学计算:文章你看到这里,说明你要做的...原创 2020-01-19 22:13:57 · 1467 阅读 · 0 评论 -
机器学习基础概论
本文将是一篇长文,是关于机器学习相关内容的一个总体叙述,会总结之前三个例子中的一些关键问题,读完此文将对机器学习有一个更加深刻和全面的认识,那么让我们开始吧。我们前面三篇文章分别介绍了 二分类问题、多分类问题 和 标量回归问题,这三类问题都是要将输入数据与目标结果之间建立联系。同时,这三类问题都属于监督学习的范畴,监督学习是机器学习的一个分支,还包括三个其他的主要分...原创 2020-01-17 17:19:06 · 363 阅读 · 1 评论 -
预测房价:人工智能回归问题
我们之前提出了三个经典的问题,他们分别是:二分类问题(电影评论好坏倾向性判断)多分类问题(将新闻按照主题分类)回归问题(根据房地产数据估算房地产价格)我们解决了前两个问题,今天我们解决第三个问题,回归问题。不管是二分类问题还是多分类问题,归结起来都是分类问题,而回归问题不一样,他是一种回归问题,回归问题的训练结果不是离散的情况,而是连续的情况,例如预测明天的气温、全年降水量等。...原创 2020-01-15 23:41:51 · 1205 阅读 · 1 评论 -
新闻分类:人工智能多分类问题
上一节我们提到了三个非常经典的问题,他们分别是:二分类问题(电影评论好坏倾向性判断)多分类问题(将新闻按照主题分类)回归问题(根据房地产数据估算房地产价格)上一篇中,我们介绍了其中的二分类问题,这一篇我们介绍其中的多分类问题。如果你没有阅读过上一篇,请先阅读上一篇,否则下文很多内容你会不知所云。现在我们开始今天的话题:实际的背景是这样的:路透社将新闻分为了 46 个互斥的大类,一篇文...原创 2020-01-13 19:20:02 · 692 阅读 · 1 评论 -
Deep Learning with Python
Deep Learning with Python 适合立志研究人工智能、深度学习的初学者及有经验的开发者,本书分为两部分,第一部分是入门篇,讲解什么叫人工智能和深度学习,介绍一些基础概念,初级实例,适合初学者了解什么是深度学习;第二部分是高级篇,深度学习在计算机视觉、文本处理的方法和理论方法,也有很多的实际例子和最佳实践等,适合有经验开发者,学习梯度明显,是一本经典的人工智能书籍。本书是 Go...原创 2020-01-13 08:57:00 · 2629 阅读 · 1 评论 -
好还是坏:人工智能二分类问题
上一篇文章我们介绍了深度学习的 Hello World,代码写起来相比其他语言有点多,虽然背后的很多原理你可能还没有完全弄懂,但从宏观上来看,是很好理解的。接下包括本篇在内的接下来的三篇文章,我们来用深度学习解决三个实际问题,也是非常经典的三个问题,分别是:二分类问题(电影评论的好坏偏向性判断)多分类问题(将新闻按照主题分类)回归问题(根据房地产数据估算房地产价格)今天我们关注他们其中...原创 2020-01-10 23:51:11 · 870 阅读 · 1 评论 -
神经网络手写数字识别
聊了几天理论,是该弄一个 Hello World 了,在人工智能领域,或者说深度学习领域,Hello World 程序就是手写数字识别,今天我们就来看看手写数字识别的程序怎么写。不愿意看代码吗,那我就说一说这段代码干了点什么:先通过 keras 内置的数据集下载测试数据,是 60000 长手写图片的训练集和 10000 张测试集,随后定义了一个神经网络的模型,设置网络中的层参数,随后配置训练网络的...原创 2020-01-06 21:02:58 · 215 阅读 · 0 评论 -
TensorFlow or PyTorch
既然你已经读到了这篇文章,我就断定你已经开始了你的深度学习之旅了,并且对人造神经网络的研究已经有一段时间了;或者也许你正打算开始你的学习之旅。无论是哪一种情况,你都是因为发现你陷入了困惑中,才找到了这篇文章。你可能查询浏览了各种各样的深度学习的框架和库,但是其中有两个比较突出,他们是两个最流行的深度学习库:TensorFlow 和 PyTorch。你没有办法指出这两个库有什么本质的不同,不用担心!...翻译 2020-01-06 11:05:10 · 399 阅读 · 0 评论 -
什么是深度学习
还是这一张图,我们前几天见过了,人工智能包括机器学习,机器学习包括深度学习,那究竟什么是深度学习呢?我们先看一张图:图中在以 x 轴和 y 轴组成的坐标系中,有一些点,可以看到,其中有一些是白点,有一些是黑点,这些点可以用(x,y)这样的坐标表示,我们现在要做的任务就是根据 x 和 y 这些点的坐标,找到一些规律,或者是找到一个比较好的办法、公式等去描述这些点,你是否可以根据找到的规律或者公...原创 2020-01-06 11:04:01 · 1168 阅读 · 0 评论 -
五个常见 AI 开发库
上一篇文章已经写过了,人工智能的发展不可谓不曲折,三起两落,不同的历史阶段,主流的研究方法不一样,开始时的 if-else 结构,简单的逻辑判断字符串匹配,到后期的穷举计算等,慢慢发展到现在的大数据与深度学习相结合的主流研究方法,逐渐体现出了较大的优势,同时也涌现出了不同的深度学习(机器学习)框架,以下挑选五种主流的框架进行介绍进行对比分析,以供大家参考使用:TensorFlow:推荐指数 ☆...原创 2020-01-02 20:49:11 · 895 阅读 · 0 评论 -
AI——第四次工业革命
历史上发生了三次工业革命:第一次是以蒸汽机的发明为代表,改变了长久以来的棉纺织业,人类进入“蒸汽时代”;第二次是以汽车的发明和电学的发展为代表,人类的活动范围和时长都极大地扩展,人类进入“电气时代”;第三次是以克隆技术和电脑的发明为代表,人类进入“科技时代”。前两次工业革命我们没有那么深的体会,但第三次工业革命至今还深刻的影响着我们,我们也深深地体会到了这次工业革命带给我们的变化,想一想近十年的发...原创 2019-12-30 19:18:08 · 646 阅读 · 0 评论