机器学习算法
strong tyj
在校学生
展开
-
机器学习【6】:过拟合?
1. 什么叫做过拟合? 顾名思义,过拟合就是拟合的过程中太注重于减小误差,而使得拟合的图像或者曲线 超出了我们的预期。 请看图: 对于这样的点,我们希望它拟合出来是这样一条线。但是如果,神经网络太过于注重减小误差,那么就会发生过拟合的现象: ...原创 2019-11-21 11:08:34 · 206 阅读 · 0 评论 -
机器学习【5】:生成对抗网络(GAN,Generative Adversarial Network)
一. 什么叫生成对抗网络 Lan J.Goodfellow等于2014年10月在Generative Adversarial Network中提出的一个通过对抗过程估计生成模型的新框架。框架中同时训练两个模型:捕获数据分布的生成模型G,和估计样本来自训练数据的概率的判别模型D。 举一个例子来说,现在有一个假的画家,有一个判别家,假的画家就是生成器G,判别家就是D,假画家不断...原创 2019-11-21 09:59:39 · 718 阅读 · 0 评论 -
机器学习【4】:强化学习(Reinforcement Learning),Q-learning方法
一. 强化学习 什么是强化学习,首先我们要了解强化学习的几个重要概念,也是强化学习四要素:状态(state)、动作(action)、策略(policy)、奖励(reward)。 说简单一点,强化学习其实就是实现了智能体自发的与环境进行交互并且达到我们所希望的状态。这个过程就会产生很多动作,下一步动作是依靠上一步动作以及当前状态,上一步状态,以及实施动作之...原创 2019-11-20 15:15:27 · 2686 阅读 · 0 评论 -
机器学习【3】:RNN(循环神经网络),LSTM改进
一. RNN 1. RNN作用是什么? RNN是一种可以具有前后记忆的一种特殊的神经网络,它不仅考虑当前时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能.当前节点的输出是基于上一个节点的状态加上当前节点的输入。这样的神经网络是具有上下文关系对应的,后面的信息是基于前面的信息而得出的,几乎所有和时间序列有关的数据我们都可以用循环神经网络进行训练。 ...原创 2019-11-19 14:30:01 · 3769 阅读 · 0 评论 -
机器学习【2】:梯度下降算法,梯度下降实现简单回归案例
一. 梯度下降 1. 什么叫梯度下降? 假设现在在一个二维空间,只有x,y坐标。我模拟一个简单的场景: 梯度下降法的基本思想可以类比为一个游客下山的过程。假如一个人被困在山上,需要下山(也就是找到山的最低点)。但此时山上的浓雾很大,导致可视度很低。因此,下山的路径就无法确定,他必须利用自己周围的信息去找到下山的路径。这个时候,他就可以利用梯度下降算法来帮...原创 2019-11-10 17:25:34 · 318 阅读 · 0 评论 -
机器学习【1】:机器学习类别,线性回归
一. 类别 1. 有监督学习 包括分类,回归等问题模型。 简单来说,在有监督学习中, 所有的数据都会被 打上标签,基于已知的数据集, 进行训练,然后使用训练好的模型去预测未知的数据集的 结果。 2. 无监督学习 包括聚类,关联规则等问题模型。 无监督学习中的数据是没有标签的,只能通过一些计算去学习一...原创 2019-11-10 16:12:58 · 163 阅读 · 0 评论 -
基于深度学习的聊天机器人基础内容
一:分类 1. 人设驱动,也就是人把所有的情况都写进程序,机器人会按照程序来按部就班的回答你所问的东西。 2. 数据驱动,这也就是需要用到机器学习以及神经网络,让机器自己能够通过训练数据集来回答你所问得问题。 二:玩法以及挑战 1. 要明确回答的是短文本还是长文本,短文本就是yes or no,长文本与之相反。 2. 要明确两点:首先这句话说...原创 2019-01-07 20:31:50 · 852 阅读 · 0 评论 -
神经网络基础知识
1. DNN:深度神经网络 2. CNN:卷积神经网络 输入和输出相互独立的 3. RNN:循环神经网络 引入记忆的概念,输出依赖于输入和记忆。整个神经网络都共享一组参数(u,v,w),极大减小了需要训练和预估的参数量。有多少个神经元就有多少个向量。 4. 双向RNN:有些情况下,当前的输出不止是依赖于之前的序列元素,还可能依赖之后的序列元素。 4.1. 损...原创 2019-01-07 20:26:54 · 178 阅读 · 0 评论 -
卷积神经网络的简单认识
一:卷积层 1. 卷积层的作用是降低数据量级,如果说一个图像的像素是1000*1000,全部放到神经网络里面,数据量是非常大的。所以引入了卷积核,相当于一个过滤器。例如:5*5的图像,用3*3的卷积核,就变成了3*3的卷积结果。具体应用中,往往有多个卷积核。 2. 池化的目的是降低数据维度。原因在于即使经过了卷积,但是图像仍然很大,所以为了降低数据维度,就对其进行了采样的操...原创 2019-01-07 20:21:24 · 267 阅读 · 0 评论 -
神经网络简单介绍
一:神经元的概念当然一般的 神经网络比这个复杂很多。二:sigmoid function函数三:随机梯度下降算法 由于神经网络涉及到的数据量非常庞大,如果我们全部都放进神经网络里面去训练,效率非常低,所以经常会采用随机梯度下降算法,就是假如有1000个实例,我第一次选100组放进去,训练完之后一轮就完成了,然后再放100组进去,放几组之后应该就差不多和真实的非常接...原创 2019-01-07 20:18:30 · 251 阅读 · 0 评论 -
非监督学习方法:K-means算法
一. 聚类(K-means算法)1. 是数据挖掘十大经典算法之一。2. 算法接受参数K,然后将事先输入的n个对象划分为k个聚类,以便使得所获得的聚类满足:同一聚类中的对象相似度较高,而不同聚类中的对象相似度低。3. 算法思想:先选出初始的中心点,以每个中心点进行聚类,也就是计算每个点到各个中心点的距离,找到距离某个中心点最小的距离归为那个中心点那一类。再以这些聚类好的点的中心进行聚类,...原创 2019-01-07 20:03:47 · 380 阅读 · 0 评论 -
监督学习算法(八):回归中的相关度和决定系数
8. 回归中的相关度和决定系数 1. 相关系数公式:相关系数 = 协方差/两个变量的方差乘积开根号。其次,相关系数的取值范围是[-1,1]:正向相关:>0,也就是你增大我增大,你减小,我减小;负向相关:<0,也就是你增大我减小,你减小我增大。 2....原创 2019-08-05 21:28:40 · 738 阅读 · 0 评论 -
监督学习算法(七):非线性回归
原创 2019-01-06 20:19:05 · 349 阅读 · 0 评论 -
监督学习算法(六):多远线性回归分析
六. 多元线性回归分析 希望能够帮到你~~~原创 2019-01-06 20:16:39 · 162 阅读 · 0 评论 -
监督学习算法(五):简单线性回归
五. 简单线性回归1. 离散程度的衡量:方差,标准差。2. 对于分类问题Y变量为类别型,对于回归问题Y变量为连续数值型。3. 回归分析用来建立方程模拟两个或者多个变量之间如何关联,被预测的变量被称为因变量,用来进行预测的变量叫做自变量。4. 简单线性回归的模型是:y = b0 + b1*x+e, b0,b1是参数,e是偏差,e是一个随机变量,独立,满足正太分布,并且均值为0.接...原创 2019-01-06 20:14:54 · 321 阅读 · 0 评论 -
监督学习算法(四):神经网络
四. 神经网络 1. 神经网络可以用来做分类问题,也可以解决回归问题。 2. 利用反向微分来实现权重的更新。 3. 没有明确的规则来设计最好有几个隐藏层,一般是根据实验测试和误差分析来改进。 4. Backpropagation算法:是神经网络结构的一种算法。 5. 每一次从上一层到下一层,都会经过一个非线性函数。 6. 作为...原创 2019-01-06 20:12:47 · 518 阅读 · 0 评论 -
监督学习算法(三):支持向量机
三. 支持向量机(SVM)1. 深度学习(2012)出现之前,SVM被认为是机器学习中近十几年来最成功的,表现最好的算法。2. SVM寻找区分两类的超平面,使边际最大。3. 超平面可以定义为:wX+b=0 其中w和X都根据维度而定。所有超平面右上方的都>0,所有超平面左下方的都<0.4. 边界点到直线的间隔越大,这样的分类器越好,因为能够防止过拟合,泛化性能好。5....原创 2019-01-06 20:10:25 · 592 阅读 · 1 评论 -
监督学习算法(二):KNN算法
二. KNN算法(临近取样算法)1. 步骤:为了判断未知实例的类别,以所有已知类型的实例作为参照,选择参数k(k值不好选,选小了过拟合,选大了欠拟合),计算未知实例与所有已知实例之间的距离,从中选择K个,根据少数服从多数的原则,将其归类为K个当中最多数的类别。2. 距离的衡量方法:直线距离,余弦值,相关度,曼哈顿距离。3. 算法优缺点: 算法简单,易于理解,容易实现。但是需要大量的空间...原创 2019-01-06 20:09:13 · 555 阅读 · 0 评论 -
监督学习算法(一):决策树算法
一. 决策树算法1. 机器学习中分类和预估算法的评估:准确率,速度,强壮性,可规模性,可解释性。2. 什么是决策树? 每个内部节点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶节点代表类或者类分布,树的最顶层是根节点。3. 什么是信息熵? 变量的不确定性越大,熵也就越大。4. 决策树归纳算法(ID3)根据信息熵的差值来判断以一个信息熵为基础所获得的信息量,信息量大...原创 2019-01-06 20:04:24 · 365 阅读 · 0 评论