机器学习
关注
分享
扫一扫
文章平均质量分 79
nbszg
这个作者很懒，什么都没留下…
展开
-
《统计学习方法》七：手推“支持向量机”
第七章 支持向量机SVM是二分类模型，它的基本模型时定义在特征空间上的间隔最大的线性分类器。SVM由简至繁可分为：线性可分支持向量机、线性支持向量机、非线性支持向量机7.1.线性可分支持向量机与硬间隔最大化7.1.1.线性可分支持向量机...原创 2020-04-09 20:29:26 · 178 阅读 · 0 评论 -
风险平价、与基于PCA的风险平价改进投资方式（附回测效果）
一、组合投资的方式先大大致了解一下有多种资产是常用的投资方式：其中马克维茨的均值方差理论是需要投资方式的基础，其目标是：在约束最大风险下，投资组合的收益最大化；或约束最小收益下，投资组合风险最小。而这是等价的。对于不同风险下求解的最大收益组合，或不同收益下求解出的最小风险组合，在风险收益曲线上构成有效前沿有效前沿上面的点是不可能的组合，在有效前沿下面的点不是最优组合。二、风险评价模...原创 2020-03-27 16:43:34 · 3110 阅读 · 0 评论 -
强化学习笔记+代码（七）：Actor-Critic、A2C、A3C算法原理和Agent实现(tensorflow)
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现(tensorflow)Double-DQN、Dueling DQN算法原理和Agent实现(tensorflow)Policy Gradients算法原理...原创 2020-03-27 11:41:58 · 7263 阅读 · 1 评论 -
强化学习笔记+代码（六）：Policy Gradient结构原理和Agent实现(tensorflow)
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现Double-DQN、Dueling DQN算法原理和Agent实现Policy Gradients算法原理和Agent实现A2C、A3C算法原理和Age...原创 2020-03-25 18:59:17 · 2478 阅读 · 6 评论 -
强化学习笔记+代码（五）：Double-DQN、Dueling DQN结构原理和Agent实现
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现Double-DQN、Dueling DQN结构原理和Agent实现Policy Gradients算法原理和Agent实现A2C、A3C算法原理和Age...原创 2020-03-24 17:03:57 · 7423 阅读 · 1 评论 -
手推 GBDT与xgboost
先说结论：GBDT与xgboost的主要区别是GBDT利用的一阶导数的思想去拟合每棵树，xgboost利用二阶导数思想去拟合每棵树。另外xgboost还加入了其他许多技巧，比如xgboost加入和正则项是模型泛化能力更强；同时xgboost还支持并行计算（每棵树还是串行，并行是特征维度的并行）；xgboost在训练完一棵树后都会为其叶子节点的分数乘以一个缩减权重(shrinkage)。来给后面...原创 2020-03-24 15:04:54 · 591 阅读 · 0 评论 -
强化学习笔记+代码（四）：DQN算法原理和Agent实现
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现Double-DQN、Dueling DQN结构原理和Agent实现Policy Gradients算法原理和Agent实现A2C、A3C算法原理和Age...原创 2020-03-23 19:36:51 · 9806 阅读 · 4 评论 -
强化学习笔记+代码（三）：Q-learning算法原理和Agent实现
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现Double-DQN、Dueling DQN算法原理和Agent实现Policy Gradients算法原理和Agent实现A2C、A3C算法原理和Age...原创 2020-03-23 15:54:37 · 4961 阅读 · 0 评论 -
强化学习笔记+代码（二）：SARSA算法原理和Agent实现
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现Double-DQN算法原理和Agent实现Policy Gradients算法原理和Agent实现A2C、A3C算法原理和Agent实现一、SARS...原创 2020-03-23 12:03:33 · 7596 阅读 · 6 评论 -
强化学习笔记+代码（一）：强化学习背景介绍
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程本系列主要分几个部分进行介绍强化学习背景介绍SARSA算法原理和Agent实现Q-learning算法原理和Agent实现DQN算法原理和Agent实现Double-DQN算法原理和Agent实现Policy Gradients算法原理和Agent实现A2C、A3C算法原理和Agent实现一、什么是强...原创 2020-03-23 11:12:59 · 6609 阅读 · 0 评论 -
tensorflow使用DNN、CNN、RNN(lstm)分别实现识别mnist手写数字图片
本文只用全连接神经网络+batchNormlization_dropout实现mnist手写数字图片识别。import osimport structimport numpy as npimport tensorflow as tf#数据加载函数def load_mnist(path, kind='train'): """load mnist date Args: ...原创 2020-03-20 22:11:12 · 1066 阅读 · 3 评论 -
迁移学习与代码举例
迁移学习出现背景在有监督的机器学习和尤其是深度学习的场景应用中，需要大量的标注数据。标注数据是一项枯燥无味且花费巨大的任务，关键是现实场景中，往往无法标注足够的数据。而且模型的训练是极其耗时的。因此迁移学习营运而生。传统机器学习(主要指监督学习)基于同分布假设需要大量标注数据然而实际使用过程中不同数据集可能存在一些问题，比如数据分布差异标注数据过期训练数据过期，也就是好不容易标定...原创 2020-03-18 16:40:34 · 14138 阅读 · 4 评论 -
《统计学习方法》六：手推“逻辑回归与最大熵模型”
第六章 逻辑回归与最大熵模型逻辑回归主要用于二分类问题，与线性回归的核心区别在于，逻辑回归是一个对数线性模型。6.1.逻辑回归模型6.1.1.逻辑分布6.1.2.二项逻辑回归模型6.1.3.模型参数估计6.1.4.多项逻辑回归6.2.最大熵模型6.2.1.最大熵原理最大熵原理是概率学习模型的一个准则。最大熵原理认为，在学习概率模型时，所有可能的概率模型中，熵最大的模型...原创 2020-04-09 10:38:32 · 191 阅读 · 0 评论 -
Seq2Seq与Attention
一、seq2seq对于序列数据常用的深度学习结构是RNN，但是普通RNN的结构存在缺陷，比如梯度消失，输入序列与输出序列要求等长等问题。这在许多情况下，比如翻译、生成总结等，RNN没有很好的效果。为了解决RNN梯度消失问题，提出了lstn结构，但是仍没有解决输入序列与输出序列要求等长的问题。Sequence-to-sequence（seq2seq）解除了输入和输出序列等长和长度固定的问题。一个...原创 2020-03-16 16:16:49 · 595 阅读 · 0 评论 -
Batch Normalization原理理解与Tensorflow实现
一、原始神经网络层和Internal Covariate Shift问题在原始DNN中，隐藏层（HiddenLayer）将输入x通过系数矩阵W相乘得到线性组合z=Wx，再通过激活函数a=f(z)，得到隐藏层的输出a（X可以为输入层输入或者上一个隐藏层的输出）,具体结构如下：图中为一个批次(batch)的样本在隐藏层的传播过程。由于批次的不断传入和训练，DNN内部参数在不断改变，导致每一次隐藏...原创 2020-03-14 20:27:38 · 1512 阅读 · 0 评论 -
FM、DeepFM原理和Tensorflow代码解读
本文主要讲述FM的推导，DeepFM结构与DeepFM的tensorflow代码解读FM算法当我们在使用LR（多元线性回归时）并没有考虑特征交叉项对目标的影响。当我们加入交叉项时，多元线性回归变为以下形式：（注，在计量中，上面形式仍为线性回归，最小二乘依然是有效的）这样做的好处考虑的特征之间的相互效应，模型的精度会上升。但代价是模型参数量大量增加（算法由O(n)变为O(n^2)。对此，可...原创 2020-03-12 20:40:54 · 955 阅读 · 0 评论 -
《统计学习方法》五：手推“决策树”
第四章 决策树决策树是一种基本的分类与回归方法，可以认为是if-then的集合。常用的决策树算法有ID3和C4.5以及CART5.1.决策树模型与学习5.1.1.决策树模型决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型。内部结点和叶结点，内部节点表示属性，即建模使用特征。叶节点是一个类，即标签。决策树将一个实例在树上进行查找，最后...原创 2020-04-09 10:36:53 · 747 阅读 · 0 评论 -
《统计学习方法》四：手推“朴素贝叶斯法”
第三章 朴素贝叶斯法朴素贝叶斯法是通过学习输入XXX和输出YYY的联合分布P(X,Y)P(X,Y)P(X,Y)，对给定的输入xxx，根据贝叶斯理论求出后验概率最大的输出yyy的方法。是一种生成学习方法4.1.朴素贝叶斯算法的学习与分类4.1.1.基本方法4.1.2.后验概率最大化的含义朴素贝叶斯将实例分到后验概率最大的类中，这等价于期望风险最下化。4.2.朴素贝叶斯算法的参数...原创 2020-04-09 10:35:42 · 232 阅读 · 0 评论 -
《统计学习方法》三：手推“k近邻法”
第三章 kkk近邻法k-NN是一种基本的分类和回归方法，没有显式的表达过程。3.1.kkk近邻算法原创 2020-04-09 10:34:22 · 231 阅读 · 0 评论 -
《统计学习方法》二：手推“感知机”
第一章 感知机感知机是一个二分类问题线性模型。旨在于找到一个超平面将正负样本分开。是支持向量机SVM和神经网络的基础。2.1.感知机模型感知机时一种线性分类模型，属于判别模型。感知机的假设空间是定义在特征空间的所有线性分类模型或线性分类器。具体定义如下：2.2.感知机学习策略2.2.1.感知机的线性可分如果存在一个超平面wx+b可以将正负两类样本完全的划分到超平面两侧，则称该数据...原创 2020-04-09 10:33:07 · 222 阅读 · 0 评论 -
特征选择 Python代码
一、特征选择对与机器学习建模。在海量特征时，特征工程选择是必要的。特征工程很大程度上决定了模型的效果和模型的稳定性。特征工程中包函内容很多，包括数据分析，特征组合变换，特征选择和特征降维等等的技术。特征工程和数据的清洗占据了建模过程中绝大部分的时间。其中特征选择是必不可少的阶段。当建模样本数量不足，但特征较多的时候。特征选择是必须的。因为参数的数量规模往往是与特征的多少是正相关的。如果没有足够...原创 2019-12-12 20:38:57 · 4111 阅读 · 2 评论