自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Target Encoding

Target Encoding 二分类问题: 记号:   Target Y∈{0,1},Categorical feature XiTarget\text{ }Y\in\{0,1\}, Categorical \te...

2018-09-28 16:40:57

阅读数 1072

评论数 0

生成对抗网络

生成对抗网络 GAN 模型 GAN由生成器与判别器组成,需要同时训练两者,生成器通过噪音变量生成伪造的图片数据,而判别器对于输入图片来源于数据集还是伪造的图片要进行区分,生称器要尽可能的欺骗判别器(使判别器分辨不出图片的来源),而判别器要尽可能的判别出图片的来源,这是一个两方博弈的问题 为了...

2018-09-03 15:32:44

阅读数 201

评论数 0

机器学习(七)EM算法

机器学习(七)EM算法 7.1 EM 已知X为观测变量,Z为隐变量,θθ\theta为模型参数,欲对θθ\theta做极大似然估计 LL(θ|X,Z)=lnP(X,Z|θ)(7.1.1)(7.1.1)LL(θ|X,Z)=lnP(X,Z|θ)LL(\theta|X,Z)=lnP(X,Z|\th...

2018-07-11 22:15:54

阅读数 67

评论数 0

机器学习(六)采样方法

机器学习(六)采样方法 6.1 蒙特卡洛数值积分 计算f(x)f(x)f(x)的积分时,∫baf(x)dx∫abf(x)dx\int_a^bf(x)dx复杂不好求,可采用蒙特卡洛积分来近似 思想:   ∫baf(x)dx=∫baf(x)q(x)q(x)dx∫abf(x)dx=∫abf(x)...

2018-07-11 15:05:49

阅读数 1882

评论数 0

机器学习(五)降维

机器学习(五)降维 5.1 PCA 用d′d′d\prime维向量表示ddd维向量样本,使得降维后的数据与源数据平方误差最小(投影到低维子空间中,使得原始数据在这个子空间的各个方向方差最大化) 从最大重构性推导:   假设样本进行了中心化,∑ixi=0∑ixi=0\sum_ix_i=0,假...

2018-07-09 16:18:22

阅读数 77

评论数 0

机器学习(四)聚类算法

机器学习(四)聚类算法 4.1 K-means 基于原型的聚类 假设类的结构可以用一组原型来刻画 划分方法 目标函数: E=∑i=1k∑x∈ci||x−μi||2(4.1.1)(4.1.1)E=∑i=1k∑x∈ci||x−μi||2E=\sum_{i=1}^k\sum_{x\in c_i...

2018-07-08 17:47:25

阅读数 199

评论数 0

机器学习(三)树模型

机器学习(三)树模型 3.1 划分选择 3.1.1 信息增益 熵的定义如下,熵越小,纯度越高 Entropy(D)=−∑k=1|y|pklogpk(3.1.1)(3.1.1)Entropy(D)=−∑k=1|y|pklogpkEntropy(D)=-\sum_{k=1}^{|y|}p_kl...

2018-07-08 13:51:03

阅读数 94

评论数 0

深度学习(五) 循环神经网络基础

深度学习(五) 循环神经网络基础 5.1 RNN RNN对于时序数据进行建模,上一刻的输出回作为下一时刻的输入。 更新方程: ht=tan(Wh(t−1)+Ux(t))0t=c+Vh(t)(5.1.1)ht=tan(Wh(t−1)+Ux(t))(5.1.1)0t=c+Vh(t)\begin...

2018-07-05 17:32:43

阅读数 124

评论数 0

深度学习(四) 卷积神经网络基础

深度学习(四) 卷积神经网络基础 4.1 卷积层 卷积层的作用:   稀疏连接(局部感知):核大小远小于输入,存储的参数小,输入只和少部分输出的连接。以、一般认为图像的空间联系是局部的像素联系比较密切,而距离较远的像素相关性较弱,因此,每个神经元没必要对全局图像进行感知,只要对局部进行感知。...

2018-07-05 16:50:08

阅读数 119

评论数 0

深度学习(三) 优化算法

深度学习(三) 优化算法 3.1 梯度下降 基本思想:   利用当前位置的负梯度作为搜索方向,因为该方向为当前位置的最快下降方向   缺点:   靠近极小值时收敛速度减慢,可能成之字形下降   GD 梯度下降:   最小化所有训练样本的损失函数,使得最终求解的是全局的最优解,即求...

2018-07-03 16:46:12

阅读数 85

评论数 0

深度学习(二) 正则、BN、梯度消失

深度学习(二) 正则、BN、梯度消失 2.1 正则化 L1、L2正则 数据增强,例如加入随机噪声,输入时加入,在隐藏层加入(方差极小的噪声);图像平移,旋转,色彩变化 Early stopping 验证集的训练误差在一定轮数没有降低,则停止训练 参数共享 Weight Sharing CNN...

2018-07-02 21:01:27

阅读数 1586

评论数 0

机器学习(二)线性模型---SVM

机器学习(二)线性模型—SVM 2.3 SVM   2.3.1 概述   SVM在特征空间找到一个超平面使得超平面能将两类分开,且间隔最大(解唯一)   i. 当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机;   ii. 当训练数据近似线性可分时,引入...

2018-06-30 17:37:35

阅读数 134

评论数 0

机器学习(二)线性模型---LR

机器学习(二)线性模型—LR 2.2 LR   2.2.1 基础   LR是一种二分类模型,属于线性模型的一种,是广义线性分类模型,采用极大似然估计,具有概率可解释性   条件概率: P(y=1|x)=σ(w⋅x)(14)(14)P(y=1|x)=σ(w⋅x)P(y=1|x)=\sig...

2018-06-30 17:34:57

阅读数 296

评论数 0

机器学习(二)线性模型---线性回归

机器学习(二)线性模型—线性回归 2.1 线性回归  2.1.1 基本形式:  给定样本x=(x1,x2,...,xd)x=(x1,x2,...,xd)\textbf{x}=(x_1,x_2,...,x_d),线性模型通过如下方式计算预测值: f(x)=w1x1+w2x2+...+wdxd...

2018-06-30 17:34:05

阅读数 94

评论数 0

深度学习(一) 损失函数、输出单元、激活函数、反向传播

深度学习(一) 损失函数、输出单元、激活函数、反向传播 深度前馈网络 概述 线性模型无论是凸优化还是闭式解都可以高效可靠地拟合,而它的缺陷是拟合能力局限于线性函数里,无法理解特征之间的相互作用。 深度学习通过学习特征来优化模型,提高模型的性能。 与线性模型的凸优化从任意初始解都能收敛到...

2018-06-28 20:34:28

阅读数 1082

评论数 1

机器学习(一)基础常用损失函数、评价指标、距离、指标

机器学习(一) 1.基础 1.1 数据集划分方式 留出法 按正负例比例划分数据集,多次训练模型取平均 交叉验证 k折交叉验证形成k个数据集,每次取其中的1k1k\frac{1}{k}作为验证集 Bootstrapping 每次从样本容量为D的集合重复的取元素D次,形成新的样本...

2018-06-27 15:20:16

阅读数 1132

评论数 0

基于知识的推荐系统

基于知识的推荐系统 一些物品如地产、房屋的的推荐上,用户没有足够的评分,基于知识的推荐系统以一种交互的方式向用户推荐符合其要求的物品。 适用场景: 用户提供需求 物品过于复杂无法获取足够的评分 时间敏感的 基于限制的推荐系统 用户在这样的推荐系统中指出他们对于物品属性的需求、限制,在...

2018-06-25 10:23:05

阅读数 2036

评论数 0

基于内容的推荐系统

基于内容的推荐系统 协同过滤推荐系统仅仅使用了评分之间的关联,这些方法没有使用物品的属性 基于内容的推荐系统以属性来描述物品,使用这些内容属性来进行推荐,这种方法很适用于新物品推荐时 基于内容的推荐系统,将物品与用户之前所喜欢的物品做匹配,不使用别的用户的评分信息 属性来源: 物品描述,如文...

2018-06-22 17:18:21

阅读数 715

评论数 0

集成学习总结

集成学习 ———————————————————————————————————————————————————————– Bagging RF 采样 + 属性选择 采用Bootstrap随机选择训练样本,Bootstrap有放回的选择训练样本,单个 样本p次不被采样到的概率是...

2018-06-20 21:01:08

阅读数 183

评论数 0

基于模型的推荐系统

4. 隐语义模型 4.1 矩阵分解 评分数据是高度相关的,数据的冗余可以让我们用低秩矩阵来近似原矩阵。隐语义模型目前是the state of art。 U为m×kU为m×kU 为m \times k的矩阵,V为n×kV为n×kV 为n \times k的矩阵,他两的乘积用以估计评分矩阵...

2018-06-19 15:03:41

阅读数 1421

评论数 0

提示
确定要删除当前文章?
取消 删除