Tensorflow 两层全连接神经网络拟合正弦函数

搞了这么就深度学习的你是不是也该来拟合一下sin(x)sin(x)sin(x)了。话说,如果连sin(x)sin(x)sin(x)也不能拟合,那还搞什么深度学习。 1.网络结构 网络结构很简单,如下图所示: 2.制作数据集 制作数据集的思路就是随机生成一个范围的xxx,然后带入到np....

2018-09-26 08:59:58

阅读数:251

评论数:0

一个样本分类任务

1.数据分析 最近找了个暑期实习,组里leader陆续给了些小任务让我熟悉。第一个就是一个分类任务。数据集形式如下:(逗号前面是样本,后面是标签) 租金,358 硒鼓,15 变量泵,70 平板投影,55 显示器,161 荧光笔,27 联合作业制作费,2241 住宿费,679 抓斗式采泥器,...

2018-07-22 09:57:15

阅读数:73

评论数:0

如何用聚类的思想做分类(预测)

刚组里有人让我用聚类来做个预测。你一反应是,what?你确定你没说错?这玩意儿这么分类预测。经过一番点播,才明白过来。 用聚类的思想来做分类预测需要一个前提,那就是训练集得有正确的标签。 思路1: 第一步:根据训练集和标签,直接计算每个类别的簇中心点; 第二步:遍历所有的测试样本,一次计算...

2018-07-17 12:14:51

阅读数:363

评论数:0

再探反向传播算法(手写体识别Python实例)

在上一篇博文再探反向传播算法(推导)中,我们详细介绍了BP算法的由来及其详细推导过程。本篇博文将以手写体识别为例,分别用两个不同的目标函数(交叉熵和平方误差)来写出反向传播的源码(基于Python 3.x)。 1.网络结构 本例的数据集和网络设计结构,均来自coursera第五周的课后作业,关...

2018-06-24 16:25:12

阅读数:115

评论数:0

再探反向传播算法(推导)

之前也写过关于反向传播算法中几个公式的推导,最近总被人问到其中推导的细节,发现之前写的内容某在些地方很牵强,很突兀,没有一步一步紧跟逻辑(我也不准备修正,因为它也代表了一种思考方式)。这两天又重新回顾了一下反向传播算法,所有就再次来说说反向传播算法。这篇博文的目的在于要交代清楚为什么要引入反向传播...

2018-06-22 20:34:16

阅读数:143

评论数:0

决策树——(三)决策树的生成与剪枝CART

前面两篇文章分别介绍了用ID3和C4.5这两种算法来生成决策树。其中ID3算法每次用信息增益最大的特征来划分数据集,C4.5算法每次用信息增益比最大的特征来划分数据集。下面介绍另外一种采用基尼指数为标准的划分方法,CART算法。 1. CART算法 分类与回归算法(Classification...

2018-01-04 21:09:10

阅读数:394

评论数:0

决策树——(二)决策树的生成与剪枝ID3,C4.5

1.基本概念在正式介绍决策树的生成算法前,我们先将之前的几个概念梳理一下:1.1 信息熵设XX是一个取有限个值的离散型随机变量,其分布概率为 P(X=xi)=pi,i=1,2,...,nP(X=x_i)=p_i,i=1,2,...,n则随机变量XX的熵定义为 H(X)=−∑i=1npilogp...

2017-12-27 20:02:07

阅读数:409

评论数:0

决策树——(一)决策树的思想

本篇文章主要先从宏观上介绍一下什么是决策树,以及决策树构建的核心思想。1. 引例关于什么是决策树(decision tree),我们先来看这么一个例子。假如我错过了看世界杯,赛后我问一个知道比赛结果的人“哪支球队是冠军”?他不愿意直接告诉我,而让我猜,并且每猜一次,他要收一元钱才肯告诉我是否猜对了...

2017-12-26 21:32:27

阅读数:471

评论数:0

文本处理之贝叶斯垃圾邮件分类

本文所讲解的是如何通过Python将文本读取,并且将每一个文本生成对应的词向量并返回. 文章的背景是将50封邮件(包含25封正常邮件,25封垃圾邮件)通过贝叶斯算法对其进行分类.主要分为如下几个部分: ①读取所有邮件; ②建立词汇表; ③生成没封邮件对应的词向量(词集模型); ④用...

2017-12-17 19:43:43

阅读数:875

评论数:2

朴素贝叶斯算法与贝叶斯估计

在看贝叶斯算法的相关内容时,你一定被突如其来的数学概念搞得头昏脑涨。比如极大似然估计(Maximum likelihood estimation ),极大后验概率估计(Maximum a posteriori estimation),先验概率(Prior probability),后验概率(Pos...

2017-12-14 21:11:09

阅读数:1075

评论数:0

Logistic回归代价函数的数学推导及实现

logistic回归的代价函数形式如下: J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(\theta) = -\frac{1}{m}\left[\sum_{i=1}^{m}y^{(i)}\log h_\theta(x^{(i)}...

2017-12-09 20:53:49

阅读数:926

评论数:2

两个角度带你吃透PCA

关于(Principal Component Analysis)的推导方法很多,Ng在CS229的课程中也说到大约有10种左右;本文介绍的就是他在课程中讲到的,基于最大化方差的推导方法。1. What is PCAPCA是主成成分分析(Principal Component Analysis)的简...

2017-12-02 11:30:22

阅读数:318

评论数:0

SVM——(七)SMO(序列最小最优算法)

在说SMO (Sequential minimal optimization)之前,先介绍一种与之类似的算法,坐标上升(下降)算法.1.Coordinate ascent所谓坐标上升(下降)指的是同一个算法,只是若实际问题是求极大值则是上升,反之为下降。我们知道梯度下降算法在每次迭代过程中都是沿着...

2017-11-26 15:30:53

阅读数:475

评论数:0

SVM——(六)软间隔目标函数求解

这次我们要说的是软间隔(soft margin)与正则化(regularization)1.什么是软间隔我们之前谈到过两种情况下的分类:一种是直接线性可分的;另外一种是通过ϕ(x)\phi(x)映射到高维空间之后“线性可分”的。为什么后面这个“线性可分”要加上引号呢?这是因为在上一篇文章中有一件事...

2017-11-19 15:50:18

阅读数:909

评论数:0

SVM——(五)线性不可分之核函数

本文主要包含以下内容:1.从线性不可分谈起 2.将低维特征映射到高维空间 3.核函数的有效性 4.常用核函数1.从线性不可分谈起我们之前谈到的情况都是线性可分的,也就是说总能找到一个超平面将数据集分开。 但现实总是那么不完美,大多情况都是线性不可分的。如下图所示:我们应该怎么才能将其分开呢?...

2017-11-18 15:52:24

阅读数:796

评论数:0

SVM——(四)目标函数求解

在之前的两篇文章中[1][2]分别用两种方法介绍了如何求得目标优化函数,这篇文章就来介绍如何用拉格朗日对偶(Lagrange duality)问题以及SMO算法求解这一目标函数,最终得到参数。本文主要分为如下部分: 1.构造广义拉格朗日函数L(w,b,α)\mathcal{L}(w,b,\alp...

2017-11-18 15:37:37

阅读数:964

评论数:0

SVM——(二)线性可分之目标函数推导方法2

这是接着上一篇文章(方法1)整理的第二种推导方法。这是从另外一个点来思考如何求得目标优化函数,建议两种都看一下。这样能理解得更加透彻。0.引言什么是支持向量机(Support Vector Machine)? 我们需要明确的是:支持向量机它是一种算法,用来寻找一个“最佳”超平面。(直线也是超平面)...

2017-11-12 19:08:57

阅读数:606

评论数:2

SVM——(一)线性可分之目标函数推导方法1

最近在看支持向量机,也查了很多资料。其中关于如何推导出最终的优化目标函数(见文末(2.14)(2.14))主要有两种方式。第一种就是本文所介绍的,直接通过一个(几何)距离来推导,如周志华机器学习中的SVM就是采用的这种方式;第二种就是下文中所要介绍的,先引入函数间隔,再引入几何间隔,然后得到优化目...

2017-11-12 17:29:33

阅读数:1998

评论数:2

SVM——(三)对偶性和KKT条件(Lagrange duality and KKT condition)

之前说到过拉格朗日乘数法以及推导过程,那么今天要说的就是拉格朗日对偶性以及KKT条件本文主要分为以下几个部分:1.Lagrange multipliers 2.Generalized Lagrangian 3.Primal and dual optimization problem 4.KK...

2017-11-06 20:32:27

阅读数:1665

评论数:1

斯坦福斯坦福机器学习第六周课后练习

本文整理自Coursera Machine Learning Exercise 5,提取出了训练一个模型的主要步骤。 matlab源码地址1. visualizing the dataset 2. Model selection 2.0 Feature mapping and normali...

2017-10-28 20:56:15

阅读数:222

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭