2017年07月_qq_35497808

原创神经网络与深度学习笔记5 过度拟合和正则化

1.过拟合模型复杂而训练样本不足，过度训练，会导致过度拟合。训练数据集上的代价表现是越来越好的，测试集上的代价越来越差。训练数据上的分类准确率一直在提升接近 100%，而测试准确率仅仅能够达到 82.27%。网络几乎是在单纯记忆训练集合,而没有对数字本质进行理解能够泛化到测试数据集上。避免过拟合的方法：early stopping，L1、L2正则化，drop

2017-07-24 20:25:07 3784

原创神经网络与深度学习笔记4 交叉熵代价函数 softmax函数

1. 学习缓慢问题二次代价函数,定义如下其中 a 是神经元的输出,训练输入为 x = 1,y = 0 则是目标输出。显式地使用权重和偏置来表达这个,我们有 a = σ(z),其中 z = wx + b。使用链式法则来求权重和偏置的偏导数就有:σ 函数图像:我们可以从这幅图看出,当神经元的输出接近 1 的时候,曲线变得相当平,所以 σ ′ (z) 就很小了

2017-07-21 17:34:20 1094

原创神经网络与深度学习笔记3 反向传播算法

1. 使用矩阵快速计算输出的方法使用 wljk 表示从(l−1)th 层的 kth个神经元到lth层的jth 个神经元的链接上的权重. 例如,下图给出了网络中第二层的第四个神经元到第三层的第二个神经元的链接上的权重: 对网络的偏置和激活值也会使用类似的表示。我们使用 blj 表示在 lth 层第jth

2017-07-21 11:45:45 367

1.梯度下降定义一个二次代价函数C：C(w,b)≡12n∑x∥y(x)−a∥2.这里 w 表示所有的网络中权重的集合,b 是所有的偏置,n 是训练输入数据的个数,a 是表示当输入为 x 时输出的向量,求和则是在总的训练输入 x 上进行的。输出 a 取决于 x, w和 b。采用梯度下降的算法来找到能最小化二次代价函数 C(w, b) 的权重和偏置。假设 C 是一个有变量 v 1 , v 2 的二...

2017-07-21 09:41:13 629

原创神经网络与深度学习笔记1 感知机 S型神经元

1.感知器一个感知器接受几个二进制输入,x 1 , x 2 , . . .,并产生一个二进制输出: 示例中的感知器有三个输入,x 1 , x 2 , x 3，引入权重,w 1 , w 2 , . . .,表示相应输入对于输出重要性的实数。神经元的输出,0 或者 1,则由分配权重后的总和∑jwjxj is小于或者大于一

2017-07-21 09:16:45 499

原创 OpenCV3 Python语言实现笔记6

目标跟踪一、帧间差异运动检测import cv2import numpy as npcamera = cv2.VideoCapture(0)#获取常用的结构元素的形状：矩形（包括线形）、椭圆（包括圆形）及十字形#MORPH_RECT， MORPH_ELLIPSE， MORPH_CROSSes = cv2.getStructuringElement(cv2.MORPH_E

2017-07-13 14:50:17 537

原创 OpenCV3 Python语言实现笔记5

目标检测目标识别HOG：特征描述符按八个方向计算颜色梯度一个单元16*16像素一个块2*2单元按块构成特征向量图像金字塔：使用任意尺度缩小图像大小使用高斯模糊平滑图像图像比最小尺寸还大则重复操作滑动窗口：解决定位问题使用图像金字塔在不同尺度下重复扫描非最大抑制：解决区域重叠问题 1.建立图像金字塔，采用滑动窗口搜素图像2.收集所有超出阈值的含目标

2017-07-12 20:40:11 853 1

原创 OpenCV3 Python语言实现笔记4

特征检测特征提取特征匹配关键点检测+描述符SIFT: DoG + SIFTSURF: Hessian + SURFORB: FAST + BRIEF暴力匹配FLANN匹配法一、SIFTDifferent of Gaussian(DoG) 对同一图像使用不同高斯滤波器DoG得到感兴趣区域(关键点)，通过SIFT进行说明import cv2imp

2017-07-11 21:30:11 860

原创 OpenCV3 Python语言实现笔记3

分割 GrabCut算法分水岭算法一、GrabCutimport numpy as npimport cv2from matplotlib import pyplot as pltimg = cv2.imread('../images/statue_small.jpg')mask = np.zeros(img.shape[:2],np.uint8)bgdM

2017-07-10 16:57:28 332

原创 OpenCV3 Python语言实现笔记2

一、滤波高通滤波器HPF:根据像素与邻近像素的亮度差值来提升该像素的亮度低通滤波器LPF:在像素与周围像素的亮度差值小于一个特定值时，平滑该像素亮度，去噪和模糊化import cv2import numpy as npfrom scipy import ndimagekernel_3x3 = np.array([[-1, -1, -1],

2017-07-10 16:42:08 542

原创 OpenCV3 Python语言实现笔记1

一、python和numpy表示一幅图像img = numpy.zeros((3,3), dtype=numpy.uint8)二、一个opencv图像是.array类型的二维或三维数组使用numpy.array访问图像数据1.单像素操作：获取指定位置(150，120，0）像素： image.item(150,120,0) 设置B通道位置(15

2017-07-09 19:26:09 378

原创机器学习实战支持向量机

#!/usr/bin/env python# -*- coding: utf-8 -*-from numpy import *'''#######********************************Non-Kernel VErsions below#######********************************'''def loadDataSet(fil

2017-07-05 21:08:19 302

原创机器学习实战 Logistic回归

#!/usr/bin/env python# -*- coding: utf-8 -*-from numpy import *def loadDataSet(): dataMat = []; labelMat = [] fr = open('testSet.txt') for line in fr.readlines(): lineArr = li

2017-07-03 10:20:35 310

原创机器学习实战朴素贝叶斯

#!/usr/bin/env python# -*- coding: utf-8 -*-from numpy import *def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 't

2017-07-01 17:58:59 206

原创机器学习实战决策树

#!/usr/bin/env python# -*- coding: utf-8 -*-from math import logimport operatordef createDataSet(): dataSet = [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'],

2017-07-01 17:47:42 220

原创机器学习实战 k-近邻算法

约会网站：#!/usr/bin/env python# -*- coding: utf-8 -*-from numpy import *import operatorimport matplotlib.pyplot as pltdef classify0(inX, dataSet, labels, k): dataSetSize = dataSet

2017-07-01 16:11:38 309

转载最全Pycharm教程

转载自：http://blog.csdn.net/u013088062/article/details/50388329　　之间花了一周多的时间把Pycharm官方帮助文档翻译了一遍，一共43篇博客，累得要屎，感悟颇多。　　发牢骚之前先总结点干货，这里把所有的翻译文档列成如下目录，方便大家索引：　　最全Pycharm教程（1）——定制外观　　最全Pych

2017-07-01 13:46:03 642

qq_35497808的博客