u011587322的博客

原创 一个简单的RNN实现

 一、RNN与CNN的区别CNN是在空间上的共享，而RNN是在时序上的共享；RNN采用的是时序数据，输入的数据存在先后顺序关系；二、RNN网络模型在RNN结构中与传统的前馈神经网络不同，其存在记忆效应，这种记忆使得神经网络可以对上下文进行分析，显示的表示其对时间的依赖性：这种对时间的依赖产生了混沌效应。RNN模型的数学表示为：上面形成一个简单的RNN层，将整...

原创 OutOfRangeError (see above for traceback): RandomShuffleQueue '_1_shuffle_batch/random_shuffle_queue

OutOfRangeError (see above for traceback): RandomShuffleQueue '_1_shuffle_batch/random_shuffle_queue' is closed and has insufficient elements (requested 1, current size 0)使用tfrecord时，报上述错误，检查了各种逻辑，最...

原创 神经网络优化算法

神经网络发展至今，优化算法层出不穷，但大底是出不了梯度下降的框框架架。梯度下降法 Gradient Descent公式：选择负梯度方向进行参数更新，算是常规操作了。对于多层神经网络如何执行梯度下降：def update_parameters_with_gd(parameters, grads, learning_rate): """ Update parame...

原创 R-CNN、Fast R-CNN、Faster R-CNN演化

一、目标检测目标检测的任务是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小，是机器视觉领域的核心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。计算机视觉中关于图像识别有四大类任务：分类-Classification：解决“是什么？”的问题，即给定一张图片或一段视频判断里面包含什么类别的目标。...

原创 逻辑回归-logistic regression

一、概念逻辑回归是一种广义线性回归，与多重线性回归模型有很多的相似之处，例如它们的模型形式基本相同，都为wx+b，区别在于因变量不同；多重线性模型直接使用wx+b作为因变量，而逻辑回归会引入sigmoid函数将wx+b映射到一个0~1之间的状态；逻辑回归虽然是广义线性回归，但是是一个分类模型；二、关联函数1、sigmoid函数sigmoid函数的数学表达式为：在数值上有以下...

原创 支持向量机-SVM

概念将训练数据集非线性的映射到一个高维特征空间，这个非线性映射的目的是把输入空间中线性不可分数据集映射到高维特征空间后，变成线性可分的数据集，随后在特征空间建立一个具有最大间隔距离的最优分离超平面，这也相当于在输入空间产生一个最优非线性决策边界；问题定义:找到最大化的平面间隔举例以2维平面为例，若需要找到一条直线y=wx+b，将物品很好的分为两个不同的类别，如下图：即需要找...

原创 集成学习算法-Bagging和Boosting及其相关算法概述

1、集成学习1.1 简介       在学习树模型的时候，经常听到有关于集成学习的概念。集成学习在机器学习中有较高的准确率，不足之处就是模型的训练过程比较复杂，效率不是很高；主要分为两种类型：（1）基于boosting思想的算法，例如：Adaboost、GDBT和XGBOOST。（2）基于Bagging思想的算法，经典的就是随机森林算法1.2 集成学习的思想        首先...

原创 决策树算法-ID3、C4.5和CART

算法对比线性模型与决策树模型的对比：线性模型是将所有的特征转变为概率，并对所有的特征加权求和，从而对模型进行分类，只能找到线性分割，而决策树模型是一个一个特征的进行处理，对每一个特征进行划分，可以找到非线性分割； 决策树算法ID3ID3算法是一种贪心算法，用来构建决策树，ID3起源于概念学习系统，以信息熵的下降速度为选取测试属性的标准；即在每个节点选取还尚未被用来划分的具有最高信息...

原创 最小二乘法

基本概念最小二乘法又称最小平方法，是一种数学优化方法，是求解机器学习算法的模型参数的常用方法之一通过最小化误差的平方和寻找数据的最佳函数的参数；利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际的数据之间的误差平方和为最小最小二乘法还可以用于曲线拟合所谓二乘，其实可以理解为平方，所以又称为最小平方法。推导得到了a，求b，由b的推导公式，可知：这样就求出了a和b的值；python代码...

原创 关于numpy和pandas中std()函数的区别

今天在做实验时，发现pandas中std（）函数计算出来的标准差与手工计算出来的值存在差异，怀疑之下，经查阅文档，发现pandas的std（）与numpy的std（）存在差异，实验流程如下；import pandas as pdimport numpy as np# df = pd.DataFrame([['a','b','c','d','e','f'],[1,2,3,4,5,6]],inde...

原创 Pandas - 知识点总结（一）

一、pandas的数据结构1、 pandas处理以下三种数据结构Series：序列，1D标记均匀数组，大小不变       均匀数组       尺寸大小不变       数据的值不可变DataFrame：数据帧，2D标记，大小可变的表结构与潜在的异质类型的列       异构数据       大小可变       数据可变Panel：面板，3D标记，大小可变的数组       异构数据     ...

原创 Numpy - 知识点总结 - 整合

numpy的相关知识点已经分别总结完了，再对整体的知识点进行一次回顾，温故而知新。

原创 Numpy - 知识点总结（五）

一、算数运算numpy.add() :数组相加numpy.subtract():数组相减numpy.multiply():数组相乘numpy.devide():数组相除import numpy as npA = np.array([1,2,3,4,5])B = np.array([1,2,3,4,5])print('A+B = ',np.add(A,B))print('A-B = ',np...

原创 Numpy - 知识点总结（四）

一 、 位操作bitwise_and:对数组元素执行位与操作bitwise_or：对数组元素执行位或操作invert：计算位非left_shift：向左移动二进制表示的位right_shift：向右移动二进制表示的位import numpy as npa = 3b = 6print('a的二进制表示为',bin(a))print('b的二进制表示为',bin(b))print('按位与'...

原创 Numpy - 知识点总结（三）

广播广播是指numpy在算数运算期间处理不同形状的数组的能力，对数组的算数运算通常在相应的元素上进行。如果两个阵列具有完全相同的形状，则这些操作被无缝执行；迭代Numpy包包含一个迭代器对象numpy.nditer，它是一个有效的多维迭代器对象，可以用于在数组上进行迭代。数组的每一个元素可使用Python的标准接口iterator访问；import numpy as nparr1 = np.ar...

原创 回归算法 - 评价指标

方差（variance）：描述预测值P的变化范围、离散程度，是预测值的方差，也就是离期望值E的距离；方差越大，数据的分布也就越分散概率论中，方差用来度量随机变量和起数学期望之间的偏离程度；统计学中，方差是各个数据分别与其平均数之差的平方的和的平均数；方差度量同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所来到了影响；偏差（bias）：描述预测值的期望E与真实值Y之间的差距；偏差越大，...

原创 Numpy - 知识点总结（二）

1、 数组的属性使用numpy生成的数组有以下属性Shape：返回数组的维度元组，也可用于调整数组的维度；import numpy as np"""创建数组"""print("""创建数组""")arr1 = np.array([[1,2,3,4,5,6],[1,2,3,4,5,6]])print(arr1)print(arr1.shape)arr1.shape = (6,2)

原创 Numpy - 知识点总结（一）

Numpy是一个Python科学计算的基础模块，Numpy不但能够完成科学计算的任务，也能够被用作有效的多位数据容器，这使得Numpy可以无缝并快速的整合各种数据；1、 Numpy对象ndarrayNumpy中定义的最重要的对象称为ndarray的N维数组类型，它描述相同类型的元素集合，可以使用基于零的索引访问集合中的项目；Ndarray中的每个元素在内存中使用相同大小的块。注：这里需要与列表进行...

原创 Python3.5中字符串内置方法总结

原创 分类算法的评价指标

概述近日学习分类算法时，例如，SVM、KNN和LR等时，一直苦于不知道如何很好的评价训练出来模型的好坏，在查看了大量的网上资料以及机器学习相关的书籍之后，基本明确了在分类算法中常用的评价指标以及相关指标的Python代码实现，闲话说到这，现在简单的对这些评价指标逐步说明一下。概念在机器学习分类算法中，用来对分类算法评价的指标有：准确率（accuracy）、召回率（recall）、精准率（preci...

原创 关于混淆矩阵以及分类问题的概述

分类算法 - 问题的定义在日常生活中，我们常常会根据一个人的外貌特征，区分一个人是男还是女，这就是一个分类问题；那什么是分类算法呢，分类算法其实就是运用算法的形式，将上述问题通过分类的方式进行解决，属于一种预测任务；常见的方式是通过收集多项特征x，通过分类器f(.)进行分类，得到最终的预测值y。目前，分类算法通常为用于解决以下相关问题：混淆矩阵根据百度百科的定义，混淆矩阵其实就是误差矩阵，是表示进...

转载 SVM中SMO（最小序列优化）

转自：http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html向作者表示感谢！11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。...