2017年07月_szj_jojo

原创初学opencv/直方图

图像直方图是反映一个图像像素分布的统计表，其实横坐标代表了图像像素的种类，纵坐标代表了每一种颜色值在图像中的像素总数或者占所有像素个数的百分比。在实际工程中，图像直方图在特征提取、图像匹配等方面都有很好的应用。#coding:utf-8"""opencv绘制直方图"""import cv2import numpy as npimport matplotlib.pyplot as plt#

2017-07-30 15:45:56 264

原创 tensorflow1.1/RNN预测

环境：tensorflow1.1,python3,matplotlib2.02#coding:utf-8from tensorflow.contrib import rnnimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport pickleimport matplotlib.pyplot

2017-07-29 19:06:23 459

原创利用numpy和pandas处理csv文件中的时间2

在机器学习和深度学习的过程中，对于处理预测，回归问题，有时候变量是时间，需要进行合适的转换处理后才能进行学习分析，关于时间的变量如下所示，利用pandas和numpy对csv文件中时间进行处理。上一篇博客中datetime.datetime.toordinal()将日期转为数字，例如2017-12-12—》XXXXXX 利用time模块的time.mktime可以将时间转为数字例如2017-

2017-07-29 16:58:36 1055

原创初学opencv/基本操作1

环境：opencv2.4,numpy#coding:utf-8"""opencv 基本操作"""import cv2import numpy as npimport matplotlib.pyplot as plt#cv2.imread()读取图片img = cv2.imread('images/ha1.jpg')#cv2.namedWindow创建一个窗口cv2.namedWin

2017-07-28 11:29:51 313

原创利用numpy和pandas处理csv文件中的时间

环境：numpy,pandas,python3在机器学习和深度学习的过程中，对于处理预测，回归问题，有时候变量是时间，需要进行合适的转换处理后才能进行学习分析，关于时间的变量如下所示，利用pandas和numpy对csv文件中时间进行处理。 date (UTC) Price 01/01/2015 0:00 48.1 01/01/2015 1

2017-07-27 19:56:51 9623

原创 tensorflow1.1/利用rnn回归分析

环境：tensorflow1.1,python3,matplotlib2.02#coding:utf-8from tensorflow.contrib import rnnimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as plttime_step = 1input_size = 1n_hidden_

2017-07-27 10:54:41 2584

原创 embedding可视化/yale人脸数据集

环境tensorflow1.1，python3我们可以把学习向量映射到2维中以便我们观察，其中用到的技术可以参考 t-SNE 降纬技术和PCA。当我们用可视化的方式来观察这些向量，这实际上是非常有用的。本实验是人脸数据集中，图像经过embedding后在空间可视化#coding:utf-8from tensorflow.contrib.tensorboard.plugins import pr

2017-07-26 11:17:01 3220

原创 tensorflow1.1/人脸识别Yale数据集

环境tensorflow1.1，python3, matplotlib2.02Yale人脸数据集共有165张图片，15个人，每个人对应十一张图片 #coding:utf-8"""python 3tensorflow 1.1matplotlib 2.02"""import tensorflow as tfimport scipy.io as sioimport numpy as np

2017-07-25 16:51:27 5094

原创初学opencv/haar特征人脸检测

环境：opencv2.4,matplotlib2.02OpenCV支持的目标检测的方法是利用样本的Haar特征进行的分类器训练，得到的级联分类器（Cascade Classification）#coding:utf-8import numpy as npimport cv2import matplotlib.pyplot as plt#级联分类器路径cascpath = 'detect/h

2017-07-24 16:18:43 433

原创初学opencv/特征匹配

环境：opencv 2.4尺度不变特征变换（SIFT），这个算法可以帮助我们提取图像中的关键点并计算它们的描述符。特征点检测和匹配是计算机视觉中一个很有用的技术，常见的有FAST。其中，ORB算法中，是采用了FAST作为特征点检测算子，ORB检测算法具备旋转不变性和抗噪声性。#coding:utf-8import numpy as npimport cv2import matplotlib.

2017-07-24 14:59:47 403

原创初学opencv/边缘检测

在边缘检测中，常用的一种模板是Sobel 算子。Sobel 算子有两个，一个是检测水平边缘的；另一个是检测垂直边缘的 ,Sobel算子另一种形式是各向同性Sobel(Isotropic Sobel)算子。 Canny边缘检测算子是John F. Canny于 1986 年开发出来的一个多级边缘检测算法。#coding:utf-8"""边缘检测"""import numpy as npi

2017-07-23 10:12:38 339

原创初学opencv/基本操作

#coding:utf-8"""基本操作"""import numpy as npimport cv2import matplotlib.pyplot as plt#导入彩色图片img = cv2.imread('images/messi.jpg',cv2.IMREAD_COLOR)if img is None: print('error')else: print(

2017-07-23 09:49:56 403

word2vec也叫word embeddings，中文名“词向量”，作用就是将自然语言中的字词转为计算机可以理解的稠密向量（Dense Vector）。Word2Vec可以将One-Hot Encoder转化为低维度的连续值，也就是稠密向量，并且其中意思相近的词将被映射到向量空间中相近的位置。 word2vec模型其实就是简单化的神经网络#coding:utf-8import tensorflo

2017-07-22 10:30:56 747

原创 tensorflow1.1/构建卷积神经网络识别文本

环境：tensorflow 1.1，python3#coding:utf-8import numpy as npimport tensorflow as tfimport pickle#import matplotlib.pyplot as pltwith open('sentiment_set.pickle','rb') as f: [test_data,test_labe

2017-07-22 10:00:57 357

原创 keras构建卷积神经网络识别cifar10

环境keras ,python2.7#coding:utf-8from keras.models import Sequentialfrom keras.layers import Dense,Activation,Flatten,Convolution2D,MaxPooling2D,Dropoutfrom keras.utils import np_utilsfrom keras.opti

2017-07-21 13:05:29 998

原创 tensorflow1.1/构建双向神经网络识别mnist

环境：tensorflow1.1,python3双向循环神经网络（BRNN）的基本思想是提出每一个训练序列向前和向后分别是两个循环神经网络（RNN），而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。下图展示的是一个沿着时间展开的双向循环神经网络。六个独特的权值在每一个时步被重复的利用，六个权值分别对应：输入到向前和向后隐含层（w1, w3），隐

2017-07-21 10:09:58 428

原创 tensorflow1.1/构建深度卷积神经网络识别物体识别

环境：tensorflow1.1,python3#coding:utf-8"""python3tensorflow 1.1matplotlib 2.02cifar文件包含训练集50000张,测试集合10000张数据集为matlab类型data_batch_1训练集样本数据10000张data_batch_2训练集样本数据10000张data_batch_3训练集样本数据10000张

2017-07-21 08:55:43 806

原创 tensorflow基本语法理解

最近在看RNN时，对tf.unpack()维度变化不了解，经过试验大致了解了维度的变化构造三维数据分布如下图所示：情况一：import tensorflow as tfa = tf.constant([[[1,1,1],[1,1,1]], [[2,2,2],[2,2,2]], [[3,3,3],[3,3,3]],

2017-07-20 18:35:11 449

原创 tensorflow1.1/variational autoencoder人脸识别

olivettifaces是纽约大学的一个比较小的人脸库，由40个人的400张图片构成，即每个人的人脸图片为10张。每张图片的灰度级为8位，每个像素的灰度大小位于0-255之间，每张图片大小为64×64。图片大小是1190*942，一共有20*20张人脸，故每张人脸大小是（1190/20）*（942/20）即57*47=2679本文所用的训练数据就是这张图片，400个样本，40个类别。#coding

2017-07-20 13:53:38 799

原创 tensorflow1.1/embedding可视化

环境：tensorflow1.1,python3,matplotlib2.02,tensorboard1.1通常图像或音频系统处理的是由图片中所有单个原始像素点强度值或者音频中功率谱密度的强度值，把它们编码成丰富、高纬度的向量数据集。对于物体或语音识别这一类的任务，我们所需的全部信息已经都存储在原始数据中。然后，自然语言处理系统通常将词汇作为离散的单一符号，例如 “cat” 一词或可表示为 Id53

2017-07-18 16:23:17 1397

原创 tensorflow1.1/autoencoder人脸识别

环境：tensorflow1.1，python3,matplotlib2.02#coding:utf-8"""python3tensorflow 1.1matplotlib 2.02"""import tensorflow as tfimport pickleimport numpy as npimport matplotlib.pyplot as plt#读取数据集with o

2017-07-17 15:14:19 1410

原创 tensorflow1.1/构建卷积神经网络人脸识别

环境：tensorflow1.1,python3,matplotlin2.02olivettifaces是纽约大学的一个比较小的人脸库，由40个人的400张图片构成，即每个人的人脸图片为10张。每张图片的灰度级为8位，每个像素的灰度大小位于0-255之间，每张图片大小为64×64。图片大小是1190*942，一共有20*20张人脸，故每张人脸大小是（1190/20）*（942/20）即57*47=2

2017-07-17 10:19:22 1409

原创 keras/构建卷积神经网络人脸识别

olivettifaces是纽约大学的一个比较小的人脸库，由40个人的400张图片构成，即每个人的人脸图片为10张。每张图片的灰度级为8位，每个像素的灰度大小位于0-255之间，每张图片大小为64×64。图片大小是1190*942，一共有20*20张人脸，故每张人脸大小是（1190/20）*（942/20）即57*47=2679本文所用的训练数据就是这张图片，400个样本，40个类别。input_f

2017-07-16 14:40:23 2281

原创 scikit-learn/k-means算法简单应用

环境：scikit-learn0.18,python3机器学习中，K-Means算法是一种clustering的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法主要思想：在一堆数据中随机的选取K个中心点，计算所有点到这k个中心点的距离，根据距离将所有点分为k类，再在k类中重新计算中心点，重新计算距离，直到收敛以机器学习案例中用k-means方法对iris数据集进行聚

2017-07-15 18:46:57 799

原创 tensorflow1.1/variational_autoencoder

环境tensorflow1.1,matplotlib2.02,python3近年，非监督学习成为了研究热点。VAE（Variational Auto-Encoder，变分自编码器）和 GAN（Generative Adversarial Networks）等模型，受到越来越多的关注VAE:模型结构：其中：loss = mse+KLDivergence#coding:utf-8"""tens

2017-07-15 16:25:00 1302

原创 scikit-learn/logistic regression识别mnist

逻辑回归的对数似然损失函数cost function：当y=1时，假定这个样本为正类。如果此时hθ(x)=1,则单对这个样本而言的cost=0,表示这个样本的预测完全准确。那如果所有样本都预测准确，总的cost=0 但是如果此时预测的概率hθ(x)=0，那么cost趋向于无穷大，那么此时就要对损失函数加一个很大的惩罚项。 logistic cost定义为： logistic回归主

2017-07-12 13:16:46 2475

原创 tensorflow1.1/GAN生成对抗网络

环境：tensorflow1.1，python3, matplotlib2.02生成式对抗网络（GAN）是近年来大热的深度学习模型，以生成图片为例进行说明。假设我们有两个网络，G（Generator）和D（Discriminator）G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输

2017-07-12 09:51:23 2222

原创 keras/构建卷积神经网络识别mnist

环境：Keras 2.04， python 2.7，GPU使用深度学习框架keras,构建卷积神经网络识别手写数字，keras在构建神经网络方面比Tensorflow简单很多，而且Tensorflow也将keras作为其高级api#coding:utf-8"""python 2.7keras 2.0.4"""from keras.utils import np_utilsfrom ker

2017-07-11 09:18:34 2101

原创 scikit-learn/ID3算法使用GridSearchCV调优

环境：python 3，scikit-learn 0.18#coding:utf-8"""python 3scikit-learn 0.18"""from sklearn.model_selection import GridSearchCVfrom sklearn.model_selection import train_test_splitfrom sklearn.tree imp

2017-07-11 09:12:32 621

原创 scikit-learn/ID3手写数字识别

环境：python 3，scikit-learn 0.18判定树是一个类似于流程图的树结构：其中，每个内部结点表示在一属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的顶层是根结点。 ID3算法根据的就是信息获取量(Information Gain)：Gain(A) = Info(D) - Infor_A(D)#coding:utf-8"""python 3 sk

2017-07-10 12:57:08 860

原创 scikit-learn/KNN算法使用GridSearchCV调优

环境：python 3 ， scikit-learn 0.18sklearn调参有一个核武器—gridsearchcv，它存在的意义就是自动调参，只要把参数输进去，就可以对算法进行相应的调优，找到合适的参数。然而，在小数据集上还可以小打小闹。一旦数据的量级上去了，就很难得到结果，而且会报出memory error等错误#coding:utf-8"""sklearn 0.18python 3K

2017-07-10 10:30:57 8859

原创 scikit-learn/KNN手写数字识别

环境：python 3, scikit-learn 0.18KNN可以看成：有一堆已经知道分类的数据，当一个新数据进入的时候，就开始跟训练数据里的每个点求距离，然后挑离这个训练数据最近的K个点看看这几个点属于什么类型，然后利用少数服从多数的原则，给新数据归类。#coding:utf-8"""sklearn 0.18python 3"""from sklearn.model_selection

2017-07-10 09:15:56 1593

原创 scikit-learn统计结果分析

confusion_matrix(mnist.test.labels,predictions) 混淆矩阵（confusion matrix）是一种特定的矩阵用来呈现算法性能的可视化效果，其每一列代表预测值，每一行代表的是实际的类别。混淆矩阵中对角线位置的值表示预测正确的值，例如在mnist手写数字识别过程中，通过KNN算法得到的混淆矩阵如下：每一行分别代表【0-9】这是个数字，每一列分别代

2017-07-09 13:27:12 704

原创使用scikit-learn 0.18中的警告

环境：scikit-learn 0.18 , python3from sklearn.cross_validation import train_test_split from sklearn.grid_search import GridSearchCV 报出如下警告： from sklearn.grid_search import GridSearchCV

2017-07-09 09:43:53 8170

原创 tensorflow1.1/autoencoder2

环境：tensorflow1.1 , python 3, matplotlib 2.02encoder编码器将编码得到的低维特征在空间中可视化出来，直观显示数据的聚类效果。实验过程中采用过激活函数 relu ,tanh,sigmoid,发现采用激活函数relu时聚类效果最好#coding:utf-8"""tensorflow 1.1python 3matplotlib 2.02"""imp

2017-07-08 19:37:25 1141

原创 tensorflow/tf.set_random_seed()

tensorflow中设置随机种子，可分为两类，图级seed和操作级seed, 情况1：当没有设置图级seed和操作级seed时，生成的随机数是随机的情况2：当设置操作级seed时，生成的随机数是同一组随机数，没有设置操作级seed的操作，生成的随机数是随机的情况3：当设置图级seed, 将会生成同一组随机数，如果设置操作级seed又和情况2相同 ```python a = tf.r

2017-07-08 19:13:38 6305

原创 tensorflow1.1/非监督学习autoencoder1

环境：tensorflow 1.1, python 3,matplotlib 2.02AutoEncoder是一种非监督学习，将数据的高维特征进行压缩降维编码，再经过相反的解码过程的一种学习方法。学习过程中通过解码得到的最终结果与原数据进行比较，通过梯度下降，不断提高对原数据的复原能力，原理与PCA相似。在MNIST数据集上，实现特征压缩和特征解压并可视化比较解压后的数据与原数据的对照,实验

2017-07-07 15:18:08 3466

原创 tensorflow1.1/循环神经网络手写数字啊识别

环境：tensorflow 1.1 , python 3 , matplotlib 2.02#coding:utf-8"""tensorflow 1.1python 3 matplotlib 2.02"""import tensorflow as tfimport input_dataimport numpy as npimport matplotlib.pyplot as plt

2017-07-07 11:15:44 429

原创 tensorflow1.1/构建卷积神经网络识别手写数字

环境：python 3 ，tensorflow 1.1 , matplotlib 2.02tensorflow1.1在构建卷积神经网络方面代码大大简化，方便很多，并且将keras作为tensorflow的高级api#coding:utf-8"""python 3 tensorflow 1.1matplotlib 2.02"""import tensorflow as tfimport

2017-07-06 20:57:52 676

原创 python3环境下安装scikit-learn

环境：python 3 ， numpy 1.13安装相关的依赖环境 1. lapack是跟线性代数有关的工具包，安装相关库 sudo apt-get install liblapack-dev libblas-dev 2. 安装nose库 pip install nose 3.安装scipy sudo apt-get install python3-scipysudo pip insta

2017-07-06 18:43:25 2118

jquery-3.0

numpy1.9.0

空空如也