我是小蚂蚁-CSDN博客

原创深度学习代码实战演示_Tensorflow_卷积神经网络CNN_循环神经网络RNN_长短时记忆网络LSTM_对抗生成网络GAN

前言经过大半年断断续续的学习和实践，终于将深度学习的基础知识看完了，虽然还有很多比较深入的内容没有涉及到，但也是感觉收获满满。因为是断断续续的学习做笔记写代码跑实验，所以笔记也零零散散的散落在每个角落，查询起来也非常不便，因此这里再做一个目录进行汇总一下，一来，可以方便自己以后查看，二来，也希望能够帮助到需要同学们。格言：时间就像一张网，网撒在哪里，所获就在哪里。一起加油

2019-05-20 08:57:10 16762 15

原创 ubuntu安装php7.0-curl方法

前言今天在使用php做个小项目的时候，报出了错误：PHP Fatal error: Uncaught Error: Call to undefined function curl_init() in /root/tts_php_demo.php:13这个问题还不简单么？明显是php的curl扩展没有启动起来呀，然而，我发现事情并没有我想象的那么简单。系统配置阿里云服务器系统版本：...

2019-06-09 22:08:05 3264

原创安装skimage出错的解决方法

前言今天在安装skimage的时候报出错误如下：ERROR: Complete output from command python setup.py egg_info: ERROR: Beginning with Matplotlib 3.1, Python 3.6 or above is required. This may be due to an o...

2019-06-08 09:15:15 14692 5

原创使用python3操作mysql数据库

因为使用的python3.6，所以需要载入pymysql库，需要注意的是，python2和python3载入的库是不一样的。pymysql.Connect( host, port, user, passwd, db, charset )如：host = “localhost”,port = 3306,user = “root”,passwd = “root”,db = “pachon...

2019-06-07 19:15:13 598

原创 python实现整数划分问题算法和全排列问题递归算法

整数划分问题算法例如：6的整数划分问题65+14+2,4+1+13+3,3+2+1,3+1+1+12+2+2,2+2+1+1,2+1+1+1+11+1+1+1+1+1一共有11种划分方法''' 整数划分问题求出整数划分的个数'''''' 整数划分个数 @param n 需要划分的整数 @param m return sum 整数划分的个数'''def f...

2019-06-06 09:14:49 3546 1

原创使用seaborn强大的调色能力

前言seaborn 还拥有强大的调色能力，并且操作简单seaborn.color_palette()使用调色板的方法seaborn.color_palette(palette=None, n_colors=None, desat=None)Return a list of colors defining a color palette. 返回的是一个调色板定义的一个颜色列表。这个方法的...

2019-06-05 08:09:58 1895

原创使用seaborn实现柱状图和热力图

前言seaborn还可以运用其强大的画图能力，构建出热力图和柱状图，非常美观。seaborn热力图sns.heatmap(df) 传入的是一个dataframe，这个参数必须要有。其他参数也是相当的多，详情请参考：官方文档传送门sns.barplot() 柱状图sns.barplot(x , y ) x是横轴坐标，y是纵轴坐标，其他参数同样也是相当的多，详情请参考：官方文档传送门上...

2019-06-04 15:05:11 2126

原创使用seaborn实现直方图和密度图

前言见过使用matplotlib画的直方图之后，再来领略一下seaborn的强大之处。sns.distplot()一个方法搞定两个图seaborn.distplot(a, bins=None, hist=True, kde=True, rug=False, fit=None, hist_kws=None, kde_kws=None, rug_kws=None, fit_kws=None, ...

2019-06-04 08:30:01 4672

原创使用seaborn设置图像显示效果参数

前言Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易，并且更加炫酷。demoimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom pandas import Series, DataFrameimport seaborn as snsx = ...

2019-06-03 14:51:04 6653

前言matplotlib处理经常能够用到的折线图、柱状图等，还可以画出直方图和密度图。plt.hist()方法matplotlib.pyplot.hist（x，bins = None，range = None，density = None，weights = None，cumulative = False，bottom = None，hist type =‘bar’，align =‘mid’...

2019-06-03 08:40:46 15191

原创 pandas中Series和Dataframe的画图方法

前言在pandas中，无论是series还是dataframe都内置了.plot()方法，可以结合plt.show()进行很方便的画图。Series.plot() 和 Dataframe.plot()参数data : Serieskind : str‘line’ : line plot (default)‘bar’ : vertical bar plot‘barh’ : horizo...

2019-05-26 11:04:29 9276

原创 plt.subplot()使用方法以及参数介绍

plt.subplot()plt.subplot(nrows, ncols, index, **kwargs)第一个参数：*args （官网文档描述）Either a 3-digit integer or three separate integers describing the position of the subplot. If the three integers are nr...

2019-05-25 08:56:12 239725 14

原创 subplots()使用方法举例说明

plt.subplots()plt.subplots() 和 plt.subplot() 功能作用非常相似。matplotlib.pyplot.subplots(nrows=1, ncols=1, sharex=False, sharey=False, squeeze=True, subplot_kw=None, gridspec_kw=None, **fig_kw)部分参数介绍：nrow...

2019-05-24 08:50:21 30621 4

原创使用PHP调用Python命令无法返回汉字字符串的解决方法

前言平时做深度学习的一些实验，都是使用的python语言。有时候想把自己做的一些小实验，改造成一个小应用，通过移动端或者浏览器端和用户进行交互。因为不太会使用python的一些诸如flask和django等Web应用框架，反而PHP使用的很熟练，所以我在做一些小功能小项目的时候，都是使用PHP语言作为接口，将服务端和移动端、浏览器端连接起来。具体操作流程是：发送请求调用系统命令结果结果客户端...

2019-05-23 08:34:26 1517 2

原创 FCHD: A fast and accurate head detector快速准确的人头检测代码预测出来的边界框位置不准确的解决方法

算法简介人头检测在视频监控中非常重要，而公交车、商场或者大型场馆的拥挤人群计数则是其重要应用场景。算法思想作者称拥挤人群计数目前主要有两种实现路径：1.使用回归的算法思路，直接根据图像回归出拥挤人群密度热图，它的缺点是只能得到场景整体的一个拥挤指数，不能获知人群个体的具体位置，而且这种方法对图像分辨率很敏感。2.使用目标检测的方法，比如直接使用Faster RCNN检测人，检测后数目标为...

2019-05-22 08:46:11 4031 24

原创 plt.plot()的使用方法以及参数介绍

前言偶然的一次操作，对plt.plot()中，仅仅传入了一个列表，然后逻辑就和预想的出现了偏差。plt.plot()plt.plot() 参数介绍：x, y : array-like or scalarThe horizontal / vertical coordinates of the data points. x values are optional. If not given...

2019-05-21 09:07:48 212463 4

原创 Tensorflow图像生成文本（4）计算图设计以及训练流程

准备工作数据集的获取。参考：Tensorflow图像生成文本实现（1）flickr30k数据集介绍词表词频文件。参考：Tensorflow图像生成文本（2）词表词频的构建所有图像的特征文件。参考：Tensorflow图像生成文本（3）图像特征的提取训练流程按照代码编写的顺序，依次为：载入词表，构建两个映射关系。word_to_id 将单词转化为id表示id_to_word ...

2019-05-19 15:06:42 1515 4

原创 Tensorflow图像生成文本（3）图像特征的提取

前言对于图像生成文本来说，除了预处理文本信息，还要对图像特征进行提前提取。这里单独编写一个脚本，对所有图像特征进行提取，然后将提取出来的特征保存在一个目录中。代码实现这里使用到了预训练好的 inception_v3 模型，并且是一个带有默认图的 inception_v3 模型。inception_v3_graph_def.pb 该模型不光带有模型参数，同时还带有计算图，将这个计算图载入到自己...

2019-05-18 08:42:46 4371 8

原创 Tensorflow图像生成文本（2）词表词频的构建

前言了解了Tensorflow图像生成文本实现（1）flickr30k数据集介绍数据集之后，需要对其中的token文件进行解析，对数据进行初步处理。词表词频构建因为是一句句的描述，因此需要进行分词，并统计出每个词的词频，将其对应的储存在一个文件中。这个文件的作用有两个：在后序程序中，需要中该词表文件中读取内容，组成两个字典，一个是从文字到文字id的映射，另一个是从文字id到文字的映射。...

2019-05-17 09:26:45 1888

原创 Tensorflow图像生成文本实现（1）flickr30k数据集介绍

flickr30k数据集是什么这个数据集的核心就两点，一是图像，二是图像对应的描述语言。先上图：在token文件中的标注信息：667626.jpg#0 A girl wearing a red and multicolored bikini is laying on her back in shallow water .667626.jpg#1 Girl wearing a bikin...

2019-05-16 09:21:06 10765 1

原创 Tensorflow使用Char-CNN实现中文文本分类（2）

书接上回上回说到 RNN 和 CNN 在文本分类上存在的区别和联系Tensorflow使用Char-CNN实现中文文本分类（1），并准备使用 CNN 的方式进行中文文本分类。在这里把代码给补一下。代码如下代码还在是之前Tensorflow使用LSTM实现中文文本分类（2）的代码中进行修改，其中关于CNN的内容写的比较简单，只使用了一个卷积层进行卷积操作，后接全连接层，其他代码还是使用以前的。...

2019-05-15 08:42:46 1048

原创 Tensorflow使用Char-CNN实现中文文本分类（1）

前言在之前的中文文本分类中，使用了LSTM来进行模型的构建（详情参考：Tensorflow使用LSTM实现中文文本分类（2）、使用numpy实现LSTM和RNN网络的前向传播过程）。除了使用LSTM来处理时间序列问题，也可以使用在图像处理领域使用更多的卷积神经网络来处理时间序列问题。LSTM and Char-CNN在Char-CNN中，词语embedding的每一列（每一个特征），可以...

2019-05-14 15:01:29 1855

原创使用numpy实现LSTM和RNN网络的前向传播过程

前言学习到LSTM这里，着实花费了不少力气，查阅过各种文章，进行过各种冥想，最终收获也是很大，学到了不少好东西。因为LSTM和RNN这里确实要比其他神经网络复杂一些，于是就手写了一个LSTM和RNN的前向传播，了解其内部的运行逻辑。RNN的前向传播代码网上有现成的，而且也比较简单，这里只贴出来自己写的LSTM代码。LSTM前向传播俗话说：开局一张图，内容全靠编。简单的先阐述一下流程：...

2019-05-14 08:38:49 1227 5

原创 InvalidArgumentError (see above for traceback): Assign requires shapes of both tensors to match. lhs

在使用tf-faster-rcnn进行模型测试的时候，运行 ./tool/demo.py 总报出以下错误：InvalidArgumentError (see above for traceback): Assign requires shapes of both tensors to match. lhs shape= [8] rhs shape= [84][[Node: save/Assi...

2019-05-13 15:17:00 1065 2

原创 Tensorflow手动编写LSTM单元内部结构实现中文文本分类

前言在之前使用的LSTM是通过调用了tensorflow的api实现的（详情参考Tensorflow使用LSTM实现中文文本分类（2）），如使用tf.contrib.rnn.BasicLSTMCell() 用来构建一层lstm单元，tf.contrib.rnn.MultiRNNCell(cells) 用来将多层lstm单元连接起来。为了加深对lstm cell内部结构的理解，这里将构建ls...

2019-05-13 08:41:10 1460 1

原创 plt.imshow()将灰度图像进行彩色映射

前言有网友在博文Tensorflow+VGG16实现卷积神经网络特征图可视化留言，表达了两个疑问：在对第5层卷积层输出的特征图进行叠加可视化的时候，256个特征图的值叠加，肯定会超出图像的最高值255，为什么还能正常显示。特征图都是灰度图像，为什么可视化的特征图都是彩色的。关键在于 plt.imshow()使用 plt.imshow() 方法进行画图，该方法有个非常实用的功能，可以将...

2019-04-25 10:12:43 17657 8

原创使用Tensorflow构建LSTM模型所需要使用到的API

前言在使用tensorflow编写LSTM代码的时候Tensorflow使用LSTM实现中文文本分类（二），使用到很多新的函数，在此将用到的新函数整理一下做一个笔记。重要方法tf.random_uniform_initializer()功能：生成具有均匀分布的张量的初始化器参数：minval：一个 python 标量或一个标量张量.要生成的随机值范围的下限maxval：一个 pyt...

2019-04-23 08:54:14 1887

原创 Tensorflow使用LSTM实现中文文本分类（2）

前言经过数据预处理，现在开始正式编写代码。。。整体结构代码流程图：对词表进行 embeding构建 lstm 层构建 fc 层构建 train_op训练流程其中需要封装的几个方法：数据集的封装api： next_batch(batch_size) 获得样本batch词表封装api：sentence2id(text_sentence) 将句子转化为 id类别的封...

2019-04-21 08:38:25 6297 7

原创 Tensorflow使用LSTM实现中文文本分类（1）

前言内容接上一篇：Tensorflow使用LSTM实现中文文本分类（一）上一篇中对训练集和测试集完成了中文分词，还要需要两个操作：将词语转化为 id按照 id 查找词语的 embeding统计词频词频过低，贡献过少的词语，就直接忽略掉。代码演示# -*- coding:utf-8 -*-'''中文分词词语转化为 id embeding matr...

2019-04-20 16:09:33 6084 14

原创 Tensorflow使用Resnet实现CIFAR-10十分类(2)

前言在上一篇Resnet实现CIFAR-10十分类中，一万次训练的分类正确率是75%，有网友想复现何凯明Resnet论文的正确率0.9+结果，所以，我又把代码整理了一下，看看正确率能够提高到多少。步骤第一想到的是data augmentation，使用了颜色增强，对比度增强，但是在实验中发现，效果并不好，还没有不使用时候的效果好，后面会有对比。还有，随机上下左右反转的那个方法，不能传入te...

2019-01-21 08:43:29 3487 15

原创 Tensorflow使用Mobilenet实现CIFAR-10十分类(2)

前言数周之前，有网友在博客（Mobilenet实现CIFAR-10十分类）下留言，说Mobilenet训练cifar10出现了过拟合，我这里倒是没有出现这种情况，考虑到之前写的代码比较粗糙，单纯的以重构模型为主，没有什么优化，没有图像增强，训练次数也不足，最后的正确率也算高。这两天趁着碎片时间，把之前写过的代码重新整理一下。Mobilenet的完善在上一篇博文的代码中是没有添加batch_n...

2019-01-19 16:24:56 3808 8

原创 pycaffe定义net层和测试网络

推荐一个关于caffe的博客，非常优秀：Caffe学习笔记定义net层# 生成 caffe 网络import caffedef create_net(): net = caffe.NetSpec() # 该对象用来存放层结构 # 定义数据层 net.data, net.label = caffe.layers.Data(source = 'data.l...

2019-01-07 09:03:44 1050

原创 pycaffe生成solver文件并运行

其实没有必要写这篇博文的，网上很多大佬都写过同样的博客，而且写的还非常好，但是呢？毕竟也是自己的学习经历，还是做一下记录吧。看到此处的朋友请移步这篇大佬的博文Caffe学习笔记(五)：使用pycaffe生成solver.prototxt文件并进行训练，你将获益匪浅，就不用在这里耽误时间了。使用pycaffe生成solver文件# 如何利用pycaffe 生成 solver 文件from c...

2019-01-05 08:16:43 363 1

原创 caffe基础内容介绍

caffe基本概念caffe模块包括4部分blob：caffe中数据的封装，用于layer上的流动layer：输入层、输出层、神经网络层的抽象net：神经网络结构，将layer层叠关联起来solver：定义神经网络训练和测试参数blob 四维连续数组，通常表示为（n, k, w, h）分别是：样本数、通道数、宽、高。layer 网络基本单元，每一层类型定义了3种计算：初始化网络参...

2019-01-04 08:11:14 573

原创 Tensorflow+VGG16实现卷积神经网络特征图可视化

使用Tensorflow和vgg16预训练好的模型实现了卷积神经网络中特征图（feature map）的可视化，可以更明了的知道这个黑箱中到底发生了什么。卷积神经网络特征图可视化代码如下：# -*- coding:utf-8 -*-import numpy as npimport tensorflow as tfimport timefrom PIL import Imageim...

2019-01-03 08:48:03 22664 132

原创 PIL将png的RGBA四通道改为jpg的RGB三通道方法

img.convert(“RGB”)

2019-01-02 15:36:52 37093

原创 TypeError: Won't implicitly convert Unicode to bytes; use .encode()的解决方法

再用python3写一个lmdb读写脚本的时候，报出了这个错误：TypeError: Won’t implicitly convert Unicode to bytes; use .encode()。截图如下：可以看出在27行定义了一个字符串，在29行就报出了错误。而错误的最后也写了 use .encode()。所以，需要在29行的字符串后加上 .encode() 即可。如下：lmdb_...

2018-12-29 08:37:56 6373

原创 lmdb数据集的封装和打包

# -*- coding: utf-8 -*-# lmdb 数据的封装和打包import lmdbimport numpy as npimport caffefrom caffe.proto import caffe_pb2def write(): lmdb_file = 'lmdb_data' batch_size = 256 lmdb_e...

2018-12-28 09:25:05 3418 1

原创 DCGAN实现手写数字识别demo

论文解读和原理介绍，在网上已经有大量文章，这里就不在赘述。论文地址：Unsupervised Representations Learning With Deep Convolutional Generative Adversarial Networks论文解读：深度卷积对抗生成网络(DCGAN)（个人感觉最好的一篇）各种框架的代码：【theano】 https://github.com/...

2018-12-27 21:52:06 2686 1

原创 TypeError: ufunc 'isnan' not supported for the input types, and the inputs could not be safely错误解决方法

将一个list矩阵转化为numpy数组之后，使用np.isnan()方法，报出了这么一个错误：TypeError: ufunc ‘isnan’ not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting ...

2018-12-13 15:20:24 66444 4

中文文本分类数据集.zip

新闻栏目中文文本分类，新闻栏目一共有：体育 5000 时政 5000 房产 5000 家居 5000 财经 5000 时尚 5000 科技 5000 教育 5000 娱乐 5000 游戏 5000 每个新闻栏目拥有5000条新闻，通过对新闻内容作为样本训练模型，使得该模型能够预测出该条新闻所属的栏目。

2019-06-01