qq_44479403的博客

原创 零基础⼊⻔CV赛事- 街景字符编码识别完整讲解

赛题理解训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置。数据标签对于训练数据每张图片将给出对于的编码标签，和具体的字符框的位置(训练集、测试集和验证集都给出字符位置)。可用于模型训练:字符的坐标具体如下所示:在比赛数据(训练集、测试集和验证集)中，同一张图片中可能包括-一个或者多个字符，因此在比赛数据的JSON标注中，会有两个字符的边框信息:读取数据JSON中标签的读取方式:解题思路赛题思路分析:赛题本质是分类问题，需要对

原创 深度学习之优化器详细讲解

原创 structured learning-structured svm

structure learning 介绍通过train data 训练出出F（），之后test给你一个x遍历所有y带进去看看哪个更适当。x，y一对一对带进去。用这个unified framework要解决下边三个问题。第二个问题是y的空间太大，遍历所有必须选个好的算法。例子用object detection讲解structured learning。有更复杂的例子如找出图片中马的轮廓...

原创 LSTM应用于MNIST手写字数据集

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('MNIST_data', one_hot=True)n_input = 28max_time = 28lstm_size = 100n_classes ...

原创 深度学习之不同代价函数讲解

原创 机器学习之sigmoid激活函数公式以及图像讲解

其对x的导数可以用自身表示：

原创 tf.argmax()例子讲解

correct_pred = tf.equal(tf.argmax(pred,1), tf.argmax(y,1))accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))>>> import tensorflow as tf>>> a = tf.constant([1.,2.,3.,0.,...

原创 np.random.normal()讲解

这是的np是numpy包的缩写，np.random.normal()的意思是一个正态分布，numpy.random.normal(loc=0,scale=1e-2,size=shape) ，意义如下：参数loc(float)：正态分布的均值，对应着这个分布的中心。loc=0说明这一个以Y轴为对称轴的正态分布，参数scale(float)：正态分布的标准差，对应分布的宽度，scale越大，正态分...

原创 Structured Learning-Linear Model

F的样子如下图：图中小框框就是visual word 是真的是一个维度feature，通过visual word可以抽这个image特征。把x，y带进去φ（）函数里，得到一个vector，vector里边属性随便定。这些特征非常弱很难做到凉宫春日的检测。如下图。要想抽出很好的feature，那就得用deep learning network（例如CNN抽取image里的特征）抽取特征。输出的...

原创 李宏毅 Introduction of Structured Learning（结构化学习简介）

我们通常输入输出都是vector，但是实际是更加困难的。更复杂的是输入输出是objec t。输入输出的例子：结构化学习的统一框架，trian和test过程：trian过程：x数据，y是标签。R值越大代表越相似，test过程：输入x穷举所有y看看哪个与输入x最相似，就是R值最大的。之后输出预测结果y。object detection task是给一张照片让机器寻找我们要找的object...

原创 李宏毅 SVM (support vector machine)

SVM组成Hinge Loss讲解

原创 word embedding（详细讲解word embedding）

机器经过阅读大量的words，将每个单词用vector表示，vector的dimension表达着这个单词的属性，意思相近单词，dimension就会呈现出来。vector就是word embedding。为了表示每个单词之间有联系，用二维vector来表示单词。可以更直观的看出每个单词的所属的类或者具有某种共同点。...

原创 Transfer Learning - Overview（详细讲解）

大象和老虎都是在自然界中的所以与猫和狗有关系，卡通则是都是分类猫和狗任务一样，所以目标域不一样。为什么要transfer learning，比如在speech recognition、image recognition、text analysis 方面，找到一些数据和target数据没有直接联系的source数据，看是否对recognition 有帮助。...

原创 ResNetWhaleTailClassification（第六步ResNetTest模块）

import tensorflow as tfimport tensorflow.contrib.slim.nets as netsfrom PIL import Imageimport osimport csvfrom time import *dic_data = {}with open('data/test_submission.csv', 'r') as csvfile:...

原创 ResNetWhaleTailClassification（第五步ResNetTrain模块）

import tensorflow as tfimport tensorflow.contrib.slim.nets as netsimport osdef read_and_decode_tfrecord(filename): # 定义数据流队列和读取器 filename_queue = tf.train.string_input_producer(filename) ...

原创 ResNetWhaleTailClassification（第四步分类Test文件，分成和Train文件一样的形式）

照片都整理到对应的类文件夹中import osimport tensorflow as tffrom PIL import Imageimport shutil# 第几个TFRecord文件recordfilenum = 0# 第几个图片num = 0# tfrecord文件保存路径folder = 'data/tfrecord/'# 每个tfrecord存放图片个数...

原创 ResNetWhaleTailClassification（第三步生成TrainTfrecord文件）

import osimport tensorflow as tffrom PIL import Imageimport shutil# 第几个TFRecord文件recordfilenum = 0# 第几个图片num = 0# tfrecord文件保存路径folder = 'data/tfrecord/'# 每个tfrecord存放图片个数bestnum = 500...

原创 ResNetWhaleTailClassification（第二步改变Test、Train照片尺寸）

from PIL import Imageimport os# resize_train# folder = 'data/train/'# resize_path = 'data/resize_train_data/'# for file in os.listdir(folder):# class_dir = folder + file# print(class_d...

原创 ResNetWhaleTailClassification（第一步数据增强）

经过对鲸鱼尾巴的辨别，来识别鲸鱼的类别。采用残差网络进行train。目录截图from keras.preprocessing.image import ImageDataGenerator, img_to_array, load_imgimport os# 数据增强增加学习样本datagen = ImageDataGenerator( rotation_range=40, #...

原创 基于PaddlePaddle框架的BP神经网络的鲍鱼年龄的预测

# 经典的线性回归模型主要用来预测一些存在着线性关系的数据集。回归模型可以理解为：存在一个点集，用一条曲线去拟合它分布的过程。如果拟合曲线是一条直线，则称为线性回归。如果是一条二次曲线，则被称为二次回归。线性回归是回归模型中最简单的一种。 本教程使用PaddlePaddle建立起一个鲍鱼年龄预测模型。# # 在线性回归中：# # （1）假设函数是指，用数学的方法描述自变量和因变量之间的关系...

原创 用VGG19做风格迁移的图像重绘

你会教计算机如何绘画。关键的想法是有一个神经网络从模型图像推断其绘画风格。然后将这种风格转移到另一张重新绘制的图片上。具体代码实现如下：import osimport sysimport numpy as npimport scipy.ioimport scipy.miscimport tensorflow as tf import matplotlib.pyplot as pl...

原创 线性回归预测PM2.5

import pandas as pdimport numpy as np# 数据预处理def dataProcess(df): x_list, y_list = [], [] # df替换指定元素，将空数据填充为0 df = df.replace(['NR'], [0.0]) # astype() 转换array中元素数据类型 array = n...

原创 创建一个ConvNet来分类CIFAR-10数据集

CIFAR-10数据集由10类60000张32x32像素的彩色图片组成，每类有6000张图片。有50000张训练图片和10000张测试图片。数据集用的python类型，地址：https://www.cs.toronto.edu/~kriz/cifar.htmlTFLearn 为ConvNet提供了一些已定义的更高级别的层，这能够专注于代码的定义：from __future__ import ...

原创 图像处理实例

import matplotlibimport matplotlib.pyplot as pltimport tensorflow as tfimport numpy as npimport os# 调整图片大小os.getcwd()img_raw_data = tf.gfile.FastGFile('cat.jpeg', 'rb').read()# 图片解码方式为(‘r’:UTF...

原创 读取TFRecord文件

接着上一篇生成TFRecord文件读取TFRecord文件首先采用输入生成器tf.train.string_input_producer将其加载到一个队列，然后读出tf.TFRecordReader()并将tf.parse_single_exampleExample对象拆解为图像数据和标签数据，最后对图像数据解码并保持成JPG文件。# 定义数据流队列filename_queue = tf.t...

原创 把图像转换为TFRecord文件

具体实现代码：import osimport tensorflow as tffrom PIL import Image # 处理图像的包import numpy as npfolder = 'image/'# 设定图像类别标签，标签名称和对应目录名相同label = {'cat', 'dog'}# 要生成的文件writer = tf.python_io.TFRecordWri...

原创 BP神经网络波士顿房价预测

数据集存在表格中导入数据库import numpy as npimport tensorflow as tffrom sklearn.model_selection import train_test_splitimport matplotlib.pyplot as plt数据集预处理data_X = []data_Y = []with open('boston_house_...

原创 爬虫 爬取百度图片 例如指定输入的名称

import osimport reimport uuidimport requestsdef download_image(key_word, download_max): #初始化下载数和十六进制形式的当前加载起始位置 download_sum = 0 str_gsm = '00' # 把每个明显的图片存放在单独一个文件夹中 save_path...

原创 爬虫 爬取百思不得姐网站

import requestsimport reimport osimport urllib.requestimport time# 下载视频def download(): k = 1 while k <= 2: # 获取网页源代码 url = "http://www.budejie.com/video/{0}".format(k)...