qq_43561314的博客

原创 高效准确处理scipy.misc 中imresize、imread导入错误问题

对于处理Caltech_Pedestrian数据集，在不改变python和scipy的前提下，成功使用scipy.misc中的imresize、imread函数，使得数据集处理结果一致。

原创 pytorch 在原有模型上添加新层

"""第一种替换方法"""qian_line = net.lineclass Add_Drop(nn.Module): def __init__(self, qian_line): super(Add_Drop, self).__init__() self.add_drop = nn.Sequential( nn.Dropout(0.3), qian_line ) def forward.

原创 无约束优化迭代法并以多元回归损失函数为例

一、从泰勒展开式了解极小值点：首先在处泰勒展开式：标量：向量：对任意一个函数(标量)：1.严格局部极小点值：2.等同于满足且向量:1.满足局部极小值：且(为正定矩阵)，当为不定矩阵时，是一个鞍点。二、无约束优化迭代法（一）无约束优化迭代法基本结构：(1)设置参数初始点,设置convergencetolerance （当大于时停止迭代），记...

原创 Gensim部分基本函数导图

原创 PyTorch之Torchvision函数导图

原创 PyTorch之pytorch.optim函数导图

原创 PyTorch之pytorch.nn基本函数导图

原创 pytorch之torch基本函数导图

原创 深度学习网络优化

避免过拟合一、正则化1、（m，样本数），W为第n层的权重的大小（前一层的输出*当前层的神经元数），损失函数加上正则化项（神经网络所有权重参数）然后对w计算偏导，即可更新权重2、droupout即随机移除百分比（如0.2）的神经元，使其暂时不参与运算，即当次不更新其权重，使总的网络更“平均”，不依特定的几个神经元或权重。并且在下一层计算时，为保证期望不变结果需要除以0...

原创 深度学习 前向传播与后向传播实例推导

举例：假设一个有两个隐藏层，每个隐藏层有一个神经元且接着一个sigmoid激活函数的神经网络例子，输入为x0,输出为pre，真实值为rel,经过第一个线性层为x11,第一个激活函数为x12;第二个线性层为x21,第二个激活函数为x22一、1.首先需要知道输出：pre= sig(w2*sig(w1*x0+b1)+b2) = sig(w2*x12+b2) , x12 = s...

原创 深度学习 激活函数理解

一、首先需要准备一个反向传播的例子。举例：假设一个有两个隐藏层，每个隐藏层有一个神经元且接着一个sigmoid激活函数的神经网络例子，输入为x0,输出为pre，真实值为rel,经过第一个线性层为x11,第一个激活函数为x12;第二个线性层为x21,第二个激活函数为x221.首先需要知道输出：pre= sig(w2*sig(w1*x0+b1)+b2) = sig(w2*x12+b2...

原创 pytorch requires_grad与优化器优化

import torch.nn as nnimport torchimport torch.optim as optimm = torch.randn((2,3,6))class Abc(nn.Module): def __init__(self): super().__init__() self.relu = nn.Linear(18,1)...

原创 pytorch 加载并批处理数据集

一、加载数据集加载数据集需要继承torch.utils.data 的 Dataset类，并实现 __len__和__getitem__方法。其中__len__返回数据集总数，__getitem__返回指定的数的矩阵和标签。二、数据集批处理需要torch.utils.data 的DataLoader类，有batch_size(批处理尺寸)，num_workers(多进程)，Samp...

原创 JIEBA分词函数导图

原创 PYTHON MySql数据库的插入、更新与查询

一、动态插入1.传入字典2.构造sql语句3.插入import pymysqldb = pymysql.connect(host='localhost',user='root',password='',port=3306,db='scrapy_db')cursor = db. cursor() #数据库连接data = { 'num':'22', 's...

原创 Python Sympy基础函数

原创 Hanlp和Standfordcorenlp下载及配置

一、Hanlp配置1.在https://github.com/hankcs/HanLP/blob/master/README.md下载data.zip和hanlp-release.zip并解压。2.在hanlp.properties中更改路径，路径名为当前文件所在路径3.下载java64位并完成配置。4.在python中的调用。（1）首先安装jpype能调用JAVA接...

原创 Tensorflow模型保存与调用

一、模型保存saver = tf.train.Saver()与saver.save(sess,'net/my_net.ckpt') 函数import tensorflow as tfsaver = tf.train.Saver()with tf.Session() as sess: sess.run(init) for epoch in range(11): ...

原创 TensorBoard可视化

import tensorflow as tf#参数概要def variable_summaries(var): with tf.name_scope('summaries'): mean = tf.reduce_mean(var) tf.summary.scalar('mean', mean)#平均值 with tf.name_s...

原创 Tensorflow卷积神经网络之MNIST分类

卷积神经网络过程：卷积层池化层全连接层python步骤：1.设置占位符2.可设置多层卷积层。每一层需要权值，n个卷积核、n个偏置值、激活函数、池化层3.可设置多层全连接层。每一层需要权值、偏置值、激活函数4.设置代价函数及优化器，计算结果python代码：import tensorflow as tffrom tensorflow.examples.tu...

转载 Tensorflow优化器

原创 Tensorflow初步之MNIST手写数字分类

神经网络（输入：784个神经元）（中间层：(1):1000,(2):300个神经元）（输出：10个神经元）一、import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST",one_hot=True)#...

原创 Tensorflow初步之非线性回归

神经网络（输入：1个神经元）（中间层：10个神经元）（输出：1个神经元）一、创造二次函数并加入噪声import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as np#创造二次函数并加入噪声(神经网络输入及真实输出)x_data = np.linspace(-0.5,0.5,200)[:,np.newa...

原创 SVM进行数字验证码分类

一、数据批量预处理之Pipeline类Pipeline可以将特征化、标准化等处理合在一起形成一个典型的机器学习问题工作流。即简化了代码还可以结合GridSearchCV进行最佳参数选取。Pipeline传入的是一个包含多个元组的列表，元组第一个是自定义名，后面是算法函数。from sklearn.pipeline import Pipelinepipeline=Pipeline([('...

原创 汉字点击验证码识别

在开始之前应该配置好selenium+firefox一、得到验证码图片只有当鼠标移动到验证码上时，图片才会显示出来。因此我们可以采用鼠标悬停的的方式显示验证码，并得到图片保存在本地。鼠标悬停拥有两种方式，一种是悬停到具体坐标，另一种是悬停到某一具体元素。我们选择前一种，原因有两点：由于最后识别出验证码时，需要点击具体坐标（每个字并不具有相对应的元素）。并且每一次鼠标执行都会在上一次的移...

原创 第七章 航空公司客户价值分析

一、数据探索分析import pandas as pdimport numpy as npimport datetimeimport matplotlib.pyplot as plt#查询空值、最大值、最小值path='C:\\Users\\11728\\Desktop\\文件\\python\\《Python数据分析与挖掘实战》-数据\\chapter7\\demo\\data...

原创 Python K-Means算法

一、简介 K均值聚类算法是先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再...

原创 中文分词基础——ｊｉｅｂａ分词（分词部分）

一、中文分词Xｍｉｎｄ二、结巴分词import globimport jiebadef get_content(path): with open(path,'r',encoding='utf-8',errors='ignore') as f: content='' for l in f: content=cont...

原创 NLP基础知识

原创 Ｓｅｌｅｎｉｕｍ基础方法

原创 HTTP基础及URL保存

HTTP