python
hopyGreat
这个作者很懒,什么都没留下…
展开
-
下载leaflet使用的瓦片地图
leaflet与瓦片地图leaflet是开源的JavaScript库,用于构建Web地图应用。其需要提供一个瓦片地图服务器用于动态加载当前展示的地图背景页。瓦片地图是由于其根据缩放等级相当于一级一级细化,上一级的一张图片在一次缩放过程中会变成粒度更细的四张图片,进而达到放大(反之缩小)的效果。由于其上下一级一级覆盖的模式,因此其被称为瓦片地图(类似瓦片一级盖着一级)。在放大级别为1级时(也就是zoom=1),当前瓦片地图仅有4张图片。分别是左上,右上,左下,右下。当放大级别为2级时(也就原创 2021-03-21 23:57:33 · 1814 阅读 · 0 评论 -
简单的flask模板
from flask import Flask,jsonifyapp = Flask(__name__)# 跨域支持def after_request(resp): resp.headers['Access-Control-Allow-Origin'] = '*' resp.headers["Access-Control-MAX-Age"] = "3600" resp.headers["Access-Control-Allow-Methods"] = "POST, GET.原创 2021-03-05 22:06:57 · 178 阅读 · 0 评论 -
Python code库 - 在运行代码的过程中运行携带上下文环境的命令行
由于没有单步调试debug的习惯,一般都是在代码中加入print查看信息,如果一没有问题,那么就需要继续在别处添加print语句。程序变了,又得运行一次程序,程序运行速度快还好。要是运行的慢了,又得等很久。之前就一直在想着,如何在程序运行的过程中打开一个携带上下文环境的命令行,这样就很方便查看变量信息,灵活debug了。可能是由于搜索的方法不对,一直没有找到这样一个库。直到今天,才遇到code这个内建库(没有读过官方文档的后果)!所以这个库的作用其实也很明显了,就是可以创建一个Pytho原创 2020-07-03 18:30:02 · 370 阅读 · 0 评论 -
使用pip download环境conda迁移,TensorFlow无法使用GPU
在Python迁移虚拟环境(适用conda环境迁移)一文中,笔者介绍了怎么离线迁移Python环境。但笔者迁移了TensorFlow环境之后发现,迁移的环境是CPU。仔细思考下,记得看到过,pip freeze只能离线pip安装的包,而不能安装conda安装的包。当然,显然不是全然如此,使用conda安装了numpy,pandas也是可以被记录的。这里应该指的是如cudatoolkit,cudnn这类的包了。仔细看一下 conda list 和 pip freeze 的结果,确实有所不同原创 2020-11-02 01:58:49 · 1485 阅读 · 0 评论 -
Python迁移虚拟环境(适用conda环境迁移)
问题Python的环境迁移是个很容易遇到的问题,在以下情况下均有需求:1. 自己建了一个环境,要给别人搭一套直接可用的环境。2. 网络差,无法下载相关三方包。3. 无法联网,需要离线配置Python环境。因此,需要一种比较合适可用的环境迁移手段。直接搜索该问题,很多解决方案都是:1. pip生成requirements.txt,别处直接 pip install;2. mvn pack;3. 直接复制conda的虚拟环境包(envs下的目录)。方案1并不是很通用,在网络条件好的情况原创 2020-10-29 02:19:03 · 2417 阅读 · 0 评论 -
Python打印日志库(logging)
一、日志等级级别 何时使用 DEBUG 细节信息,仅当诊断问题时使用 INFO 确认程序按预期运行 WARNING 表明已经或即将发生的意外(例如:磁盘空间不足)。程序仍按预期进行 ERROR 由于严重的问题,程序的某些功能已经不能正常执行 CRITICAL 严重的错误,表明程序已不能继续执行 默认等级是“WARNING”,意味着只会跟踪该级别及以上的事件(由上倒下等级以此递增),除非更改日志配置。二、基本用法1. quick star原创 2020-06-19 23:28:50 · 1008 阅读 · 0 评论 -
pandas操作记录
获取dataframe中某列数值最接近指定值的一行:df.iloc[(df["col"]-x).abs().argsort()[1:2]]其中,(df["col"]-x).abs()获取了该列与指定值之间的绝对值差,使用argsort()进行排序,并使用切片取出最接近的值,不取0是排除自身。如果担心该列从在多个值为x的行,也可以先利用某列具有id性质的值筛掉自身,然后切片时取第一条数据即...原创 2020-04-27 01:31:17 · 235 阅读 · 0 评论 -
Python3通过heapq模块创建堆
Python3中内置的堆模块为:heapq使用时直接导入即可:import heapq可以打印出heapq内置的方法:print(dir(heapq))在具体介绍几个常用函数之前,要明确一下,heapq默认支持的堆类型为:小根堆。如果,希望使用大根堆,可通过对元素反向比较大小实现。所谓反向比较大小,对int来说,即原本使用heapq存x为小根堆,那么现在使用heap...原创 2020-03-14 23:49:24 · 899 阅读 · 0 评论 -
Python3自定义排序方法
假设有这样一个问题:对[[15, 1], [14, 2], [13, 3], [12, 4]]按照第二元素进行非递增排序。由于数据是个列表,所以可以使用list自带的sort()函数,也可以使用通用的sorted()函数。但是最关键的问题在于,如何指定采用第二个元素进行排序。有如下三种方案:# 方案1l = [[15, 2], [14, 4], [13, 6], [12, 8]]l....原创 2020-03-13 20:52:08 · 957 阅读 · 0 评论 -
TensorFlow配置GPU的分配设置方法
1. 多GPU情况下,使用指定GPU# 在Python代码中import osos.environ["CUDA_VISIBLE_DEVICES"] = "0"2. 设置GPU占用量config = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction = 0.9 # 占用GPU90%的显存ses...原创 2019-12-19 15:54:08 · 456 阅读 · 0 评论 -
conda指令
1. 虚拟环境相关# 1. 查看已有虚拟环境$ conda env list# 2. 激活虚拟环境$ conda activate env_name# 3. 退出虚拟环境 $ conda deactivate# 4. 创建虚拟环境$ conda create -n env_name$ conda create --name env_name# 创建环境时指定Pytho...原创 2019-12-19 15:36:40 · 225 阅读 · 0 评论 -
Python实现简单神经网络
使用Python + NumPy库,实现神经网络。该网络具有一层输入层,一层隐藏层,一层输出层。求梯度采用的方法是数值微分求梯度。由于该算法效率较差,所以只训练了10次。最终的正确率停留在9%左右。(唯一的感觉就是数值积分确实好理解,但是太慢了!)from dataset.mnist import load_mnistimport numpy as npbatch_...原创 2018-12-08 19:16:01 · 959 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》第四章阅读笔记
4 神经网络的学习这一章主要讲解神经网络的学习,包括第三章初步介绍的前向传播,已经这一章要将的反向传播等。4.1 从数据中学习神经网络的特征就是可以从数据中学习。所谓从数据中学习,是指可以由数据自动决定权重参数的取值。4.1.1 数据驱动利用数据相出一个可以识别数字的算法。一种方案是,先从图像中提取特征量,再用机器学习技术学习这些特征量的模式,最后对转换后的向量使用机器学习中的...原创 2018-12-08 23:11:47 · 1121 阅读 · 4 评论 -
《深度学习入门:基于Python的理论与实现》第6章-参数的更新
声明:这是原书的读书笔记,原书中的图,实在太漂亮了,我忍不住全扣下来了。。。强推原书。参数优化神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化。1 随机梯度下降一种最基本的方法是将参数的梯度作为线索,使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数,这个过程称为随机梯度下降(Stochastic...原创 2018-12-09 19:38:19 · 876 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》第6章-权重的初始化
权重的初始化在神经网络的学习中,权重的初始值特别重要。实际上,设定什么样的权重初始值经常关系到神经网络的学习能否成功。1 可以将权重初始化为0吗由于神经网络的学习可能会产生过拟合的效果。所谓过拟合就是对训练数据的预测准确度非常高,但应用到其它数据集上表现的结果则非常差,称之为泛化能力不好。一般会通过一种权值衰减的方式抑制该问题,权值衰减是一种以减小权重参数的值为目的进行学习的方法。...原创 2018-12-09 23:39:04 · 892 阅读 · 0 评论 -
tensorflow中高维度矩阵的乘法
简单看个例子:这里的结果是怎么来的呢?仔细分析下,不难得出:21 = 10 * 0.1 + 100 * 0.2,86 = 20 * 0.3 + 200 * 0.4, 所以,虽然变成三维了,但实际还是做的二维运算。高于二维的维度,挨个遍历,便可得到一个二维矩阵,对这两个二维矩阵进行线性代数里的矩阵乘法。这样就要求了两个高维矩阵相乘必须满足的一些维度关系了。对于两个...原创 2019-01-12 11:32:01 · 5568 阅读 · 0 评论 -
下载mnist数据集的正确姿势
目录树结构:.├── dataset│ └── mnist.py└── main.pydataset中报错了下载mnist数据的代码,下载的mnist数据以及缓存也会保存在这个文件中。# coding: utf-8try: import urllib.requestexcept ImportError: raise ImportError('Yo...原创 2019-03-27 15:53:47 · 6235 阅读 · 1 评论 -
TensorFlow实现RNN
参考文章:知乎 - tf.nn.dynamic_rnn 详解简单提一下,用TensorFlow实现RNN系列结构,基本就是定义一个cell,然后调用一个RNN函数,就获得输出了。而且,cell定义成什么类型基本就是什么类型的RNN了。一、TensorFlow关于RNN函数的定义tf.nn.dynamic_rnn( cell, ...原创 2019-07-17 17:38:42 · 958 阅读 · 0 评论 -
Tensorflow实现条件随机场
不讲原理,不将原始代码实现,一切都从调用tensorflow出发。只有示例,没有讲解。代码参考:TensorFlow-GitHubimport numpy as npimport tensorflow as tf# 输入 batch=3, max_words=6, embedding=4x = np.random.randn(3, 6, 4)x[1, 4:] = 0x...原创 2019-08-28 11:16:38 · 483 阅读 · 0 评论 -
下载OpenStreetMap离线地图数据并搭载瓦片服务器
一、下载OpenStreetMap离线地图数据OpenStreetMap可以在Geofabrik Download Server进行下载。红框部位可直接下载洲区域地图。也可以点击洲名称,进入下载国家区域的地图。该网址似乎没有提供省市级别的地图,至少本人没有找到。确定要下载的地图之后,建议下载.bz2格式的地图(因为目前只知道如何处理这样的地图)。下载如果是linux系统...原创 2019-09-08 13:41:31 · 8317 阅读 · 8 评论 -
《深度学习入门:基于Python的理论与实现》第三章阅读笔记
目录3 神经网络3.1 从感知机到神经网络3.1.1 神经网络的例子3.1.2 复习感知机3.1.3 激活函数登场3.2 激活函数3.2.1 sigmoid函数 3.2.2 阶跃函数的实现3.2.3 阶跃函数的图像3.2.4 sigmoid函数的实现3.2.5 sigmoid函数和阶跃函数的比较3.2.6 非线性函数3.2.7 ReLU函数3...原创 2018-12-02 00:09:40 · 1430 阅读 · 11 评论 -
跟着scrapy文档学爬虫(2)
前面写了一篇起步的跟着scrapy文档学爬虫(1)了,隔了好久才又过来需更了。 1. 命令行工具scrapy是通过scrapy命令行来进行控制的,这里我们称之为“Scrapy tool”来区别子命令。对于子命令,我们直接称之为“commands”或“Scrapy commands”。 出于不同的需求,scrapy tool提供了许多命令,每条命令都接受一系列不同的参数和选项。...原创 2018-11-05 13:27:50 · 236 阅读 · 0 评论 -
去噪自编码器
import numpy as npimport tensorflow as tf# 使用Xavier初始化器进行权重初始化 它的特点是根据某一层网络的输入,输出节点数量自动调整最合适的分布# 从数学的角度分析 Xavier就是让权重满足均值为0, 同时方差为(2/(n_input + n_output))# 分布可以使用均匀分布或者高斯分布# 如下代码所示,通过tf.random_...原创 2018-11-04 10:52:47 · 1776 阅读 · 1 评论 -
在python中使用flask-sqlalchemy对数据库进行连接操作
这里使用的数据库是mysql。 python和mysql是不沾边的两个东西,不能直接进行互通交流,想要这两者之间能进行交流,就需要一个中间件或者说驱动程序。python2:在window上 python2 连接mysql可以到网上下个驱动 MySQL_python-1.2.5-cp27-none-win_amd64.whl 用pip安装一下即可 使用 mysql+driver://us...原创 2018-05-31 16:57:53 · 1847 阅读 · 0 评论 -
MNIST入门
这里倒是没有讲MNIST数据集的概念,具体可以参见这篇文章:MNIST机器学习入门这里只是将文中所述的预测代码简单实现了下:import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data# 下载数据mnist = input_data.re...原创 2018-06-05 17:16:26 · 299 阅读 · 0 评论 -
tensorflow起步
下面这段Python代码生成了一些三维数据 然后用一个平面拟合import tensorflow as tfimport numpy as np# 生成2*100的数据x = np.float32(np.random.rand(2, 100)) # 生成2*100的输入数据y_ = np.dot([0.1, 0.2], x) + 0.3 # 标准结果# 使用variable...原创 2018-06-04 18:27:11 · 214 阅读 · 0 评论 -
CentOS 7下安装Python3.5
本文参考自http://www.linuxidc.com/Linux/2016-04/129784.htm写到自己博客里是方便以后自己查看。若侵权,麻烦告知,立即删除。注:本文中选取的方法是替换掉原来的python2.7,若要保留原来的版本请不要参考本文。1.首先安装python3.5可能使用到的依赖yum install openssl-devel bzip2-d转载 2017-10-24 19:55:43 · 275 阅读 · 0 评论 -
centos7修改pip源
参考原文1:http://www.cnblogs.com/harelion/p/4856178.html参考原文2:http://www.jianshu.com/p/3ff34df37fce参考原文3:http://ju.outofmemory.cn/entry/108631由于网络有时不稳定的原因,使用pip/pip3下载会出现网络不可达的问题。建议是修改pip源,使用国内镜像服务,转载 2017-10-25 18:50:37 · 15091 阅读 · 0 评论 -
Scrapy日志处理
参考来源:《Python网络数据采集》41页参考来源:Scrapy文档 Scrapy生成的调试信息非常有用,但是通常太啰嗦,你可以在Scrapy项目中的setting.py中设置日志显示等级:LOG_LEVEL = 'ERROR' 日志级别Scrapy日志有五种等级,按照范围递增顺序排列如下:(注意《Python网络数据采集》书中这里有错)CRITICAL - 严重...转载 2017-12-11 12:47:00 · 15635 阅读 · 7 评论 -
scrapy入门
笔者python版本为3.5.21、首先使用pip3安装scrapy: pip3 install scrapy如果出现缺少库依赖的可以上网查一查安转相应的库依赖 测试安装成功:输入 scrapy 会出现 scrapy的指令参数提示等内容2、创建一个scrapy项目 scrapy startproject Demo此时会创建一的Demo目录,进入...原创 2017-11-18 21:42:47 · 294 阅读 · 0 评论 -
Flask-SQLAlchemy笔记
所谓ORM技术是指将对数据库的操作映射到对类对象的操作,用起来更方便些。 python-flask中使用Flask-SQLAlchemy管理数据库,支持多种数据库后台。 安装方式为: sudo pip install flask-sqlalchemy以下程序使用的数据库是mysql,除了一些配置参数稍有区别,其余对数据库类型没有影响在flask程序中想要连接数据库需要在程序中加载一个配...原创 2018-05-31 19:17:54 · 2625 阅读 · 4 评论 -
tensorflow变量管理
在tensorflow中有时会将某个部分独立出来成为一个函数,比如把前向传播函数提取出来,成为一个独立的接口,这时就需要传递一定的调用参数,如隐藏层权重,偏置项等。当神经网络的结构非常复杂,参数更多时,就需要一个更好的方式来出传递和管理神经网络中的参数。 TensorFlow提供了通过变量名称来创建或获取一个变量的机制,通过这个机制,在不同的函数中可以直接通过变量名来获取变量,而不是将变量通过参...原创 2018-06-09 20:23:34 · 1666 阅读 · 2 评论 -
跟着scrapy文档学爬虫(1)
前面已经写过一篇关于scrapy的简单文档了-scrapy入门。说是入门其实,应该只算得上是如何安装scrapy吧。那会儿原本打算继续写一些关于配置文件的博客的。但是由于各种事情的耽误(其实就是懒的没学),所以没有继续写了。虽然最近也很忙,有很多事情要做。但忙里偷闲(其实就是不想干正事儿),来学一学scrapy,目测以后用得上。本次学习的依据是scrapy的官方文档 - Scrap...原创 2018-08-09 22:41:44 · 649 阅读 · 0 评论 -
importError: DLL load failed: 找不到指定的模块。
一个月之前在本机(python3.6.1)安装windows-cpu版tensorflow(1.10.0版本)结果在导入的时候报错了。说DLL文件引入失败,找不到对应的模块,搜寻了一圈发现好像windows上的tensorflow只支持python3.5。然后就重装了python,换成了3.5.4版本的。然后安装tensorflow-1.10.0。安装成功,也可以正常使用。今天又去...原创 2018-10-10 15:40:18 · 3068 阅读 · 0 评论 -
tf.while_loop使用list参数
tensorflow使用计算图的模型,所以常规for循环在tensorflow其实是不起作用的。所以tensorflow提供了while_loop函数:tf.while_loop( cond, body, loop_vars, shape_invariants=None, parallel_iterations=10, back_prop=...原创 2018-10-19 14:27:37 · 2759 阅读 · 0 评论 -
py2neo merge报错:Primary label and primary key are required for MERGE operation
安装了最新版的py2neo使用的时候,发现merg报错了,说没有提供两个关键字参数,在代码中用法如下:user = Node("User", name=user)repo = Node("Repo", name=repo)rel = Relationship(user, rel_type, repo)g.merge(rel)网上查了下基本都是这样的用法,于是怀疑是不是版本方面的...原创 2018-09-05 01:33:45 · 3594 阅读 · 1 评论 -
matplotlib绘图显示中文字符集
常规下在matplotlib中直接调用绘图函数会发现中文字符乱码,出现很多框框类的字符,其实就是matplotlib不能正常显示中文造成的,在绘图前设置一下中文显示参数即可解决。 import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['ax...原创 2018-08-03 16:05:06 · 3607 阅读 · 0 评论 -
关于tf.image.resize_images的一个小问题
首选我们需要加载一张原图,然后使用对应格式解码,从而得到图像对应的三维矩阵image_raw_data = tf.gfile.FastGFile('pic.jpg', 'r').read()img_data = tf.image.decode_jpeg(image_raw_data)由于我这里的图片是jpg格式的,因此使用了decode_jpeg,TensorFlow还提供了tf.im...原创 2018-08-11 17:37:07 · 7446 阅读 · 2 评论 -
TensorFlow对cnn的支持
TensorFlow对cnn的支持对卷积的支持卷积层最重要的部分是卷积核,也被称为过滤器。卷积核可以将当前层神经网络上的一个子节点矩阵转换为下一层神经网络上的一个单位节点矩阵。单位节点矩阵是指长和宽都为1,但深度不限的节点矩阵。 在一个卷积层中,过滤器所处理的节点矩阵的长和宽都是由人工指定的,这个节点矩阵的尺寸也被称为过滤器的尺寸。 常用的顾虑器尺寸有3*3 和 5*5的。由于过滤...原创 2018-08-06 22:31:07 · 312 阅读 · 0 评论 -
centos7下报错:ImportError: No module named '_tkinter'
在我使用python3.5导入matplotlib的时候 一切正常,我就以为万事大吉了,但是运行程序发现如下报错:首先看看系统中有没有该tk模块:$ yum list installed | grep ^tk如果没有就安装如下两个模块yum install -y tkinteryum install -y tk-devel这时python2就已经好了,如果还没好的...原创 2018-08-10 21:32:51 · 2113 阅读 · 0 评论