- 博客(71)
- 收藏
- 关注
RSS订阅转载 Docker容器化部署Python应用
1. 简介Docker是目前主流IT公司广泛接受和使用的，用于构建、管理和保护它们应用程序的工具。容器，例如Docker允许开发人员在单个操作系统上隔离和运行多个应用程序，而不是为服务器上的每个应用程序专用一个虚拟机。使用容器更轻量级，可以降低成本、更好地使用资源和发挥更高的性能。本文...
2019-06-28 18:25:00
270
转载 Python图片验证码降噪 — 8邻域降噪
简介图片验证码识别的可以分为几个步骤，一般用 Pillow 库或 OpenCV 来实现，这几个过程是：1.灰度处理&二值化2.降噪3.字符分割4.标准化5.识别所谓降噪就是把不需要的信息通通去除，比如背景，干扰线，干扰像素等等，只留下需要识别的字符，让图片变成2进制...
2019-02-01 14:51:00
1084
转载 Python异步Web编程
异步编程适用于那些频繁读写文件和频繁与服务器交互数据的任务，异步程序以非阻塞的方式执行I/O操作。这样意味着程序可以在等待客户机返回数据的同时执行其他任务，而不是无所事事的等待，浪费资源和时间。Python和其他许多编程一样，默认不具备异步特性。所幸的是，IT行业的快速发展，技术的不断更新...
2019-01-10 09:28:00
610
转载 Python标准库笔记(11) — Operator模块
Operator——标准功能性操作符接口.代码中使用迭代器时,有时必须要为一个简单表达式创建函数。有些情况这些函数可以用一个lambda函数实现，但是对于某些操作，根本没必要去写一个新的函数。因此operator模块定义了一些函数，这些函数对应于算术、比较和其他与标准对象API对应的操...
2018-12-18 11:05:00
470
转载 Django中六个常用的自定义装饰器
装饰器作用decorator是当今最流行的设计模式之一，很多使用它的人并不知道它是一种设计模式。这种模式有什么特别之处? 有兴趣可以看看Python Wiki上例子，使用它可以很方便地修改对象行为，通过使用类似例中的接口将修改动作封装在装饰对象中。decorator 可以动态地修改函数、方...
2018-07-03 15:32:00
450
转载 Python标准库笔记(10) — itertools模块
itertools 用于更高效地创建迭代器的函数工具。Python版本 3.xitertools 提供的功能受Clojure，Haskell，APL和SML等函数式编程语言的类似功能的启发。它们的目的是快速有效地使用内存，并且将它们关联在一起以表示更复杂的基于迭代的算法。基于迭代...
2018-06-14 15:27:00
195
转载 Python标准库笔记(9) — functools模块
functools 作用于函数的函数functools 模块提供用于调整或扩展函数和其他可调用对象的工具，而无需完全重写它们。装饰器partial 类是 functools 模块提供的主要工具, 它可以用来“包装”一个可调用的对象的默认参数。它产生的对象本身是可调用的，可以看作是原生...
2018-05-11 12:04:00
130
转载 Python标准库笔记(8) — pprint模块
struct模块提供了用于在字节字符串和Python原生数据类型之间转换函数，比如数字和字符串。 该模块作用是完成Python数值和C语言结构体的Python字符串形式间的转换。这可以用于处理存储在文件中或从网络连接中存储的二进制数据，以及其他数据源。1. 模块函数和Struct类...
2018-04-19 11:03:00
131
转载 Python标准库笔记(7) — copy模块
copy-对象拷贝模块；提供了浅拷贝和深拷贝复制对象的功能, 分别对应模块中的两个函数 copy() 和 deepcopy()。1.浅拷贝(Shallow Copies)copy() 创建的 浅拷贝 是一个新的容器，它包含了对原始对象的内容的引用。也就是说仅拷贝父对象，不会拷贝对象的内...
2018-03-27 13:14:00
301
转载 Python标准库笔记(6) — struct模块
该模块作用是完成Python数值和C语言结构体的Python字符串形式间的转换。这可以用于处理存储在文件中或从网络连接中存储的二进制数据，以及其他数据源。用途: 在Python基本数据类型和二进制数据之间进行转换struct模块提供了用于在字节字符串和Python原生数据类型之间转换函...
2018-02-22 12:16:00
97
转载 Python Webdriver 重新使用已经打开的浏览器实例
因为Webdriver每次实例化都会新开一个全新的浏览器会话，在有些情况下需要复用之前打开未关闭的会话。比如爬虫，希望结束脚本时，让浏览器处于空闲状态。当脚本重新运行时，它将继续使用这个会话工作。还就是在做自动化测试时，前面做了一大推操作，但是由于程序出错，重启时不用再继续前面复杂的操作。个...
2018-01-11 13:24:00
156
转载 pytesser模块WindowsError错误解决方法
在使用pytesser做图片文字识别时遇到 WindowsError: [Error 2] 错误，报错内容如下:Traceback (most recent call last): File "E:/Code/Captcha/ChinaMobileEC/recogCaptcha.py"...
2017-11-23 12:20:00
162
转载 Django 1.10中文文档-聚合
Django 数据库抽象API描述了使用Django 查询来增删查改单个对象的方法。 然而，有时候你要获取的值需要根据一组对象聚合后才能得到。 这个主题指南描述了如何使用Django的查询来生成和返回聚合值的方法。 整篇指南我们都将引用以下模型。这些模型用来记录多个网上书店的库存。 fr...
2017-10-11 21:42:00
104
转载 Django 1.10中文文档-执行查询
只要创建好数据模型, Django 会自动为生成一套数据库抽象的API， 可以让你创建、检索、更新和删除对象。这篇文档阐述如何使用这些API。 关于模型查询所有选项的完整细节，请见数据模型参考。 在整个文档（以及参考）中，都将引用下面的模型，它是一个博客应用： from django...
2017-10-07 14:44:00
135
转载 Python NLP入门教程
本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。什么是NLP？简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。这里讨论一些自然语言处理(NLP...
2017-09-29 11:24:00
92
转载 Django1.10中文文档 — 模型
模型是你的数据的唯一的、权威的信息源。它包含你所储存数据的必要字段和操作行为。通常，每个模型都对应着数据库中的唯一一张表。 基础认识: 每个model都是一个继承django.db.models.Model的子类; model中的每个属性(attribute)都代表数据库中的...
2017-09-15 16:52:00
116
转载 曲线点抽稀算法-Python实现
何为抽稀在处理矢量化数据时，记录中往往会有很多重复数据，对进一步数据处理带来诸多不便。多余的数据一方面浪费了较多的存储空间，另一方面造成所要表达的图形不光滑或不符合标准。因此要通过某种规则，在保证矢量曲线形状不变的情况下， 最大限度地减少数据点个数，这个过程称为抽稀。通俗的讲就是对曲线...
2017-08-18 09:44:00
1134
转载 Python判断文件是否存在的三种方法
通常在读写文件之前，需要判断文件或目录是否存在，不然某些处理方法可能会使程序出错。所以最好在做任何操作之前，先判断文件是否存在。这里将介绍三种判断文件或文件夹是否存在的方法，分别使用os模块、Try语句、pathlib模块。1.使用os模块os模块中的os.path.exists()方法...
2017-07-27 09:19:00
4336
转载 Django 1.10中文文档-第一个应用Part7-自定义管理站点
开发第一个Django应用,Part7 本教程上接Part6。将继续完成这个投票应用,本节将着重讲解如果用Django自动生成后台管理网站。自定义管理表单 通过admin.site.register(Question)注册了Question后，Django可以自动构建一个默认的表单。...
2017-07-17 12:55:00
130
转载 Python标准库笔记(5) — sched模块
事件调度 sched模块内容很简单，只定义了一个类。它用来最为一个通用的事件调度模块。 class sched.scheduler(timefunc, delayfunc)这个类定义了调度事件的通用接口，它需要外部传入两个参数，timefunc是一个没有参数的返回时间...
2017-07-05 21:53:00
181
转载 PyCharm 自定义文件和代码模板
PyCharm提供了文件和代码模板功能，可以利用此模板来快捷新建代码或文件。比如在PyCharm中新建一个html文件，新的文件并不是空的，而是会自动填充了一些基础的必备的内容，就像这样: <!DOCTYPE html><html lang="en"...
2017-06-05 12:44:00
290
转载 Django 1.10中文文档-第一个应用Part6-静态文件
本教程上接Part5 。前面已经建立一个网页投票应用并且测试通过，现在主要讲述如何添加样式表和图片。 除由服务器生成的HTML文件外，网页应用一般还需要提供其它必要的文件——比如图片、JavaScript脚本和CSS样式表。这样才能为用户呈现出一个完整的网站。 在Django...
2017-05-05 10:15:00
106
转载 Django 1.10中文文档-第一个应用Part5-测试
本教程上接教程Part4 。 前面已经建立一个网页投票应用，现在将为它创建一些自动化测试。 自动化测试简介 什么是自动化测试 测试是检查你的代码是否正常运行的行为。测试也分为不同的级别。有些测试可能是用于某个细节操作（比如特定的模型方法是否返回预期的值），而有些测试是检查软件...
2017-04-25 18:14:00
105
转载 Python标准库笔记(4) — collections模块
这个模块提供几个非常有用的Python容器类型. 1.容器 名称 功能描述 OrderedDict 保持了key插入顺序的dict na...
2017-04-21 11:29:00
107
转载 Python标准库笔记(3) — datetime模块
1. 模块内容 内容 描述 常量 datetime.MINYEAR date和datetime对象允许的最小年份 ...
2017-04-07 16:51:00
75
转载 Django 1.10中文文档-第一个应用Part4-表单和通用视图
本教程接Part3开始。继续网页投票应用程序，并将重点介绍简单的表单处理和精简代码。 一个简单表单 更新一下在上一个教程中编写的投票详细页面的模板polls/detail.html，让它包含一个HTML<form> 元素： # polls/templates/...
2017-03-31 16:50:00
132
转载 Python爬虫—破解JS加密的Cookie
前言 在GitHub上维护了一个代理池的项目，代理来源是抓取一些免费的代理发布网站。上午有个小哥告诉我说有个代理抓取接口不能用了，返回状态521。抱着帮人解决问题的心态去跑了一遍代码。发现果真是这样。 通过Fiddler抓包比较，基本可以确定是JavaScript生成加密C...
2017-03-24 09:00:00
120
转载 Python标准库笔记(2) — re模块
re模块提供了一系列功能强大的正则表达式(regular expression)工具，它们允许你快速检查给定字符串是否与给定的模式匹配(match函数), 或者包含这个模式(search函数)。正则表达式是以紧凑(也很神秘)的语法写出的字符串模式。 1. 常用方法 ...
2017-03-20 15:58:00
99
转载 Python标准库笔记(1) — string模块
String模块包含大量实用常量和类，以及一些过时的遗留功能，并还可用作字符串操作。 1. 常用方法 常用方法 描述 str.capitalize() 把字符...
2017-01-23 20:18:00
270
转载 Django 1.10中文文档-第一个应用Part3-视图和模板
本教程上接Django 1.10中文文档-第一个应用Part2-模型和管理站点。我们将继续开发网页投票这个应用，主要讲如何创建一个对用户开放的界面。 概览 视图是Django应用中的一“类”网页，它通常使用一个特定的函数提供服务，并且具有一个特定的模板。例如，在博客应用中，可能有以下视图...
2017-01-18 18:12:00
144
转载 Django 1.10中文文档-第一个应用Part2-模型和管理站点
本教程继续Part1。我们将设置数据库，创建您的第一个模型，并快速介绍Django的自动生成的管理网站。 数据库设置 现在，编辑mysite/settings.py。它是一个用模块级别变量表示Django配置的普通Python模块。 Django的默认数据库是SQLite。如果你是数据...
2017-01-12 20:02:00
143
转载 Django 1.10中文文档-第一个应用Part1-请求与响应
在本教程中，我们将引导您完成一个投票应用程序的创建，它包含下面两部分：一个可以进行投票和查看结果的公开站点；一个可以进行增删改查的后台admin管理界面；我们假设你已经安装了Django。您可以通过运行以下命令来查看Django版本以及验证是否安装：python -m dj...
2017-01-10 09:20:00
128
转载 在Python应用中使用MongoDB
在这篇文章中，将向您展示如何使用Python链接目前主流的MongoDB(V3.4.0)数据库，主要使用PyMongo(v3.4.0)和MongoEngine(V0.10.7)。同时比较SQL和NoSQL。 英文原文:https://realpython.com/blog/python...
2016-12-26 14:08:00
143
转载 Python爬虫代理池
爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 ...
2016-12-05 09:39:00
73
转载 Ubuntu上通过nginx部署Django笔记
Django的部署可以有很多方式，采用nginx+uwsgi的方式是其中比较常见的一种方式。今天在Ubuntu上使用Nginx部署Django服务，虽然不是第一次搞这个了，但是发现还是跳进了好多坑，google了好久才搞定。想想还是把这个过程记录下来，免得下次再来踩同样的坑。安装Ngin...
2016-11-16 22:17:00
85
转载 PyCharm创建virtualenv方法
Python的版本众多,在加上适用不同版本的Python Package。这导致在同时进行几个项目时，对库的依赖存在很大的问题。这个时候就牵涉到对Python以及依赖库的版本管理，方便进行开发，virtualenv就是用来解决这个问题的。下面介绍使用PyCharm创建Virtual Envi...
2016-11-14 17:05:00
107
转载 Python检查xpath和csspath表达式是否合法
在做一个可视化配置爬虫项目时，需要配置爬虫的用户自己输入xpath和csspath路径以提取数据或做浏览器操作。考虑到用户的有时会输入错误的xpath或csspath路径，后台需要对其做合法性校验。xpath有效性校验对于xpath的有效性检验，使用第三方lxml模块中的etree.X...
2016-11-10 20:49:00
139
转载 Python魔术方法-Magic Method
介绍 在Python中，所有以“__”双下划线包起来的方法，都统称为“Magic Method”,例如类的初始化方法 __init__ ,Python中所有的魔术方法均在官方文档中有相应描述，但是对于官方的描述比较混乱而且组织比较松散。很难找到有一个例子。构造和初始化 每个Pytho...
2016-11-02 13:41:00
467
转载 Linux笔记：使用Vim编辑器
Vim基础Vim编辑器在内存缓冲区处理数据。只要键入vim命令和你要编辑的文件的名字，即可启动Vim编辑器。如在启动Vim时未指定文件名，或者这个文件不存在，Vim会新开一段缓冲区域来编辑；如果命令指定了一个已有的文件的命令，Vim会将文件的整个内容都读到一块缓冲区域来准备编辑。Vim编...
2016-10-23 20:43:00
98
转载 Python正则表达式：最短匹配
最短匹配应用于：假如有一段文本，你只想匹配最短的可能，而不是最长。例子比如有一段html片段，'<a>this is first label</a><a>the second label</a>',如何匹配出每个a标签中的内容，下面来看下最短...
2016-10-23 11:28:00
282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人