![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
云雾半间
且任风云动,无欲自从容
展开
-
Python枚举
1. 枚举的定义 首先,定义枚举要导入enum模块。 枚举定义用class关键字,继承Enum类。 用于定义枚举的class和定义类的class是有区别【下一篇博文继续分享】。 示例代码:from enum import Enumclass Color(Enum): red = 1 orange = 2 yellow = 3 ...原创 2020-03-20 15:23:45 · 324 阅读 · 0 评论 -
windows server 2012部署基于flask的爬虫项目
最近遇到一个需求,需要将爬虫作为一个可供调用的模块,于是写好了爬虫的接口,由于其中用到的部分工具只有windows版本,所以必须部署在windows服务器上,特此总结一下.注意事项:1.apache+ python + mod_wsgi的版本一定要对应本文版本:apache: Apache24 VC14python: 3.6.7 64位 Windows x86-64 e...原创 2019-08-12 11:59:55 · 1059 阅读 · 0 评论 -
python单例模式总结
代码:#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2019-01-21 09:09:09# @Author : cdl (1217096231@qq.com)# @Link : https://github.com/cdlwhm1217096231/python3_spider# @Version : $...原创 2019-07-19 08:57:36 · 195 阅读 · 0 评论 -
深度学习书籍推荐2019
你是否希望深入学习深度学习?如果你有这方面的意愿,请不要辜负我的整理工作,这是2019年最佳机器学习和深度学习书籍清单:·Deep Learningby Ian Goodfellow, Yoshua Bengio, Aaron Courville·Grokking Deep Learningby Andrew W.Trask·Deep Learning with Pythonby...转载 2019-06-18 18:17:27 · 1991 阅读 · 0 评论 -
验证码/图片快速下载模块
做验证码识别算法的时候,最重要的就是大量可以用于训练的验证码图片,所以,快捷的获取大量验证码图片就很有必要,于是写了个快速获取大量验证码的模块,稍作修改也可以用于下载其它的图片代码:# -*- coding: utf-8 -*-import requestsimport timedef get_vcode(nums): nums = int(nums) for ...原创 2019-06-11 16:40:33 · 629 阅读 · 0 评论 -
scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
一、Request()类的实例化对于爬取普通网站,不需要验证码,不需要登入的界面,我们一般用scrapy.Request类直接去爬取信息就行,下面是Request类的定义:class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None,...原创 2019-06-11 09:04:21 · 3877 阅读 · 0 评论 -
模拟js加密参数,爬取某商城数据
1.查看网页,分析加密参数查看其 form data可以发现,其_sig参数为加密参数,经过请求测试,该参数为必要参数,在每一个携带有用数据的ajax请求中都有该参数,其必然是前端JavaScript代码依据某些参数计算后生成的,要想破解,必须要找到其JavaScript中的实现方式,通过chrome浏览器调试js代码获取该参数生成方式,教程:https://mp.csdn.ne...原创 2020-03-20 14:07:26 · 388 阅读 · 0 评论 -
Chrome浏览器调试js代码步骤
最近在爬取一个商城的商品信息玩,发现需要调试js代码获取参数加密方式,但是发现网上很多介绍使用Chrome调试js代码的文章豆不够详细,对第一次操作的人很不友好,所以自己写一篇,希望帮其他人节约点时间但其请求的form-data中有加密参数(右下角的_sig):很明显,这是一个通过JavaScript生成加密参数的加密方式,且加密方式应该为md5.所以,首要任务是找到生成该参...原创 2020-02-19 14:21:23 · 919 阅读 · 1 评论 -
爬虫中对Request payload传参方式的处理
例:图片右下角就是Request payload其中,Request payload以json格式进行传参,所以在构造模拟请求的时候,也需要用json格式代码:import requestsimport jsonimport jsonpathimport timefrom lxml import etreefrom urllib.parse import url...原创 2019-05-23 08:59:50 · 3991 阅读 · 0 评论 -
安装 browsercookie 模块详细步骤
在安装browsercookie时遇到了不少问题,现在终于解决了,把方法分享下,希望能帮大家节约点时间到此网址上下载压缩包:https://pypi.org/project/browsercookie/#files下载后解压,然后进入解压后目录,打开cmd,进入需要安装模块的虚拟环境,执行:python setup.py install然后进入python环境,执行:...原创 2019-05-09 10:23:09 · 2536 阅读 · 2 评论 -
内置函数eval及安全处理方式ast.literal_eval
内置函数 eval() 及安全处理方式ast.literal_eval()1.eval()功能:将字符串str当成有效的表达式来求值并返回计算结果。eval()官方文档里面给出来的功能解释是:将字符串string对象转化为有效的表达式参与求值运算返回计算结果语法上:调用的是:eval(expression,globals=None, locals=None)返回的是计算结果其中...原创 2019-04-25 15:48:42 · 1391 阅读 · 0 评论 -
用python+selenium做个翻译助手
编程的过程中,不可避免的会遇到不认识的单词,这时候就需要使用谷歌翻译来解决问题了,但是用google翻译查询,查过的单词还要手动保存,不然就没了,十分麻烦,于是决定自己用爬虫做个工具玩玩.思路是:1.模拟访问谷歌翻译,输入需要翻译的文字2.选择要翻译成的语言3.将翻译结果爬取下来再保存1.创建浏览器class Trans(object): def __ini...原创 2019-03-08 17:18:29 · 1986 阅读 · 0 评论 -
百度OCR验证码识别连接
百度OCR验证码识别连接#from aip import AipOcrfrom PIL import Image""" 你的 APPID AK SK """APP_ID = 'xxxxx'API_原创 2018-12-26 09:09:07 · 4906 阅读 · 0 评论 -
django数据迁移1050错误:django.db.utils.InternalError: (1050, "Table 'xxx' already exists")
解决办法:先执行:python manage.py migrate --fake再执行:python manage.py migrate就解决问题了原创 2018-12-26 09:02:29 · 2208 阅读 · 0 评论 -
python3装饰器个人总结
装饰器什么是装饰器?装饰器是一种设计模式,可以在不改变原来函数的基本功能的基础上,给原来的函数添加一些修饰的功能,作用是:可以降低代码的耦合度装饰器的本质就是一个闭包,把一个函数作为参数被装饰函数本身变成了装饰函数被装饰函数名__name__也变成了装饰函数的name名简单的计算时间的装饰器import timedef timer(func): def ...原创 2018-12-27 16:29:30 · 178 阅读 · 0 评论 -
python中retry总结
import requestsfrom retry.api import retry_calldef make_trouble(service, info=None): if not info: info = '' print ('retry..., service: {}, info: {}'.format(service, info)) r =...原创 2018-12-27 16:25:25 · 2000 阅读 · 0 评论 -
Django项目出现: 禁止访问(403),CSRF验证失败,相应中断
CSRF验证失败,相应中断 错误信息为: 查看错误信息,不难发现,我们在上面问题中有一个{% csrf_token %},这是一个网络漏洞,在所有表单提交中,都需要添加并且必须放在format的后面解决办法: 在模板文件中的form表单内添加 {% csrf_token %} 查看Django项目中的settings.py文件中MIDDLEWARE 是否缺少了 ‘d...原创 2018-12-26 16:54:38 · 2253 阅读 · 0 评论 -
Opencv计算机视觉库
OpenCV简介OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。 OpenCV用C++语言编写,它的主要接口也是C++语言,但是依然...原创 2018-07-23 20:23:35 · 1059 阅读 · 0 评论