python
文章平均质量分 86
匿名用户9527
这个作者很懒,什么都没留下…
展开
-
某天气网站JS反爬加密破解
逆向某天气网站JS加密,涉及fiddler中间人替换技术/JS加密解密逆向技术等通过fiddler中间人操作改写目标网站部分JS,绕过网站禁止右键/禁止F12/禁止调试(无限debug)等反爬措施目标网站- https://www.aqistudy.cn/historydata/monthdata.php?city=%E5%8C%97%E4%BA%AC由于网站禁止F12和右键,无法查看页面源码,可以鼠标点击网站地址后按F12,这个时候可以打开调试面板查看网站源码但网站出现了无限debug原创 2021-04-23 11:54:20 · 369 阅读 · 0 评论 -
python操作elasticsearch
查询所有数据 # 搜索所有数据es.search(index="my_index",doc_type="test_type") # 或者body = { "query":{ "match_all":{} }}es.search(index="my_index",doc_type="test_type",body=body)转载 2019-02-18 15:16:28 · 402 阅读 · 0 评论 -
Flask+Nginx+tornado=windows部署
文章目录部署环境1.下载及配置Nginx用tornado架起flask app功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导...原创 2019-04-25 11:11:11 · 3263 阅读 · 0 评论 -
发送邮件相关
邮件是通过SMTP(简单邮件传输协议)传送的,python的smtplib模块对smtp协议进行了简单的封装,即smtplib中的SMTP类。通过smtplib模块发送邮件主要分为四个步骤:1、实例化SMTP对象2、连接SMTP服务器3、登录账号4、编辑邮件内容5、发送邮件纯文本邮件先看一个简单的代码例子运行上面的脚本,收到的邮件如下:构造邮件内容...转载 2019-05-29 16:40:03 · 261 阅读 · 0 评论 -
通过selenium获取cookie
from selenium import webdriverimport timeimport jsonoptions = webdriver.FirefoxOptions()dr = webdriver.Firefox(options=options)dr.get('https://cn.bing.com/search?q=objective%20lens%20of%20com...原创 2019-06-19 17:55:03 · 3209 阅读 · 0 评论 -
python异常重试装饰器 retrying
&n...转载 2019-06-25 09:54:31 · 1126 阅读 · 1 评论 -
scrapy 的暂停和重启, 下载卡住,设置超时
scrapy的爬虫在运行时,需要暂时停止运行,并在下一次从暂停的地方继续爬取的方法:1.打开cmd进入虚拟环境,cd到scrapy的main.py目录下;2.在cmd下输入以下命令scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录比如我要运行的spider的name为zhihu,文件夹目录是scrapy目录下的job_info/001(001表示这是一次爬取...原创 2019-07-19 16:55:59 · 565 阅读 · 0 评论 -
pymysql常用操作
插入操作import pymysql# 打开数据库连接db = pymysql.connect(host='localhost', user='root', password='123456', db='python', port=3306)# 使用cursor()方法获取操作游标cursor = db.cursor()# 插入数据# 编写sql查询语句sql_inser...原创 2018-11-28 11:59:14 · 170 阅读 · 0 评论 -
python pandas操作excel表
原始excel表要转换成的excel表代码import pandas as pdclass Daletou(object): def __init__(self): # 读取excel表的哪几列 self.lie = 'A,B,C,D,E,F' # renpan self.ren_wen_pan =...原创 2018-11-27 09:39:52 · 471 阅读 · 1 评论 -
面向对象及异常处理
内置函数 总结:__init__、__del__、__str__、attr系列、item系列、__call__ __str__与__repr__ 使用print/str方法时会自动触发__str__方法,当__str__不存在,尝试__repr__ 使用repr方法时会自动触发__repr__方法 repr方法通常用于返回对象的字符串...原创 2018-09-08 15:32:22 · 147 阅读 · 0 评论 -
python文件操作
文件操作目录管理(os) system:执行系统命令 # 清空屏幕# os.system('cls')# 弹出计算器程序os.system('calc') name:查看系统名称 nt:windows内核 posix:类unix内核 获取环境变量: # print(os.environ['path'])# print...原创 2018-09-08 15:36:35 · 92 阅读 · 0 评论 -
python常用模块
time sleep:休眠指定的秒数(可以是小数) time:获取时间戳(从1970-01-01 00:00:00到此刻的秒数) localtime:将一个时间戳转换为一个对象,对象中包含了所有日期时间信息 # 将时间戳转换为一个对象(包含年月日等信息)# 当不传参数,默认转换当前时间戳local_time = time.localtime()print(lo...原创 2018-09-08 15:41:04 · 71 阅读 · 0 评论 -
邮件与短信
邮件发送 简介: 邮件服务器、账户、密码 相关协议:SMTP、POP3、IMAP 默认TCP协议端口:25 用途:经常用在一个网站的注册激活、通知、找回密码等场景 库:smtplib 示例: import osimport smtplib# 用于邮件发送的类from email.mime.text im...原创 2018-09-08 15:44:23 · 427 阅读 · 0 评论 -
Flask基本概念
Flask入门WEB工作原理 C/S与B/S架构 B/S架构工作原理 客户端(浏览器) <=> WEB服务器(nginx) <=> WSGI(uWSGI) <=> Python(Flask) <=> 数据库(MySQL) 说明:flask自带一个测试的WEB服务器,但是它仅仅适合于测试环境,不能用于生产环...转载 2018-09-08 15:55:26 · 487 阅读 · 0 评论 -
Flask会话控制与模板引擎
会话控制原理cookie 说明: 因为HTTP协议无状态无连接的特点,导致一个用户在同一网站做连续操作,需要不断的提供身份信息;为了解决这个问题,我们可以通过cookie携带特定的信息加以解决。当首次访问网站时设置cookie信息,以后每次再访问该网站时,浏览器会自动携带cookie信息。 使用: from flask import Blueprint, req...转载 2018-09-08 15:56:52 · 110 阅读 · 0 评论 -
xpath与soup
# 练习数据抽取import re, requests, jsonfrom bs4 import BeautifulSoupimport lxml.html"""c = re.compile(r"([/]+)(\S+)")re_data = "GET /index.html HTTP/1.1"m = c.search(re_data)print(m.group(2))...原创 2018-10-11 22:45:12 · 541 阅读 · 0 评论 -
python中的赋值与深浅拷贝
from copy import copy, deepcopya = [1, 2, 3, 4, ['a', 'b']] # a = [1, 2, 3, 4, ['a', 'b']]b = a # b = [1, 2, 3, 4, ['a', 'b']]c = copy(a) # c = [1...原创 2018-10-13 17:53:12 · 170 阅读 · 0 评论 -
python里的多线程
面向过程创建线程import threadingimport timedef sing(a): # threading.current_thread().name:创建线程时name的值 print('线程为:{},接收过来的参数为:{}'.format(threading.current_thread().name,a)) for x in range(1,...原创 2018-11-10 10:57:46 · 139 阅读 · 0 评论 -
python调用百度图片文字识别接口
# 登录百度api应用页面获取下面三相内容APP_ID = 'xxxxx'API_KEY = 'xxxxxxx'SECRET_KEY = 'xxxxxxx'class BaiduImg(): def __init__(self, img_path): self.img_path = img_path # 传入图片地址 """ 读取图片 """ ...原创 2018-11-20 17:08:43 · 1451 阅读 · 1 评论 -
python+selenium
转载自 https://blog.csdn.net/huilan_same/article/details/52305176 更多关于python selenium的文章,请关注我的专栏:Python Selenium自动化测试详解用selenium做自动化,有时候会遇到需要模拟鼠标操作才能进行的情况,比如单击、双击、点击鼠标右键、拖拽...转载 2018-11-20 10:40:48 · 105 阅读 · 0 评论 -
正则表达式
正则表达式应用场景特定规律字符串的查找替换切割等 邮箱格式、URL、IP等的校验 爬虫项目中,特定内容的提取使用原则只要是能够使用字符串函数解决的问题,就不要使用正则 正则的效率较低,还会降低代码的可读性 提醒:正则是用来写的,不是用来读的;在不知道功能的情况下,不要试图阅读别人的正则。基本使用说明:正则的解析处理是由re模块完成 相关函数: match:从开头进...原创 2018-09-08 15:26:27 · 90 阅读 · 0 评论