AnYeZhiYin

转载 Python的递归深度问题

1、Python默认的递归深度是有限制的，当递归深度超过默认值的时候，就会引发RuntimeError。理论在997.2、解决方法：最大递归层次的重新调整，解决方式是手工设置递归调用深度。import syssys.setrecursionlimit(1000000)#表示递归深度为100w...

原创 urllib requests 常用

import refrom bs4 import BeautifulSoup as bsfrom urllib.request import quoteimport pickleimport requestsimport urllib.requestdef cun(): file = open('','wb') pickle.dump(lian,fil...

原创 python selenium启动常用

from selenium import webdriverimport timefrom selenium.webdriver.common.action_chains import ActionChainsimport refrom selenium.webdriver.common.keys import Keysfrom bs4 import BeautifulSoup as b...

原创 python selenium js操作

#getElementsByName() getElementById() 方法相似，查询元素的 name 属性，id 属性。 getElementsByClassName 返回的是列表js ="var x = document.getElementsByClassName('pv-ask-modal-wrap');x[0].remove();" #删除网页里面第一个class 为pv-...

原创 urllib登录 并访问其它页面

def deng(): url ='http://ce.esnai.net/c/public/userlogin2.jsp' # 通过cookiejar()类构建一个cookieJar对象，用来保存cookie的值 cookie = cookiejar.CookieJar() #通过HTTPCookieProcessor()对象构建一个处理器对...

原创 jd 京东店铺链接获取

def page(): html = browser.page_source html = bs(html,'lxml') cont = html.findAll('div',class_='jPage')[0] ss = len(cont.findAll('a')) d = '//*[@id="J_GoodsList"]/div/a[{0}]'.form...

原创 cookies selenium

from selenium import webdriverimport picklebrowser = webdriver.Chrome()browser.get('https://www.baidu.com/')def cun(x): a = 'cookies.pkl' file = open(a,'wb') pickle.dump(x,file)...

原创 截图 识别指定位置文字

def tu(): browser.get_screenshot_as_file('1.png') img = Image.open("1.png") bo = ('图片左边到元素左边的距离','图片上面到元素上边的距离','图片左边到元素最右边的距离','图片上面到元素最下边的距离') bo= (536,366,660,417) im = img.cro...

原创 https 网址需忽略未经核实的SSL证书认证 open error [SSL: CERTIFICATE_VERIFY_FAILED]

1. 导入Python SSL处理模块import ssl2. 表示忽略未经核实的SSL证书认证context = ssl._create_unverified_context()url = “https://www.12306.cn/mormhweb/”headers = {“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64)...

原创 批量修改文件名 最简单的实现python os

import osdef name() file_dir = r"C:\\Users\\Administrator\\Desktop\\车牌" a = os.listdir(file_dir) for i in a: os.rename(i,i+'.png')#i为原名 print(i+'.png')...

原创 关于代理Ip设置

from selenium import webdriverimport urllib.requestdef urlopen2(url): iplist = '222.186.26.253:888' proxy_support = urllib.request.ProxyHandler({'http':iplist}) opener = urllib.req...

原创 google 图片下载

def xia(url): headers ={} headers['user-agent']='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36' req = urllib.re...

原创 python 自动分析head生成字典

#需要把head 复制到txt里面 一行一个 默认复制就是def head(): ss = open('head.txt') ss = ss.read() ss = ss.split('\n') headers ={} for i in ss: if 'Accept-Encoding' in i or 'accept-encoding' ...

原创 随机生User-Agent代理Ip

import randomimport urllib.requestdef url(url): p ='49.235.246.24:8118' proxy_support = urllib.request.ProxyHandler({'http':p}) opener = urllib.request.build_opener(proxy_support)...

转载 lenium中get_cookies()和add_cookie（）的用法

在用selenium爬取网页的时候，有时候需要登陆，这时候用selenium获取cookie和携带cookie是很方便的，获取cookie可以通过内置的函数get_cookies()，它得到的是一组cookie,是由cookie组成的列表。单个的cookie是字典组成的，所有get_cookies()返回值是由字典组成的列表。dictCookies = browser.get_cookies(...

原创 python selenium截屏

browser.get_screenshot_as_file('1.png') #保存到当前文件夹python selenium截屏

原创 RecursionError: maximum recursion depth exceeded 超过最大递归深度

import syssys.setrecursionlimit(100000) #例如这里设置为十万

原创 scrapy 最简易爬虫

import scrapyfrom bs4 import BeautifulSoup as bs#scrapy crawl quotesclass QuotesSpider(scrapy.Spider): name = "quotes" def start_requests(self): urls = [ 'http:...

原创 指定图片链接识别图片封装函数

import ssl,sysimport base64from PIL import Imagefrom aip import AipOcrimport requestsimport urllib.requestdef tu(url): headers ={} headers['User-Agent']='Mozilla/5.0 (Windows NT 6.1...

原创 python 转码出错封装函数

# 那一个字转码出错 就去掉那一个 这下面是用的gbk 如果是UTF-8需要改def gbk(con): while True: try: content = con.encode('gbk').decode('gbk') return content ...

原创 requests 保持会话

import requestssession = requests.session()url = 'http://www.bzfxw.com/e/member/doaction.php' head = {}head['Accept'] = 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,ima...

原创 python操作无界面的chrome浏览器 无头模式

from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionschrome_options = Options()chrome_options.add_argument('--headless')browser = webdriver.Chrome(options=chrome_opti...

原创 flask表单数据问题 python ImmutableMultiDict类

#从前端提交的数据处理from flask import Flask, render_template, requestimport jsonapp = Flask(__name__)@app.route('/')def student(): return render_template('student.html') #从这个模板我们得到了提交的数据并转向下面的模板@ap...

原创 flask导入一个模板加CSS js

from flask import Flask, redirect, url_for,render_template app = Flask(__name__)@app.route('/')def index(): return render_template('login.html')if __name__ == '__main__': app.run(de...

原创 flask 导入一个模板

from flask import Flask, redirect, url_for,render_template app = Flask(__name__)@app.route('/')def index(): return render_template('login.html')if __name__ == '__main__': app.run(de...

原创 txt 记事本写html 保存中文乱码 转utf-8

原创 flask url 构建

from flask import Flask, redirect, url_forimport timeapp = Flask(__name__)@app.route('/')def hello_world(): return 'hello world'@app.route('/admin')def hello_admin(): return 'Hello Ad...

原创 python3 flask接收数据处理

from flask import Flaskimport time app = Flask(__name__) @app.route('/')def index(): return "Hello pyhon"@app.route('/time')def t(): now = time.strftime("%Y-%m-%d-%H_%M_%S", time.local...

原创 pyton3 flask 增加一个页面

from flask import Flaskimport time app = Flask(__name__) @app.route('/')#默认主页def index(): return "Hello pyhon"@app.route('/time')#二级页 访问http://127.0.0.1:8090/time 会就得到当前时间def t(): now ...

原创 python3 flask一

from flask import Flask #导入模块 app = Flask(__name__) @app.route('/')# 这是一个装饰器 会自动加载下面这个函数 这段代码运行后 访问127.0.0.1：8090 就会得到index()这个函数的值def index(): return "Hello pyhon"if __name__=="__main__":...