![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
~喬~
这个作者很懒,什么都没留下…
展开
-
pip清华源
python环境在安装源文件时使用默认安装很慢,使用国内清华源速度比较快,地址如下:# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gevenhttps://pypi.tuna.tsinghua.edu.cn/simple原创 2022-05-10 11:26:49 · 412 阅读 · 0 评论 -
汽车之家口碑页面字体解密
注意: 汽车之家不同页面的字体反爬也不一样, 看清楚能不能适用这里有大佬教程,非常详细:转载:https://blog.csdn.net/blbq105/article/details/85274676# -*- coding: utf-8 -*-import reimport requestsfrom html import unescapefrom fontTools.ttLib import TTFontfrom bs4 import BeautifulSoupclass Ca转载 2022-02-17 18:03:54 · 520 阅读 · 0 评论 -
Xpath和re常用语法
【代码】Xpath和re常用语法。原创 2021-07-28 19:37:54 · 455 阅读 · 0 评论 -
爬虫-笔记
1. requests hookrequests中的hook机制, 让我们用来请求得到响应之后去做一些自定义的操作比如打印某些信息、修改响应内容等。具体用法见下面的例子:import requests# 钩子函数1def print_url(r, *args, **kwargs): print("raw_url "+r.url)# 钩子函数2def change_url(r, *args, **kwargs): r.url = 'http://change.url' p原创 2022-01-14 11:12:16 · 1141 阅读 · 0 评论 -
python调用js样例
1. 正常jsfunction (acc, code) { return acc + code; };2. js嵌套2.1function foo() { var bar = function (acc, code) { return acc + code; }; return bar;}function doencodeacc(acc, code) { return foo()(acc, code);}2.2fu原创 2022-01-13 17:51:30 · 234 阅读 · 0 评论 -
python调用js
1. 正常调用import execjsprint(execjs.eval("'red yellow blue'.split(' ')"))ctx = execjs.compile(""" function add(x, y) { return x + y; } """)print(ctx.call("add", 1, 2))2. 当js需要调用其他模块或者需要使用windows对象2.1 js修改在js前面加上const jsdom原创 2022-01-13 17:33:30 · 930 阅读 · 0 评论 -
phantomjs动态转换ip
phantomjs动态转换ipfrom selenium import webdriverfrom selenium.webdriver.common.proxy import Proxyfrom selenium.webdriver.common.proxy import ProxyTypefrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesfrom ip import get_ipip2转载 2022-01-07 14:29:45 · 172 阅读 · 0 评论 -
python转js加密(sha1,base64)
1. js var e = (new Date).toGMTString(), t = "AKIDdlutrcn7F4j62Fskwqbiqrki3q3j40r1vjjw", n = 'hmac id="' + t + '", algorithm="hmac-sha1", headers="x-date", signature="', i = de.HmacSHA1("x-date: " + e, "DqRkSBUCyBklYlwA0pCK7TVdNaSgFp4yAk2G6bcI")原创 2021-12-02 13:34:45 · 278 阅读 · 0 评论 -
seleniumwire简单使用
seleniumwire简单使用import timefrom seleniumwire import webdriverfrom io import BytesIOimport gzipoptions = webdriver.ChromeOptions()# 防止出现报错:'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte options.add_argument('lang=zh_CN.UTF-8')原创 2021-12-01 17:52:32 · 4632 阅读 · 1 评论 -
requests.session登录样例+图形验证
requests.session登录案例+图形验证import jsonimport randomimport re, requests, timefrom lxml import etreefrom faker import Factoryfrom PIL import Imageimport pytesseractfrom hashlib import md5class Wkaskci(object): def __init__(self): self.se原创 2021-11-23 15:04:42 · 580 阅读 · 0 评论 -
pyppeteer 使用案例
pyppeteer 使用案例import timefrom asyncio import sleep, get_event_loopimport requestsfrom pyppeteer import launchfrom random import randomfrom re import compile, Sfrom faker import Factoryclass TaoBaoSpider: def __init__(self): self.width原创 2021-11-19 13:50:19 · 216 阅读 · 0 评论 -
状态码412,521,cookie包含__jsl_clearance参数
状态码412,521,cookie包含__jsl_clearance=参数最近做爬虫碰见状态码为412和521的网站,分享一下经验样例网站: http://kjj.hefei.gov.cn/public/column/2971?sub=&catId=6718761&nav=3&action=list&type=4&pageIndex=11.headers参数用postman检测了一下,发现只需要UA,Host,Cookie参数![在这里插入图片描述](htt原创 2021-08-21 15:12:40 · 1853 阅读 · 4 评论 -
python时间常用技巧
python时间常用技巧1. 字符串时间互减from datetime import datetimeformat_pattern = "%Y-%m-%d"start_date = "2021-07-27"end_date = "2021-07-30"difference = (datetime.strptime(end_date, format_pattern) - datetime.strptime(start_date, format_pattern))print(difference原创 2021-07-30 10:28:29 · 131 阅读 · 0 评论 -
Element转HTML和HTML清洗标签
Element转HTML和HTML清洗标签Element转htmlfrom html.parser import HTMLParserfrom lxml import etree, htmlimport requestsresponse = requests.get('https://www.baidu.com')html_element = etree(response) html_text = html.tostring(html_element [0],encoding='utf-8'原创 2021-07-29 10:35:44 · 760 阅读 · 0 评论 -
Pyppeteer和Flask问题,服务器部署Requests_html问题,多线程调用pyppeteer或requests_html问题
Pyppeteer和Flask问题,服务器部署Requests_html问题,多线程调用pyppeteer或requests_html问题flask的debug模式下调用pyppeteer的冲突多线程调用pyppeteer或requests_html问题centos 8部署pyppeteer和requests_html的问题1. flask 运行 Pyppeteer 报错 “signal only works in main thread”puppeteer在初始化launch时,必须增加以下的参原创 2021-06-04 15:36:58 · 703 阅读 · 0 评论 -
Python连接ActiveMQ的操作(当前最新版)
Python连接ActiveMQ的操作最近工作需要用到多台主机数据传输,考虑过用socket,数据库,队列,最后决定还是用队列,但是发现网上关于ActiveMQ的代码要么是很早以前的了,要么是解释不够清楚,最后找了很多资料把他们合在一起1.配置JDK环境,安装ActiveMQActiveMQ 由于是基于Java开发的,所以必须先配置JDK环境,这里我分享一下我的,直接下载就行了下载链接:https://pan.baidu.com/s/1tOS9ucdcYwkzzzlTNt9M3Q提取码:z07原创 2021-03-31 20:05:39 · 2114 阅读 · 3 评论