requests
Test_C.
这个作者很懒,什么都没留下…
展开
-
js 破解 cookie获取
import requestsimport reimport execjsurl = 'http://www.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=100000'headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/8.原创 2020-05-18 17:30:18 · 448 阅读 · 0 评论 -
Python requests
Table of Contentsget 请求requests.get()params参数json() 请求的是 json格式的可以调用json()方法添加headers 请求头抓取二进制文件post 请求响应判断请求是否成功高级文件上传cookie 模拟登录SSL证书验证verfiy参数改为False会话维持 session代理设...原创 2018-11-23 00:02:33 · 143 阅读 · 0 评论 -
Python requests 提示:InsecureRequestWarning:
requests 访问https 页面会提示一下内容,不影响结果但是控制台的打印会显示InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en...原创 2018-12-12 14:57:44 · 306 阅读 · 0 评论 -
Python 爬取红酒网站https://www.vivino.com
用到了进程池,代理import requestsimport jsonimport jsonpathimport pymysqlimport queuefrom multiprocessing import Poolimport randomrequests.packages.urllib3.disable_warnings()# 创建连接db = pymysql.c...原创 2018-12-13 17:02:20 · 26701 阅读 · 0 评论 -
Python 爬取手机 豆果美食app存Mongodb
爬虫代码 import requestsimport timeimport jsonimport queuefrom handle_mongo import mongo_infofrom handle_proxy import proxyimport random# 导入线程池模块from concurrent.futures import ThreadPoolExecuto...原创 2019-02-21 20:22:28 · 2028 阅读 · 1 评论 -
Python bs4 解析不对, 更新bs4 库 或 单独调用 Scrapy 的 css 选择器
更新bs4库至4.7.0以上,然后就可以使用了。(推荐)pip install --upgrade beautifulsoup4比如这个规则,bs4 解析不出来, 会报错 需要将nth-child改为 nth-of-type,虽然这样不会报错了,但是解析的位置不对div.show-status > span:nth-child(3)解决方法:调用Scrapy ...原创 2019-03-11 17:16:43 · 931 阅读 · 0 评论 -
Python requests 解决乱码问题
# -*- coding:utf-8 -*-import requestsimport random# 获取内容class Get_content(object): def __init__(self): self.headers = { 'User-Agent': random.choice([ "Mo...原创 2019-05-25 17:44:46 · 329 阅读 · 0 评论 -
Python cchardet 模块解决 html 乱码问题
直接 pip install cchardetimport requestsimport cchardeturl = 'http://zgdysj.com/html/news/20190222/30452.shtml'html = requests.get(url)result = cchardet.detect(html.content)html.encoding...原创 2019-05-30 10:49:58 · 1851 阅读 · 0 评论