![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
urllib
执笔写回憶
人生苦短,才学Python!
展开
-
urllib的handler使用以及具名元组namedtuple使用
#!/usr/bin/env python# coding=utf-8# urllib的handler使用# 具名元组参考:https://www.runoob.com/note/25726# namedtuple:具名元组from collections import namedtuplefrom urllib.request import HTTPHandler,build_openerimport sslssl._create_default_https_context = ss.原创 2020-12-09 22:17:49 · 91 阅读 · 0 评论 -
python利用cookiejar和requests.session()模拟登录,访问登录后页面操作
import urllib.requestfrom http import cookiejarfrom urllib import parselogin_url = 'https://pos.XXXXX.com/j_spring_security_check'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.原创 2020-07-06 13:21:18 · 631 阅读 · 0 评论 -
urllib中urlparse使用技巧以及iter_content图片边下边存到硬盘使用
import os,requestsfrom urllib.parse import urlparse# 如果获取的链接地址如下,但是我们只想要问号前面的怎么处理url = 'http://i2.chuimg.com/657f715d4ba2439e91e9e67f1c7026b9_1125w_1488h.jpg?imageView2/1/w/215/h/136/interlace/1/q/90'html = urlparse(url)# ParseResult(scheme='http',.原创 2020-06-29 18:45:56 · 305 阅读 · 0 评论 -
python的urllib实现有道词典简单的英译汉程序
# coding=utf-8import urllib.requestimport urllibimport jsonurllib2 = urllib.requestheaders = {# "Host":"fanyi.youdao.com","User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:56.0) Gecko/20100...原创 2018-06-15 18:05:00 · 461 阅读 · 0 评论 -
urllib爬取百度贴吧贴子页面
# coding:utf-8# 爬取百度贴吧.pyimport urllib.requestimport urlliburllib2 = urllib.requestdef loadPage(url,filename): """ 作用:根据url发送请求,获取服务器响应文件 url:需要爬取的url地址 filename:处理的文件名 """ print("正在下载"+f...原创 2018-07-02 18:22:19 · 386 阅读 · 0 评论 -
urllib简单爬取m3u8地址的所有ts文件并下载
#!/usr/bin/env python# coding=utf-8# 爬取m3u8地址的所有ts文件并下载到"D:/video2/",一般会有几千个文件耐心等待# 下载阿丽塔# https://sohu.zuida-163sina.com/20190223/TnSFbZPj/800kb/hls/jQQWmUN39911775.ts 其中一个ts文件地址# 第一步通过查看源代码可看...原创 2018-07-15 18:00:36 · 9224 阅读 · 0 评论 -
python3处理HTTPS请求 SSL证书验证12306网站
import urllib.request# 1. 导入Python SSL处理模块import sslurllib2 = urllib.request# 2. 表示忽略未经核实的SSL证书认证context = ssl._create_unverified_context()url = "https://www.12306.cn/mormhweb/"headers = {"Us...原创 2018-11-26 12:44:00 · 1052 阅读 · 0 评论 -
Python网络爬虫之ProxyHandler处理器(IP代理设置)
使用代理IP,这是爬虫/反爬虫的第二大招,通常也是最好用的。很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。urllib.request中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义...原创 2019-03-20 16:17:13 · 710 阅读 · 0 评论 -
Python中requests模块对代理IP的有效性验证
#!/usr/bin/env python# coding=utf-8# 代理IP验证有效性# https://www.xicidaili.com/nn/# https://www.kuaidaili.com/free/inha/1/import urllib.requestimport threadingdef isActiveProxy(): url = "htt...原创 2019-03-21 14:03:30 · 1343 阅读 · 0 评论