- 博客(7)
- 收藏
- 关注
RSS订阅原创 Python爬取百度翻译
import requestsimport jsonclass BaiDu(object): #数据初始化 def __init__(self,word): self.url = 'https://fanyi.baidu.com/sug' self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.
2021-09-15 19:26:52
230
原创 超时函数timeout的使用
超时参数timeout的使用为了避免给一个服务器的请求请求不上而耗费大量时间，python爬虫需要用timeout来设置最长请求时间，若在此时间内不响应，这抛出错误。用法：response = requests.get(url , timeout = 3)...
2021-09-15 09:00:32
1474
原创 Python爬虫使用verify忽略CA证书
使用verify参数忽略CA证书用法response = requess.get(url,verify=False)CA:CA是证书的签发机构,CA是负责签发证书、认证证书、管理已颁发证书的机关。有警告但不是错误
2021-09-15 08:55:14
486
原创 理解使用代理的过程
理解使用代理的过程代理IP是一个ip，指向的是一个代理服务器作用是转发请求正向代理和反向代理知不知道最终服务器作为判断依据代理ip（代理服务器）的分类透明代理 可以通过代理知道是谁发的请求匿名代理 目标服务器可以知道发请求的是代理ip，但是不知道是谁发的请求高匿代理 无法发现你是不是代理服务器发的请求协议httphttpssocks 快 少用proxies代理参数的使用用法response = reques.get(url,proxi
2021-09-15 08:52:22
144
原创 python字典
# 字典+ 由键值对组成的数据集合+ 键必须是不可变类型+ 映射类型；键和值是对应的+ 字典的key是不可变对象+ 字典中可以用insect（1（1.2中间），100（插入100））+ 字典中的元素是无序的+ 空字典dict｛｝# 字典的定义+ 1.使用{} + vardict = {‘a’ ：1}+ 使用dict()函数惊醒定义 + vardict = dict('name'='wzs')+ 数据类型的转换 + vardict = dict([['a',.
2021-09-14 18:40:20
72
原创 字典的学习
字典由键值对组成的数据集合键必须是不可变类型映射类型；键和值是对应的字典的key是不可变对象字典中可以用insect（1（1.2中间），100（插入100））字典中的元素是无序的空字典dict｛｝字典的定义 1.使用{}vardict = {‘a’ ：1}使用dict()函数惊醒定义vardict = dict(‘name’=‘wzs’)数据类型的转换vardict = dict([[‘a’,1][‘b’,2]])字典的操作字典不能加减乘
2021-09-14 18:38:50
129
原创 爬虫Day1
1.https更安全，但是性能较低 2.http超文本传输协议，默认端口号是80 3.https （http+ssl安全套接字层） 默认端口号443 + 常见的请求头与响应头 请求头 host 域名 connection （链接类型） Upgrade-Insecure-Requests（升级为HTTPS请求） User-Agent（羊皮，伪装）: Mozi...
2021-09-12 22:23:29
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人