【requests模块与proxy、SSL、cookies】、【正则表达式re】

一、requests模块添加代理(proxy)
1.创建IP字典

free_proxy = {
   "http":"114.239.146.120:8080"}

2.发送请求时添加参数

response = requests.get(url=url, headers=headers, proxies=free_proxy)

二、requests忽略https证书认证(SSL)
1.解决方法是,告诉WEB,忽略证书访问—>即在.get()中加入一个"verify=False "

response = requests.get(url=url,headers=headers,verify=False)

三、requests添加cookies
1.方法1:自己正常登陆以后,浏览器F12模式查看cookies,字典推导式如下:

cookies = "acw_tc=707c9fc415815143279416875e64708ad537dbc18b1c9469bf54a1a02852b3; Hm_lvt_65968db3ac154c3089d7f9a4cbb98c94=1581515213; _ga=GA1.2.9064578.1581515213; _gid=GA1.2.665383367.1581515213; Hm_lpvt_65968db3ac154c3089d7f9a4cbb98c94=1581515673; _gat=1; yaozh_userId=846266; UtzD_f52b_saltkey=vBMBqweB; UtzD_f52b_lastvisit=1581512079; yaozh_uidhas=1; acw_tc=707c9fc415815143279416875e64708ad537dbc18b1c9469bf54a1a02852b3; UtzD_f52b_ulastactivity=1574583715%7C0; UtzD_f52b_creditnotice=0D0D2D0D0D0D0D0D0D731654; UtzD_f52b_creditrule=%E6%AF%8F%E5%A4%A9%E7%99%BB%E5%BD%95; _ga=GA1.1.554708831.1581515692; _gid=GA1.1.926646725.1581515692; PHPSESSID=g77pr35g8rbspqsfs07b7uu4r3; yaozh_mylogin=1581595814; UtzD_f52b_creditbase=0D0D6D0D0D0D0D0D0; UtzD_f52b_lastact=1581595"
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
requests和beautifulsoup都是Python中常用的网络爬虫库。正则表达式则是一种用于匹配、搜索、替换字符串的强大工具。这三者可以结合使用,以实现更加高效、灵活的网络爬取任务。 在requests中,可以使用正则表达式来提取页面中的特定信息。例如,假设我们要获取某个网站中所有图片的链接,可以使用requests发送请求,并使用正则表达式匹配页面中所有img标签的src属性: ``` import requests import re url = 'https://www.example.com' response = requests.get(url) pattern = re.compile('<img.*?src="(.*?)".*?>') img_urls = pattern.findall(response.text) ``` 在上述代码中,我们使用了re.compile()函数将正则表达式编译成一个正则对象,然后使用findall()函数在页面中查找所有匹配的字符串。 而在beautifulsoup中,可以使用正则表达式来进行更加复杂的页面解析。例如,假设我们要获取某个网站中所有包含class属性为"article"的div标签的内容,可以使用beautifulsoup提供的find_all()函数,并结合正则表达式进行筛选: ``` from bs4 import BeautifulSoup import requests import re url = 'https://www.example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') pattern = re.compile('^article$') articles = soup.find_all('div', {'class': pattern}) ``` 在上述代码中,我们使用re.compile()函数将正则表达式编译成一个正则对象,然后将其作为find_all()函数的参数,用于筛选class属性为"article"的div标签。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值