第十二章避开采集的陷阱-通过request库修改请求头

晴天下雨下雪下冰雹

于 2018-11-07 22:28:34 发布

阅读量162

点赞数

分类专栏： python网络数据采集

本文链接：https://blog.csdn.net/qq_24599703/article/details/83684309

版权

python网络数据采集专栏收录该内容

24 篇文章 1 订阅

订阅专栏

#!/usr/bin/env python
# _*_ coding:utf-8 _*_
#修改请求头p156
import requests
from bs4 import BeautifulSoup

session= requests.session()
headers={
    "User-Agent":"Moziall/5.0 (Macintosh;Intel Mac OS X 10_9_5)AppleWebKit 537.36 (KHTML, like Geoko) Chrome",
    "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
}
url="https://www.whatismybrowser.com/developers/what-http-headers-id-my-broswser-sending"
req=session.get(url,header=headers)
bsObj=BeautifulSoup(req.text)
print(bsObj.find("table",{"class":"table-striped"}).get_text)