jupyter 爬虫并且导入文本

一.导入request库和BeautifulSoup库中的bs4库

 二.获取要爬取网页的地址

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48"}

headers是浏览器的参数是为了伪装成浏览器的参数变量

三.查看是否获取浏览器的数据

 

四.获取文本后，对数据进行处理

html.encoding="gbk"                         #设置网页编码格式
bs=BS(html.text)                           #格式化网页
infos=bs.find("div",class_="con_main")           #截取网页要获取的部分
views_list=infos.find_all("p")
wenben=