Python爬虫之BeautifulSoup的使用

首先安装bs4模块，然后调用

from bs4 import BeautifulSoup

以html为例，将get结果解析然后找出需要的元素

content=requests.get(url=list_url,headers=headers).text

result=BeautifulSoup(content,"html.parser")

all_jobs=result.findAll("a",attrs={"id":"openWinPostion"})

实例化时注意说明要解析的文件类型，如"html.parser"

findall方法根据键值对查找所需值