定位数据时需要使用浏览器的开发者模式,将鼠标定位停留在对应的数据位置并右击,然后在快捷菜单中选择“检查”命令(这里应浏览器而变,例如我的搜狗浏览器是叫审查元素)
下面的例子采用中国旅游网
接下来右侧会弹出开发者界面,右侧高亮代码对应前面数据位置,在弹出的快捷菜单中选择’Copy’ > 'Copy Selector’命令,便可以自动复制路径,然后粘贴即可
下面放下获取所有头条新闻的代码
import requests
from bs4 import BeautifulSoup #从bs4库中导入Beautiful Soup
url ='http://www.cntour.cn/'
strhtml = requests.get(url)
soup = BeautifulSoup(strhtml.text,'lxml') #lxml解析网页文档
data= soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')
#获取数据,其中select中的参数就是前面获取的路径
print(data)