xpath爬取页面内容保存成文档_使用XPath爬取网页数据

我们以我的博客为例，来爬取我所有写过的博客的标题。

首先，打开我的博客页面，右键“检查”开始进行网页分析。我们选中博客标题，再次右键“检查”即可找到标题相应的位置，我们继续点击右键，选择Copy，再点击Copy XPath，即可获得对应的XPath编码，我们可以先将它保存在一个文本文档中。

我们再多次对各个标题重复以上操作，即可得到关于标题的XPath编码的规律。我们不难看出，对于我的博客的标题的XPath编码格式为“//*[@id="mainContent"]/div/div[n]/div[2]/a”。

又因为我的博客共有2页，所以我们还需找到网页url的规律，经过分析，我们发现格式为'https://www.cnblogs.com/Chen-K/default.html?page='+str(i+1)。

下面便可开始写代码：

importrequestsfrom lxml importetreefor i in range(0,2):

url= 'https://www.cnblogs.com/Chen-K/default.html?page='+str(i+1)

html=requests.get(url)

etree_html=etree.HTML(html.text)

a= etree_html.xpath(&