pythonfromlxml导入html_Python爬虫日记二：使用lxml解析HTML输出对应值

一、前言

今天我要做的是爬取凤凰网资讯的一个即时新闻列表的标题和对应链接，很简单的requests与lxml练习，同时使用xpath。贴出网址：http://news.ifeng.com/listpage/11502/0/1/rtlist.shtml

凤凰资讯.png

二、运行环境

系统版本

Windows10 64位

Python版本

Python3.6 我用的是Anaconda集成版本

IDE

PyCharm 学生可以通过edu邮箱免费使用，不是学生的朋友可以试试社区版。

三、分析

解析HTML常用方式有BeautifulSoup,lxml.html,性能方面lxml要优于BeautifulSoup，BeautifulSoup是基于DOM的，会解析整个DOM树，lxml只会局部遍历。

Paste_Image.png

python3网络请求常用的有自带的urllib，第三方库requests，使用起来requests还是比urllib更简单明了，而且requests有更强的功能。

四、实战

首先导入今天需要的模块requests，lxml.html。

import requests

import lxml.html

然后url是目标网址，html保存着这个网页的文本内容，这时候需用lxml来解析它，这样才能提取我们需要的数据。

url = 'http://news.ife