怎么用来编写网页_Python爬虫之用lxml库解析网页

1.爬虫是什么

所谓爬虫,就是按照一定的规则,自动的从网络中抓取信息的程序或者脚本网络,又被称为网页蜘蛛,网络机器人。万维网就像一个巨大的蜘蛛网,我们的爬虫就是上面的一个蜘蛛,不断的去抓取我们需要的信息。

2.爬虫三要素

  • 抓取
  • 分析
  • 存储

3.爬虫的过程分析

当人类去访问一个网页时,是如何进行的?
  ①打开浏览器,输入要访问的网址,发起请求。
  ②等待服务器返回数据,通过浏览器加载网页。
  ③从网页中找到自己需要的数据(文本、图片、文件等等)。
  ④保存自己需要的数据。

对于爬虫,也是类似的。它模仿人类请求网页的过程,但是又稍有不同。
  首先,对应于上面的①和②步骤,我们要利用python实现请求一个网页的功能。
  其次,对应于上面的③步骤,我们要利用python实现解析请求到的网页的功能。
  最后,对于上面的④步骤,我们要利用python实现保存数据的功能。
  因为是讲一个简单的爬虫嘛,所以一些其他的复杂操作这里就不说了。下面,针对上面几个功能,逐一进行分析。

4.如何用python请求一个网页

作为一门拥有丰富类库的编程语言,利用python请求网页完全不在话下。

4.1.抓取网页

  • urllib.request库使用
import urllib.request response = urllib.request.urlopen('https://laoniu.blog.csdn.net/')print(response.read().decode('utf-8'))

这样就可以抓取csdn我的主页的html文档

我们使用爬虫就是需要在网页中提取我们需要的数据,接下来我们来学习抓取一下百度搜索页的热榜数据

4693a9fad7d96e72d3ce63e37c97c9ac.png

4.2.如何解析网页呢

使用lxml库

lxml 是一种使用 Python 编写的库,可以迅速、灵活地处理 XML 和 HTML。

它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT),并且实现了常见的 ElementTree API。

安装

  • windows下安装
#pip方式安装pip3 install lxml #wheel方式安装 #下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxmlpip3 install lxml-4.2.1-cp36-cp36m-win_amd64.whl
  • linux下安装
yum install -y epel-release libxslt-devel libxml2-devel openssl-devel pip3 install lxml

环境/版本一览:

  • 开发工具:PyCharm 2020.2.3
  • python:3.8.5

4.3.编写代码

import urllib.requestfrom lxml import etree # 获取百度热榜url = "https://www.baidu.com/s?ie=UTF-8&wd=1"# 我们在请求头加入User-Agent参数,这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求,防止被识别为爬虫程序请求导致直接拒绝访问req = urllib.request.Request(url=url, headers={    'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'})# 发起请求html_resp = urllib.request.urlopen(req).read().decode("utf-8")

到这里我们可以顺利获取百度的搜索页面html文档

我门需要看一下热搜排行榜的标签元素在哪里

c14aa4fc66cbe9cb2a35dbd52a69d77e.png
c27d79a0c1d384088f70df2eb06ca2e9.png

找到第一条 右键复制 XPath (后边说XPath是什么)

1f787bd8e0a5f68ceee45b2bf9315661.png

我们需要了解并使用XPath,XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。

复制的内容结果是://*[@id="con-ar"]/div[2]/div/div/table/tbody[1]/tr[1]

这xPath字符串 表示现在在html定位的位置就是热点新闻第一行内容

5.XPath常用规则

表达式描述nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点..选取当前节点的父节点@选取属性*通配符,选择所有元素节点与元素名@*选取所有属性[@attrib]选取具有给定属性的所有元素[@attrib='value']选取给定属性具有给定值的所有元素[tag]选取所有具有指定元素的直接子节点[tag='text']选取所有具有指定元素并且文本内容是text节点

6.继续分析

那么我们要获取所有的热点新闻该怎么写呢

继续看网页

d196a9df5b283afc5997dbd2724b9f83.png

可以看到所有的热榜分别在三个之下

修改一下刚才复制的XPath

//*[@id="con-ar"]/div[2]/div/div/table/tbody[1]/tr[1] 改为 //*[@id="con-ar"]/div[2]/div/div/table/tbody/tr

这样XPath就会定位到这三个tbody下的所有tr元素内容

我们继续看一下tr是不是我们想要的内容,展开一个tr看看

a2ca52e3a921219ec85a671bf976459c.png

这里还有一堆,

e658013d1449c3e84dc2ccb0491f24c3.png

这该怎么办。我们需要拿到数据是 【标题】 【访问链接】 【热度】,现在手里已经拿到的是所有的tr元素

紧接着从tr下手 直接 拿到下面所有标签的标题与超链接

标题的XPath: */a/@title 超链接的XPath: */a/@href

*表示匹配tr下的所有元素 /a是在*找到第一个a标签 @是属性选择器 title和href就是要选择的素属性了

还剩下个热度,let‘s me 继续操作,直接选择tr下的第二个td XPath: td[2]

分析完毕,把完整的代码贴出来

import urllib.requestfrom lxml import etree # 获取百度热榜 url = "https://www.baidu.com/s?ie=UTF-8&wd=1"# 我们在请求头加入User-Agent参数,这样可以让服务端认为此次请求是用户通过浏览器发起的正常请求,防止被识别为爬虫程序请求导致直接拒绝访问req = urllib.request.Request(url=url, headers={        'User-Agent': 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'    })html_resp = urllib.request.urlopen(req).read().decode("utf-8")html = etree.HTML(html_resp)#初始化生成一个XPath解析对象_list = html.xpath("//*[@id='con-ar']/div[2]/div/div/table/tbody/tr")print(f"article count : {len(_list)}") for tr in _list:    title = tr.xpath("*/a/@title")[0]  # 获取url的title    href = tr.xpath("*/a/@href")[0] # 获取url的href    hot = tr.xpath("string(td[2])").strip() # 获取热度    print(f"{hot}{title}https://www.baidu.com{href}")

点击运行,程序员就跑起来了,很快啊,数据全都过来了,我全都接住了,我笑了一下。

3314b9b5f77c9f3c5620780b022b2321.png

到此就完成了lxml xpath的基本使用,更详细的xpath教程请看 :https://www.w3school.com.cn/xpath/index.asp

7.存储数据

紧接着存储数据,修改一下代码

print(f"article count : {len(_list)}") with open('g_data.text', 'w') as f:  # 在当前路径下,以写的方式打开一个名为'g_data.text',如果不存在则创建    for tr in _list:        title = tr.xpath("*/a/@title")[0]  # 获取url的title        href = tr.xpath("*/a/@href")[0]  # 获取url的href        hot = tr.xpath("string(td[2])").strip()  # 获取热度        line = f"{hot}{title}https://www.baidu.com{href}"        f.write(line)  # 写入文件
c15b2553f7592158eed734468561911e.png

8.补充

感谢大家阅读!!!

多说一句,很多人学Python过程中会遇到各种烦恼问题,没有人解答容易放弃。小编是一名python开发工程师,这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值