当下,爬虫技术已经成为了互联网数据获取的重要手段之一。本文将介绍一种常用的爬虫技术 - 使用Python中的Requests和BeautifulSoup库进行网页爬取。
首先,我们需要安装两个Python库:Requests和BeautifulSoup。可以使用pip命令在命令行中安装:
```
pip install requests
pip install beautifulsoup4
```
接下来,我们以爬取某电商网站商品信息为例子,演示如何使用这两个库进行网页爬取。
1. 确定目标URL
首先,我们需要确定要爬取的目标URL。假设我们想要爬取某电商网站上所有的手机商品页面,我们可以先找到该网站的商品列表页的URL,例如:
```
https://www.example.com/mobiles
```
2. 发送请求
使用Requests库发送请求获取商品列表页的HTML代码。在Python中,可以使用以下代码实现:
```python
import requests
url = 'https://www.example.com/mobiles'
response = requests.get(url)
if response.status_code == 200:
html = respon