爬取网页后的抓取数据_3种抓取网页数据方法

1. 正则表达式

(1)

re.findall('<tr id="places_area__row">.*?<td\s*class=["\']w2p_fw["\']>(.*?)</td>', html)

(2)

import re
pattern = re.compile("hello")
#match_list = re.findall(pattern, "hello world! hello") 这个是找全部匹配的,返回列表
match = pattern.match("hello world! hello") #这个是找匹配的,有就返回一个,没有返回None
print(match)

2. BeautifulSoup(bs4)
转Python中使用Beautiful Soup库的超详细教程:http://www.jb51.net/article/65287.htm
from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(html, "html.parser")    #用html解释器对得到的html文本进行解析
>>> tr = soup.find(attrs={"id":"places_area__row"})
>>> tr
<tr id="places_area__row"
  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,我可以为您提供一个简单的示例代码,演示如何使用 Python 爬取汽车之家的数据,并将其解析成 HTML 格式,最后将数据存入 Excel 文件中。 示例代码如下: ``` python import requests from bs4 import BeautifulSoup import xlwt # 请求头信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 要爬取的页面链接 url = 'https://www.autohome.com.cn/car/' # 发送请求,获取页面内容 response = requests.get(url, headers=headers) html = response.text # 解析页面内容,获取需要的数据 soup = BeautifulSoup(html, 'html.parser') car_list = soup.select('.rank-list-ul li') # 创建 Excel 文件 workbook = xlwt.Workbook(encoding='utf-8') worksheet = workbook.add_sheet('car_data') # 写入表头 worksheet.write(0, 0, '排名') worksheet.write(0, 1, '车型') worksheet.write(0, 2, '价格') worksheet.write(0, 3, '评分') # 写入数据 for i, car in enumerate(car_list): # 获取车型信息 name = car.select_one('.rank-list-title a').text price = car.select_one('.rank-list-price').text.strip() score = car.select_one('.rank-list-score').text.strip() # 写入数据 worksheet.write(i+1, 0, i+1) worksheet.write(i+1, 1, name) worksheet.write(i+1, 2, price) worksheet.write(i+1, 3, score) # 保存 Excel 文件 workbook.save('car_data.xls') ``` 注:该示例代码中使用了 requests 库和 BeautifulSoup 库,需要先安装这些库才能运行。另外,爬取网站数据需要遵守相关法律法规,务必谨慎使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值