python爬虫——当当网商品比价爬虫

最新推荐文章于 2025-02-11 12:11:37 发布

过气久远

最新推荐文章于 2025-02-11 12:11:37 发布

阅读量1.3k

点赞数 2

分类专栏： python爬虫与信息提取

本文链接：https://blog.csdn.net/weixin_42596724/article/details/87546104

版权

本文介绍了如何使用Python爬虫从当当网抓取商品比价信息。由于淘宝网需要登录，京东的HTML结构复杂，选择当当网作为目标。通过requests库获取网页源代码，再利用正则表达式解析商品名称和价格。每页有60个商品，通过re.findall()获取数据并处理列表内容。此外，还提到了在搜索过程中对文字进行gb2312编码的重要性。

摘要由CSDN通过智能技术生成

因为淘宝网需要登录，而京东的html比较奇怪，所以最后选取了当当网

技术路线

requests——re

#CrowDangDangPrize.py
import requests
import re
import urllib
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parsePage(ls,html):
    try:
        pls=re.findall(r'now\_price\"\>\&yen\;[\d\.]+',html)
        nls=re.findall(r"alt\=\'.*?\'",html)
        for i in range(len(pls)):
            price=eval(pls[i].split(';')[1])
            name=eval(nls[i].split("=")[1])
            ls.append([price,name])