python爬虫爬取中关村在线电脑以及参数数据

已于 2023-10-17 09:26:22 修改
阅读量2k 收藏 4
点赞数
分类专栏： python 文章标签： python 爬虫 电脑
于 2023-08-20 20:42:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45179361/article/details/132395733
版权

一. 内容简介

python爬虫爬取中关村在线电脑以及参数数据

二. 软件环境

2.1vsCode

2.2Anaconda

version: conda 22.9.0

三.主要流程

3.1 代码

解析都在代码里面

# 接口分析
# 原始接口，后面几个数字就是占位的，每个位置代表着不同的标签
# https://detail.zol.com.cn/notebook_index/subcate16_0_list_1_0_99_2_0_1.html
# https://detail.zol.com.cn/notebook_index/subcate16_0_list_1_0_99_2_0_3.html
# https://detail.zol.com.cn/notebook_index/subcate16_牌子_list_1_上市时间_99_排列方式_0_页码.html
# 联想 在中间加了160
# https://detail.zol.com.cn/notebook_index/subcate16_160_list_1_0_1_2_0_1.html
# 华为 在中间加了613
# https://detail.zol.com.cn/notebook_index/subcate16_613_list_1_0_1_2_0_1.html
# https://detail.zol.com.cn/notebook_index/subcate16_613_list_1_0_1_1_0_1.html
# 联想游戏本
# https://detail.zol.com.cn/notebook_index/subcate16_160_list_1_s1227_1_2_0_2.html
! pip install lxml

import urllib.request
from lxml import etree
import json
# 牌子,电脑类型,上市时间
def createRequext(brand,model,time,startPage):
    if brand == "华为":
        brand = "613"
    if brand == "联想":
        brand = "160"
    if brand == "惠普":
        brand = "223"
    if brand == "戴尔":
        brand = "21"

    if model == "游戏本":
        model = "s1227"
    if model == "商务本":
        model = "s1226"

    if time == "2022年下半年":
        time = "s10097-"
    if time == "2023年上半年":
        time = "s10098-"
    url = "https://detail.zol.com.cn/notebook_index/subcate16_" + brand +"_list_1_"+ time +  model +"_1_1_0_"+ str(startPage) +".html"

    # 调试使用
    print(url)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
    }
    request = urllib.request.Request(url=url,headers=headers)
    return request

# 获取网页源码
def getContent(request):
    response = urllib.request.urlopen(request)
    # 中关村在线,编码格式采用GBK,返回头里面写了这个编码方式
    content = response.read().decode('GBK')
    # print(content)
    return content

# 下载数据
def downLoad(content):
    tree = etree.HTML(content)
    # 注释的是读取多列样式的，没注释是按行读取的

    # # 获取名字,把括号后面的内容裁掉
    # nameList = tree.xpath("//ul[@id='J_PicMode']//a/img/@alt")
    # for index,name in enumerate(nameList):
    #     pos = nameList[index].find("(")
    #     if pos != -1: 
    #         nameList[index] = nameList[index][0:pos]   
    #     pos = nameList[index].find("（")
    #     if pos != -1: 
    #         nameList[index] = nameList[index][0:pos]      
    #     pos = nameList[index].find("/")
    #     if pos != -1: 
    #         nameList[index] = nameList[index].replace('/', '_')
    #     # print(nameList[index])

    # # 获取图片链接，懒加载,
    # imgList = tree.xpath("//ul[@id='J_PicMode']//a/img")
    # for index,img in enumerate(imgList):
    #     # 拿到图片初始链接，并覆盖，原来并不能直接拿到.src属性
    #     imgList[index] = img.get('.src')
    #     # print(imgList[index])
    
    # 获取名字
    nameList = tree.xpath("//div[@class='list-box']//a//img/@alt")
    for index,name in enumerate(nameList):
        pos = nameList[index].find("(")
        if pos != -1: 
            nameList[index] = nameList[index][0:pos]   
        pos = nameList[index].find("（")
        if pos != -1: 
            nameList[index] = nameList[index][0:pos]      
        pos = nameList[index].find("/")
        if pos != -1: 
            nameList[index] = nameList[index].replace('/', '_')
        print(nameList[index])

    # 获取图片链接，这个没有懒加载,
    imgList = tree.xpath("//div[@class='list-box']//a//img/@src")
    for index,img in enumerate(imgList):
        print(imgList[index])

    params = []
    # 获取详细参数
    paramList = tree.xpath("//div[@class='list-box']//a[@class='more']/@href")
    for index,param in enumerate(paramList):
        # https://detail.zol.com.cn/1397/1396968/param.shtml
        paramList[index] = "https://detail.zol.com.cn" + param
        # print(index,paramList[index])
        param = laptopDetails(paramList[index])
        param["name"] = nameList[index]
        param["img"] = imgList[index]
        params.append(param)
  
    # # 下载
    # for i in range(len(nameList)):
    #     name = nameList[i]
    #     img = imgList[i]
    #     print(str(i) + ":::" + name +" "+ img)
    #     urllib.request.urlretrieve(url=img,filename="./img/"+name+".jpg")

    
    # 将列表数据转换为JSON格式字符串
    json_data = json.dumps(params, indent=4)  # indent参数可选，用于格式化输出

    # 将JSON数据写入文件
    with open("data.json", "a") as json_file:
        json_file.write(json_data)

    print("JSON数据已保存到文件")

brand = "华为" # "华为" "联想" "惠普" "戴尔" 
model = "商务本" # "游戏本" "商务本"
time = "2022年下半年" # "2023年上半年" "2022年下半年"
with open("data.json", "w") as json_file:
    print("清空data数据")
startPage = 1
request = createRequext(brand,model,time,startPage)
content = getContent(request)
downLoad(content)
tree = etree.HTML(content)
num = tree.xpath("//span[@class='total']//b//text()")
endPage = int(int(num[0])/48) + 1
print(endPage)

for page in range(startPage+1,endPage+1):
    # 请求对象定制
    request = createRequext(page)
    # 获取网页源码
    content = getContent(request)
    # 下载数据
    downLoad(content)
    # 下载完成
    print("下载完成!!!")


def laptopDetails(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
    }
    request = urllib.request.Request(url=url,headers=headers)
    response = urllib.request.urlopen(request)
    # 中关村在线,编码格式采用GBK,返回头里面写了这个编码方式
    content = response.read().decode('GBK')
    tree = etree.HTML(content)
    # 定义数据
    param = {
    # 处理器 cpu型号，核心数/线程数/频率
        "cpu":{ 
            "model":"",
            "frequency":"",
            "thread":""
        },
        # 存储设备 内存类型，内润荣含量，硬盘容量ssd
        "memory":{
            "memorySize":"",
            "memoryType":"",
            "diskSize":"",
            "diskType":"",
        },
        # 显示器 尺寸，分辨率，秘鲁
        "screen":{
            "size":"",
            "ratio":"",
            "refresh":"",
            "detail":""
        },
        # 显卡 型号
        "gpu":{
            "model":""
        },
        # 接口
        "i_o":{
            "dataIo":"",
            "videoIo":"",
            "soundIo":"",
            "otherIo":""
        }
    }
    # 读取cpu数据,第二张表
    num = tree.xpath("//table[2]//tr")
    for index in range(len(num)):
        left = tree.xpath("//table[2]//tr["+str(index+1)+"]//th//a/text()")
        if not left:
            # 当 left 为空时执行的操作
            left = tree.xpath("//table[2]//tr["+str(index+1)+"]//th//span/text()")

        right = tree.xpath("//table[2]//tr["+str(index+1)+"]//td//a/text()")
        if not right:
            # 当 right 为空时执行的操作
            right = tree.xpath("//table[2]//tr["+str(index+1)+"]//td//span/text()")
        # print(left,right)
        if index == 0:
            continue
        if left[0] == 'CPU型号':
            if right[0]:
                # 当 right[0] 不为空时执行的操作
                param["cpu"]["model"] = right[0]
            # print(param["cpu"]["model"])
        if left[0] == 'CPU主频':
            if right[0]:
                param["cpu"]["frequency"] = right[0]
        if left[0] == '最高睿频':
            if right[0]:
                param["cpu"]["frequency"] = param["cpu"]["frequency"] + "/" + right[0]
        if left[0] == '核心/线程数':
            if right[0]:   
                param["cpu"]["thread"] = right[0]


    # 读取memory数据,第三张表
    num = tree.xpath("//table[3]//tr")
    for index in range(len(num)):
        left = tree.xpath("//table[3]//tr["+str(index+1)+"]//th//a/text()")
        if not left:
            # 当 left 为空时执行的操作
            left = tree.xpath("//table[3]//tr["+str(index+1)+"]//th//span/text()")

        right = tree.xpath("//table[3]//tr["+str(index+1)+"]//td//a/text()")
        if not right:
            # 当 right 为空时执行的操作
            right = tree.xpath("//table[3]//tr["+str(index+1)+"]//td//span/text()")
        # print(left,right)
        if index == 0:
            continue
        if left[0] == '内存容量':
            if right[0]:
                param["memory"]["memorySize"] = right[0]
            # print(param["cpu"]["model"])
        if left[0] == '内存类型':
            if right[0]:
                param["memory"]["memoryType"] = right[0]
        if left[0] == '硬盘容量':
            if right[0]:
                param["memory"]["diskSize"] =  right[0]
        if left[0] == '硬盘描述':
            if right[0]:
                param["memory"]["diskType"] = right[0]


    # 读取screen数据,第四张表
    num = tree.xpath("//table[4]//tr")
    for index in range(len(num)):
        left = tree.xpath("//table[4]//tr["+str(index+1)+"]//th//a/text()")
        if not left:
            # 当 left 为空时执行的操作
            left = tree.xpath("//table[4]//tr["+str(index+1)+"]//th//span/text()")

        right = tree.xpath("//table[4]//tr["+str(index+1)+"]//td//a/text()")
        if not right:
            # 当 right 为空时执行的操作
            right = tree.xpath("//table[4]//tr["+str(index+1)+"]//td//span/text()")
        # print(left,right)
        if index == 0:
            continue
        if left[0] == '屏幕尺寸':
            param["screen"]["size"] = right[0]
            # print(param["cpu"]["model"])
        if left[0] == '屏幕分辨率':
            param["screen"]["ratio"] = right[0]
        if left[0] == '屏幕刷新率':
            param["screen"]["refresh"] =  right[0]
        if left[0] == '屏幕技术':
            param["screen"]["detail"] = right[0]


    # 读取gpu数据,第五张表
    num = tree.xpath("//table[5]//tr")
    for index in range(len(num)):
        left = tree.xpath("//table[5]//tr["+str(index+1)+"]//th//a/text()")
        if not left:
            # 当 left 为空时执行的操作
            left = tree.xpath("//table[5]//tr["+str(index+1)+"]//th//span/text()")

        right = tree.xpath("//table[5]//tr["+str(index+1)+"]//td//a/text()")
        if not right:
            # 当 right 为空时执行的操作
            right = tree.xpath("//table[5]//tr["+str(index+1)+"]//td//span/text()")
        # print(left,right)
        if index == 0:
            continue
        if left[0] == '显卡类型':
            if right[0]:
                param["gpu"]["model"] = right[0]
            # print(param["cpu"]["model"])


    # 读取i_o数据,第八张表
    num = tree.xpath("//table[8]//tr")
    for index in range(len(num)):
        left = tree.xpath("//table[8]//tr["+str(index+1)+"]//th//a/text()")
        if not left:
            # 当 left 为空时执行的操作
            left = tree.xpath("//table[8]//tr["+str(index+1)+"]//th//span/text()")

        right = tree.xpath("//table[8]//tr["+str(index+1)+"]//td//a/text()")
        if not right:
            # 当 right 为空时执行的操作
            right = tree.xpath("//table[8]//tr["+str(index+1)+"]//td//span/text()")
        # print(left,right)
        if index == 0:
            continue
        if left[0] == '数据接口':
            if right[0]:
                param["i_o"]["dataIo"] = right[0]
            # print(param["cpu"]["model"])
        if left[0] == '视频接口':
            if right[0]:
                param["i_o"]["videoIo"] = right[0]
        if left[0] == '音频接口':
            if right[0]:
                param["i_o"]["soundIo"] = right[0]
        if left[0] == '其他接口':
            if right[0]:
                param["i_o"]["otherIo"] = right[0]
    # print(param["cpu"])
    # print(param["memory"])
    # print(param["screen"])
    # print(param["gpu"])
    # print(param["i_o"])
    return param

# laptopDetails("https://detail.zol.com.cn/1399/1398668/param.shtml")

3.2 结果展示

这是保存到数据，用json保存的

[
    {
        "cpu": {
            "model": "Intel \u9177\u777fi5 12500H",
            "frequency": "2.5GHz/4.5GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR4X\uff08\u4f4e\u529f\u8017\u7248\uff09",
            "diskSize": "512GB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1\uff0c\u83b1\u8335TUV\u65e0\u9891\u95ea\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a1\u00d7USB Type-C\uff0c1\u00d7Thunderbolt4",
            "videoIo": "HDMI>",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook 14s 2022",
        "img": "https://i0-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/00/03/ChMkK2NbjVqIcP9XAAALk4AEbQIAAJAUgAr3VsAAAur116.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777f i7 1260P",
            "frequency": "2.1GHz/4.7GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR5\uff08\u4f4e\u529f\u8017\u7248\uff095200MHz>",
            "diskSize": "1TB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "10.7\u4ebf\uff0c\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a2\u00d7Thunderbolt4",
            "videoIo": "",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook X Pro 2022 12\u4ee3\u9177\u777f\u7248",
        "img": "https://i3-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/0B/09/ChMkLGLhSFOIRKdBAAALdLA0Z58AAFt-gOySAoAAAuM163.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777f i7 1260P",
            "frequency": "2.1GHz/4.7GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR5\uff08\u4f4e\u529f\u8017\u7248\uff095200MHz>",
            "diskSize": "512GB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "10.7\u4ebf\uff0c\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a2\u00d7Thunderbolt4",
            "videoIo": "",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook X Pro 2022 12\u4ee3\u9177\u777f\u7248",
        "img": "https://i4-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/0B/09/ChMkK2LhSFOIPYUUAAALdLA0Z58AAFt-gOxCakAAAuM444.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777fi5 12500H",
            "frequency": "2.5GHz/4.5GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR4X\uff08\u4f4e\u529f\u8017\u7248\uff09",
            "diskSize": "1TB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1\uff0c\u83b1\u8335TUV\u65e0\u9891\u95ea\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a1\u00d7USB Type-C\uff0c1\u00d7Thunderbolt4",
            "videoIo": "HDMI>",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook 14s 2022",
        "img": "https://i3-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/00/03/ChMkLGNbjVqIa9TpAAALk4AEbQIAAJAUgAvYeAAAAur503.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777fi5 12450H",
            "frequency": "2GHz/4.4GHz",
            "thread": "\u516b\u6838\u5fc3/\u5341\u4e8c\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR4X\uff08\u4f4e\u529f\u8017\u7248\uff09",
            "diskSize": "512GB>",
            "diskType": ""
        },
        "screen": {
            "size": "16\u82f1\u5bf8",
            "ratio": "1920x1200",
            "refresh": "60Hz>",
            "detail": "DC\u8c03\u5149\uff0c\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a1\u00d7USB2.0\uff0c1\u00d7USB3.2",
            "videoIo": "HDMI>",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook D 16 SE",
        "img": "https://i4-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/03/03/ChMkLGNiH-qIP2kgAAANdGksIagAAJMHQP-tPgAAA2M174.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777fi7 12700H",
            "frequency": "2.7GHz/4.7GHz",
            "thread": "14\u6838\u5fc3/20\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR4X\uff08\u4f4e\u529f\u8017\u7248\uff09",
            "diskSize": "1TB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1\uff0c\u83b1\u8335TUV\u65e0\u9891\u95ea\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a1\u00d7USB Type-C\uff0c1\u00d7Thunderbolt4",
            "videoIo": "HDMI>",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook 14s 2022",
        "img": "https://i0-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/00/03/ChMkK2NbjVuIWbqqAAALk4AEbQIAAJAUgAwiIsAAAur286.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777fi5 1240P",
            "frequency": "1.7GHz/4.4GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR5\uff08\u4f4e\u529f\u8017\u7248\uff095200MHz>",
            "diskSize": "512GB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "10.7\u4ebf\uff0c\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a2\u00d7Thunderbolt4",
            "videoIo": "",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook X Pro 2022 12\u4ee3\u9177\u777f\u7248",
        "img": "https://i3-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/0B/09/ChMkK2LhSFOIA3P8AAALdLA0Z58AAFt-gOyL2oAAAuM369.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777f i7 1260P",
            "frequency": "2.1GHz/4.7GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR5\uff08\u4f4e\u529f\u8017\u7248\uff095200MHz>",
            "diskSize": "1TB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "10.7\u4ebf\uff0c\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a2\u00d7Thunderbolt4",
            "videoIo": "",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook X Pro 2022 \u5fae\u7ed2\u5178\u85cf\u7248",
        "img": "https://i0-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/0B/09/ChMkLGLhSFWIACpsAAAL26BNorcAAFt-gO2DjYAAAvz796.jpg"
    },
    {
        "cpu": {
            "model": "Intel \u9177\u777f i7 1260P",
            "frequency": "2.1GHz/4.7GHz",
            "thread": "12\u6838\u5fc3/16\u7ebf\u7a0b"
        },
        "memory": {
            "memorySize": "16GB",
            "memoryType": "LPDDR5\uff08\u4f4e\u529f\u8017\u7248\uff095200MHz>",
            "diskSize": "512GB>",
            "diskType": "SSD\u56fa\u6001\u786c\u76d8>"
        },
        "screen": {
            "size": "14.2\u82f1\u5bf8",
            "ratio": "\u66f4\u591a\u8d85\u9ad8\u6e05\u5c4f\u7b14\u8bb0\u672c>",
            "refresh": "90Hz",
            "detail": "10.7\u4ebf\uff0c\u83b1\u8335TUV\u786c\u4ef6\u7ea7\u4f4e\u84dd\u5149\u8ba4\u8bc1"
        },
        "gpu": {
            "model": "\u96c6\u6210\u663e\u5361>"
        },
        "i_o": {
            "dataIo": "\u5de6\u4fa7\uff1a2\u00d7Thunderbolt4",
            "videoIo": "",
            "soundIo": "\u8033\u673a/\u9ea6\u514b\u98ce\u4e8c\u5408\u4e00\u63a5\u53e3",
            "otherIo": ""
        },
        "name": "HUAWEI MateBook X Pro 2022 \u5fae\u7ed2\u5178\u85cf\u7248",
        "img": "https://i0-prosmall-fd.zol-img.com.cn/t_s160x120/g7/M00/0B/09/ChMkK2LhSFSIcUniAAAL26BNorcAAFt-gO2AkMAAAvz046.jpg"
    }
]
+++.
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 抓取网页数据
nifengxiangdewo的博客
06-06 727
利用python进行简单的数据分析 在中关村在线进行抓取数据，所使用的网页是这个页面http://detail.zol.com.cn/cell_phone_index/subcate57_0_list_0-1000_0_7_2_0_1.html 1、首先要进行分析网页的HTML，我们所要抓取的数据是根据销量排名的手机信息，所以主要需要抓取手机的型号、价格、销量，按照“由小见大”的方法来
中关村手机爬虫
05-18
爬取页面手机信息，并且通过mysql进行插入。方便查询！
Python BeautifulSoup和Requests爬虫爬取中关村手机资料
weixin_47008635的博客
05-23 904
** 一、事前准备 ** 目标：爬取www.zol.com.cn的收集资料，各种参数 库：BeautifulSoup和requests。对BeautifulSoup库的find和find_all有基本的了解，对requests库的get方法有基本的了解。 原网页面分析： 网址：（第一页）http://detail.zol.com.cn/cell_phone_index/subcate57_0_list_1_0_1_1_0_1.html 页面元素：鼠标右键→审查元素→“Elements”→刷新页面→就可以看到
python爬取中关村手机信息
weixin_40902563的博客
04-09 2044
需要环境：python3.x，requests，pandas， lxml，re 在这里我爬取了中关村手机信息的手机型号、手机图片、参考价格、京东价格、CPU型号、后置摄像头像素、前置摄像头像素、电池容量以及屏幕尺寸 #!/usr/bin/python3 # -*- coding:utf-8 -*- # Author:ChenYuan import requests from lxml import...
python爬虫学习 - 查看显卡价格
不惧神风的博客
07-15 1219
这是一个简单的爬虫项目，用于从中关村网站上爬取显卡报价数据，后续可以考虑爬取相关的参数信息让数据更立体。数据的保存使用的是json，以python为主要开发语言。这个项目纯粹玩玩儿，不会使用什么现有的框架，只要能动就好。
Scrapy框架爬虫初探——中关村在线手机参数数据爬取
weixin_30955341的博客
01-05 496
关于Scrapy如何安装部署的文章已经相当多了，但是网上实战的例子还不是很多，近来正好在学习该爬虫框架，就简单写了个Spider Demo来实践。作为硬件数码控，我选择了经常光顾的中关村在线的手机页面进行爬取，大体思路如下图所示。 1 # coding:utf-8 2 import scrapy 3 import re 4 import os 5 import sqli...
多进程爬虫爬取中关村在线壁纸（速度相当快）
梅花14的博客
06-29 398
"中关村在线图片，汽车类的，http://desk.zol.com.cn/qiche/1.html" import requests from bs4 import BeautifulSoup as bs from concurrent import futures imgnum = 0 base_url = "http://desk.zol.com.cn/bizhi" def get_pa...
网络爬虫之re和beautifulsoup结合实战之中关村手机资料爬取--傻瓜式写法(通俗易懂,请对比我的第一篇文章)
qq_40523096的博客
03-20 533
改进后的代码是我朋友写的,老少咸宜,通俗易懂. 我们只是分析没办法像真正的程序员那样把代码写的更加的优雅,简单,还请各位看官优化,改进.
Python网络爬虫实战10：爬取中关村在线首页“今日焦点”的头条新闻列表
简时刻的博客
06-17 628
1. 网页源码 2. 代码实例 3. 运行结果
python爬虫爬取网页表格数据
12-25
用python爬取网页表格数据，供大家参考，具体内容如下 from bs4 import BeautifulSoup import requests import csv import bs4 #检查url地址 def check_link(url): try: r = requests.get(url) r.raise_for_...
python 爬虫 爬取国家统计局 行政区数据
03-21
运行即可 生成数据库插入数据 insert into province(name,code,type,parent_code) values (北京市,110000000000,1,000000000000); 最好分线程下载
python爬虫爬取网页数据并解析数据
09-24
主要介绍了python爬虫如何爬取网页数据并解析数据，帮助大家更好的利用爬虫分析网页，感兴趣的朋友可以了解下
Python爬虫爬取电影票房数据及图表展示操作示例
09-17
主要介绍了Python爬虫爬取电影票房数据及图表展示操作,结合实例形式分析了Python爬虫爬取、解析电影票房数据并进行图表展示操作相关实现技巧,需要的朋友可以参考下
【hackmyvm】Slowman靶机
woshicainiao666的博客
05-20 1849
发现/secretLOGIN/login.html为登录地址，根据账号密码登录发现一个zip，但是需要密码。在FTP中得到的账号，爆破一下SSH。上传linpeas.sh文件，报一下。SSH爆破无果，试试mysql。得到用户名和加密的密码。
python中用“*”运算符复制列表时子列表实际上引用的是同一个列表，列表和嵌套列表的坑
ThreeS_tones的博客
05-21 1191
当你修改了一个子列表的元素时，所有的子列表都会随之改变。因为他们实际上都是同一个子列表的引用。输出如下，可以看到每个子列表中的第5个元素相同，并没有实现从0.8-1.2分布。先看一个例子，我想改变load的子列表中第五个元素，从0.8-1.2分布。的时候，Python实际上。
深入理解Python中None和““的区别
最新发布
m0_54701273的博客
05-27 302
在Python的世界里，None和空字符串""经常被用作默认值或用于表示缺省值的情况。尽管它们在某些语境下似乎可互换，但实际上None和""在Python中有着根本的区别。
《Python编程从入门到实践》day36
m0_37565294的博客
05-22 1707
我们要编写一个名为“学习笔记”的Web应用程序，让用户能够记录感兴趣的主题，并在学习每个主题的过程中添加日志条目。django-admin startproject learning_log . # 新建一个名为learning_log的项目，末尾的句点让新项目使用合适的目录结构。运行命令ls，其输出表明Django有创建一个db.sqlite3.SQLite使用一种使用单个文件的数据库。# 包含4个文件（settings.py、urls.py、wsgi.py、__init__.py）
python爬虫爬取中关村在线
08-22
你可以使用Python来编写爬虫程序，来爬取中关村在线的网页内容。以下是一个简单的示例代码，演示如何使用Python的 requests 和 BeautifulSoup 库来实现爬虫功能： ```python import requests from bs4 import BeautifulSoup # 目标网址 url = 'http://www.zol.com.cn/' # 发送GET请求获取网页内容 response = requests.get(url) # 解析HTML内容 html = response.text soup = BeautifulSoup(html, 'html.parser') # 找到需要爬取的数据 # 这里以爬取新闻标题为例 news_titles = soup.find_all('h3', class_='news-title') # 输出新闻标题 for title in news_titles: print(title.text) ``` 这是一个简单的示例，你可以根据需求自行修改和扩展。请确保你遵守网站的爬虫规则，并尊重相关法律法规。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值