Python爬虫简单爬取京东商品属性数据

昨天有同学让我帮忙写个简单的爬取京东商品属性的数据,要求很简单,500条商品数据就行。
用的
bs4,和requests,没用框架

import requests
from bs4 import BeautifulSoup
import csv

sku = []
for i in range(1, 10):
    print(i)
    res = requests.get('https://list.jd.com/list.html?cat=9987,653,655&page='+str(i)+'&sort=sort_rank_asc&trans=1&JL=6_0_0&ms=10#J_main')
    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all(class_="gl-item")
    print(i)

    for item in items:
        data = item.find(class_='gl-i-wrap j-sku-item')
        sku.append(data['data-sku'])

length = len(sku)
for i in range(length):
    print(i)
    res = requests.get('https://item.jd.com/'+str(sku[i])+'.html')
    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    item = soup.find_all(class_="parameter2 p-parameter-list")[0]

    lis = item.find_all('li')

    with open("/Users/liulingzhi/Desktop/recipe.csv", "a") as csv_file:
        writer = csv.writer(csv_file)
        columns = []
        # 先写入columns_name
        for li in lis:
            columns.append(li.text)
        writer.writerow(columns)


最后爬取的结果是:
在这里插入图片描述

  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值