python商城爬虫简单数据

python基于商城项目共享爬虫数据（仅供参考）

商城项目的数据如果你去一个一个输入测试，会很麻烦，这里我整理了爬取的一个商城网站的
数据，里面包括男装，女装，数码等列表，工作量较大，这里我简单的爬取了女装的部分数据！！！！！！！！！！！！！！！！！！！！！！

爬虫数据，.json文件

文件内容

如何使用

导入pycharm，使用自己写的工具类去得到代码内容

#coding=utf-8
from goods.models import *
from django.db.transaction import atomic  #事务

@atomic
def test_model():
    with open('utils/jiukuaijiu.json') as fr:
        import json
        datas = json.loads(fr.read())
        for data in datas:


            cate = Category.objects.create(cname=data['category'])

            _goods = data['goods']

            for goods in _goods:
                good = Goods.objects.create(gname=goods['goodsname'], gdesc=goods['goods_desc'],
                                            price=goods['goods_price'], oldprice=goods['goods_oldprice'],
                                            category=cate)
                sizes = []
                for _size in goods['sizes']:
                    if Size.objects.filter(sname=_size[0]).count() == 1:
                        size = Size.objects.get(sname=_size[0])
                    else:
                        size = Size.objects.create(sname=_size[0])
                    sizes.append(size)

                colors = []
                for _color in goods['colors']:
                    color = Color.objects.create(colorname=_color[0], colorurl=_color[1])
                    colors.append(color)

                for _spec in goods['specs']:
                    goodsdetails = GoodsDetailName.objects.create(gdname=_spec[0])
                    for img in _spec[1]:
                        GoodsDetail.objects.create(goods=good,gdname=goodsdetails,gdurl=img)

                for c in colors:
                    for s in sizes:
                        Inventory.objects.create(count=100,goods=good, color=c, size=s)

希望对你有帮助