京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据（完整文件链接在文章最后）

最新推荐文章于 2024-05-09 10:56:45 发布

TXTR

最新推荐文章于 2024-05-09 10:56:45 发布

阅读量651

点赞数 1

文章标签：爬虫

本文链接：https://blog.csdn.net/qingmuao/article/details/131493345

版权

1.简单说明

京东，淘宝，苏宁，亚马逊中国抓取数据，存储到database 并进行分析

2.抓取的DIC

 the_basic_info = {
                    'search_keyword': self.keyword,  "使用的keyword"
                    'last_crawling_timestamp': datetime.now(),    "当前抓取时间"
                    'platform': 'JD',   "抓取平台"
                    'product_name': product_name,    "产品名称"
                    'seller_name': seller_name,   "商家名称"
                    'sku_id': _data_pid,    "产品Id"
                    'default_price': float(final_price),   "最终价格"
                    'final_price': 0,
                    'item_url': _http,  "商品网页地址"
                    'comments_ave_score': float(score_avg),    "商品评分"
                    'comments_count': comment_count,    "商品评论数量"