#encoding=utf-8
import requests
import re
from bs4 import BeautifulSoup
import json
import xlwt
import xlrd
DATA= []
goods = raw_input('请输入您想要进行比价的商品名称(如:果冻包)\n>>>')
#获取第一个页面的所有与python有关的数据信息
# url = 'https://s.taobao.com/search?q=python'
url = 'https://s.taobao.com/search?q={}&bcoffset=6&ntoffset=6&p4ppushleft=1%2C48&s=0'.format(goods)
r = requests.get(url, timeout = 30)
#获取html页面
html = r.text
#获取json数据
content = re.findall(r'g_page_config = (.+?)g_srp_loadCss', html, re.S)[0].strip()[:-1]
# 格式化json数据
content = json.loads(content)
#信息列表
dataList = content['mods']['itemlist']['data']['auctions']
#提取数据
for item in dataList:
temp = {
'raw_title': item['raw_title'],
'view_price': item['view_price'],
'view_sales': item['view_sales'],
'view_fee': '否' if float(item['view_fee']) else '是',
'isTmall': '是' if item['shopcard']['isTmall'] else '否',
'view_loc': item['item_loc'],
'name': item['nick'],
'detail_url': item['detail_url']
}
DATA.append(temp)
# print len(DATA)
#cookie保持
cookies = r.cookies
#获取剩余的12条数据
url2 = 'https://s.taobao.com/api?_ksTS=1531540228441_814&callback=jsonp815&ajax=true&m=customized&q={}&ntoffse
python2.7爬虫实现淘宝指定商品信息输出到excel中进行比价
最新推荐文章于 2023-03-30 00:02:23 发布
本文介绍如何使用Python2.7编写爬虫,从淘宝网站抓取指定商品的价格、评价等关键信息,并将数据整理成Excel表格,便于进行比价和市场分析。通过requests库获取网页内容,BeautifulSoup解析HTML,pandas处理数据并导出到Excel。
摘要由CSDN通过智能技术生成