抓取安宫牛黄丸京东销售数据，请各位大神指教，萌新小白，有很多问题请教各位大神

helloDasim

已于 2023-04-13 21:21:25 修改

阅读量188

点赞数

分类专栏：爬虫 python 文章标签： python excel xpath 爬虫

于 2021-03-25 21:41:30 首次发布

本文链接：https://blog.csdn.net/weixin_51119842/article/details/115219299

版权

本文介绍了使用Python爬虫抓取京东上安宫牛黄丸销售数据的过程，包括请求页面、解析HTML以及保存数据到Excel文件。然而，遇到页面详情信息为空以及无法获取评价总数的问题，作者寻求大神指导如何更深入地抓取这些数据。

摘要由CSDN通过智能技术生成

抓取安宫牛黄丸京东销售数据，请各位大神指教）

该方法爬取结果，在搜索页面下爬取多个产品信息，但是京东页面的细节部分信息内是空的，所以爬取的结果部分为空。同时针对评价总数量这个信息，能力有限，没能爬取到。设想过通过本页面爬取到每个产品的信息编号，在进入单个产品的页面，使用了beautifulsoup方法，爬取不到个别信息，也没弄爬取到信息编号，请各位大神指教！！！


from requests_html import UserAgent
import requests
from bs4 import BeautifulSoup
import xlwt
from lxml import etree

#获取随机请求头
ua = UserAgent().random
header = {
   'User-Agent':ua}

def get_url(page):
    '''
    获取网页地址并返回text文件，为下一步获取网页内容做准备
    :param page: 网页地址的数字规律
    :return: 返回text文件
    '''
    url = 'https://search.jd.com/Search?keyword=%E5%AE%89%E5%AE%AB%E7%89%9B%E9%BB%84%E4%B8%B8&psort=4&suggest=1.def.0.' \
          'base&wq=%E5%AE%89%E5%AE%AB%E7%89%9B%E9%BB%84%E4%B8%B8&' \
          'psort=4&page={page}&s={pages}&click=0'.format(page=(page*2+1),pages=(page*60+1))
    try:
        response = requests.get(url,headers=header)