python爬虫 电商网站商品信息爬取

项目背景

需要获取电商网站的某一领域的商品信息数据，为后续项目推进做准备

实现思路

去获取每一个商品的数据首先需要去利用电商网站的搜索，利用关键字得到相关商品信息，由搜索结果去进行信息获取；这里以洗面奶商品举例：

版权问题，去除图片

具体实现

在搜索页面，我们关注的信息是每个商品的商品名称，商品价格，商品uid，商品备注，以及商品网址

step1

由观察可知，电商平台的搜索页面是动态加载的，数据会随着你的下拉而不断地加载出来，为了保证数据获取的完整，我们需要借助selenium模拟浏览器下拉，得到完整的页面；同时借助开发者工具，去定位我们需要的数据所位于的元素位置

step1.1

这里有一个值得注意的点，在获取商品名称时，如果利用xpath去获取时，如果不做针对性处理，很容易导致名称获取不全，甚至无法获取；

原因分析：观察上图可知，在搜索时，我们的关键词在商品中会被标红，且被包裹在更深层的元素标签中，不处理的话，将会使得所获取的商品名称内容缺失

解决方法：查阅了很多资料后，确定了解决方法，即利用xpath取出指定多标签内所有文字text
实现代码如下：

def get_data(html):
    # 创建etree对象
    tree = etree.HTML(html)
    # titles= tree.xpath('//div[@id="J_searchWrap"]//div[@class="gl-i-wrap"]//div[@class="p-name p-name-type-2"]//em')
    # print(len(titles))
    # for title in titles:
    #     print(title.xpath('string(.)').strip())
    lis=tree.xpath('//ul[@class="gl-warp clearfix"]/li')
    for li in lis:
        try:
            title_r=li.xpath('.//div[@class="p-name p-name-type-2"]//em')
            #print(title.xpath('string(.)').strip())
            title=title_r[0].xpath('string(.)').strip()
            title=title.replace('\n','')
            #print(title.replace('\n',''))
            price = li.xpath('.//div[@class="p-price"]//i/text()')[0].strip()  # 价格
            #print(price)
            data_sku = li.xpath('./@data-sku')[0].strip() # 商品唯一id
            #print(data_sku)
            #comment = li.xpath('.//div[@class="p-commit"]//a')  # 评论数
            shop_name = li.xpath('.//div[@class="p-shop"]//a//text()')[0].strip() # 商铺名字
            #print(shop_name)
            icons = li.xpath('.//div[@class="p-icons"]/i/text()') # 备注
            #comment = comment[0] if comment != [] else ''
            icons_n = ''
            for x in icons:
                icons_n = icons_n+ x.replace('\n','')
                icons_n=icons_n+';'
            #print(icons_n)
            detail_url = li.xpath('.//div[@class="p-name p-name-type-2"]/a/@href')[0]  # 详情页网址
            detail_url = 'https:' + detail_url
            #print(detail_url)
            item = [title, price, shop_name,data_sku, icons_n, detail_url]
            print(item)
            sheet.append(item)
        except Exception as e:
            print("错误原因：", e)

step1.2

借助如上思路，我们可以完成对所有商品信息的一个基本获取，实现的具体效果如下：

step2

这一部分，我们利用前述得到的每一个商品url，进入获取每一个商品的所有评论

同样的我们利用开发者工具，观察网页布局，以及文件加载状况，得到加载数据的json文件，
这里以https://club.jd.com/comment/productPageComments.action?&productId=100008054085&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1为例，打开，可看到我们需要的数据信息；

注意：此处json文件不够标准，还需要调整，即删除开头的fetchJSON_comment98(以及结尾的)
通过解析jsonurl内容可知相关参数指代

json文件参数
https://club.jd.com/comment/productPageComments.action?&productId=100008054085&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1

productId=5561746 产品id--利用这个得到网页json
score=0/1/2/3/4/5 产品评价 全部评价/差评/中评/好评/追评
page 页码

由此我们就可以得到我们需要的相关信息，这里我采集了==‘用户名’, ‘用户id’, ‘评论内容’,‘评论时间’==

具体效果如下：

至此我们的爬取工作暂时告一段落。

具体代码

实现代码（如果能star一下就更好了，不胜感激！）