爬取苏宁易购信息(面向对象)

用面向对象的编码流程爬取苏宁易购的信息

苏宁这些电商的网站的信息比较难爬,这此的代码虽然能跑,但是数据并没有什么意义。所以只是单纯做一个面向对象爬虫编码流程的例子来看就行了

代码部分

由于数据没啥意义,我就不分析太多,就给一下代码结构

import requests
from lxml import etree
import re
import time
import random
import json
from threading import Thread
爬取的显示器信息
class suningyigou_xianshiqi:
    def __init__(self):
    	一级页面的url和header
        self.base_url='https://search.suning.com/%E6%98%BE%E7%A4%BA%E5%99%A8/'
        self.headers={
            'cookie':'tradeMA=153; _snvd=1562723206160qSoKxpaIKaN; cityCode=010; districtId=10106; SN_CITY=10_010_1000000_9017_01_10106_4_0; cityId=9017; hm_guid=ce0aaaae-fe4d-4aa1-9ba1-7e70ae28e1e5; _df_ud=6da0cab1-eba8-4cd3-98a1-ba10868aec5a; sesab=ACAABAABC; sesabv=21%2C12%2C7%2C1%2C27%2C4%2C3%2C13%2C1; _device_session_id=p_b1bbbd3b-f8b3-4d13-b7f2-1dcafcad5968; _cp_dt=2078567d-4ff6-4376-b8ec-ab628a6001ba-80762; smhst=11111694969|0070173683a10438194621|0070065374a10513218921|0000000000a10594804783|0000000000a10595298698|0000000000a10953412205|0000000000a624028690|0000000000a611060036|0000000000a176388030|0000000000a11065605279|0070206613a11062757099|0070096931a11020306635|0000000000a10612947274|0000000000a11094690320|0000000000a10543336275|0000000000a10866741753|0070094154a11062150148|0000000000a11094690756|0000000000a10545423591|0000000000a10529864744|0000000000; _snmc=1; _snsr=baidu%7Cbrand%7C%7Ctitle%7C%25E8%258B%258F%25E5%25AE%2581*%3A*; _snma=1%7C156272320516157993%7C1562723205161%7C1562831049426%7C1563777768284%7C54%7C5; _snmp=156377776733152643; _snmb=156377776829622193%7C1563777768320%7C1563777768296%7C1; authId=si5C1BCA16F0D1EECA117DD9B16B38FA4F; _snzwt=THm2h316c186b1caaD48d75e1; secureToken=5137A82DE473D2C6C21ED35A80B79E05; _snck=156377778728776642',
            'referer':'https://www.suning.com/?utm_source=baidu&utm_medium=brand&utm_campaign=title',
            'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
        }
	这个是得到第一页的中的商品的列表页的html
    def get_list_page(self):
        html=requests.get(url=self.base_url,headers=self.headers).text
        return html
	这是得到翻页后的商品的列表页html
    def get_more_list_page(self,x,y):
        url='https://search.suning.com/emall/searchV1Product.do?keyword=%E6%98%BE%E7%A4%BA%E5%99%A8&ci=258011&pg=01&cp='+x+'&il=0&st=0&iy=0&isDoufu=1&isNoResult=0&n=1&sesab=ACAABAABCA&id=IDENTIFYING&cc&#
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值