【Python爬虫】按时爬取京东几类自营手机型号价格参数并存入数据库

一、最近刚好想换手机，然后就想知道京东上心仪的手机价格如何，对比手机价格如何，以及相应的历史价格，然后就用Python requests+MySQLdb+smtplib爬取相关的数据

二、关于实现的主要步骤：
1、根据京东搜索页面，搜索某型号（如小米手机）的自营手机，得出该型号在京东自营上的链接url
2、根据该url，将小米手机的京东自营的所有种类的url均爬取下来，存在列表或者字典里
3、根据找到的所有商品的url，爬取商品对应的价格，商品的简介
4、将以上相关信息插入数据库，并根据数据库下一条目与上一条目的价格对比，若产品降价了，则发相关email到指定用户进行通知

三、Python实现

1、如何获得京东自营的某型号手机的大类url:

首先，在京东自营上搜索某手机时，出现的结果列表并不会显示该品牌手机的所有型号手机，如可能会显示小米5 黑色32G，但可能不会显示小米5 白色 32G这一型号，这一型号在我们点击小米5 黑色32G链接进入下一级页面后会有相应的链接，所以我们第一步先要爬出所有该品牌的大类链接，再由大类链接去找到所有的该品牌的所有机型。

脚本实现如下：调用webdriver的PhantonJS, 进行JS渲染，从而得到页面的html，再运用正则判断商店名是否为该品牌的自营手机店，从而确定抓取哪些url

 def get_href_list(self, search_url, shop_name):

    '''得到京东某品牌自营的各种乐视手机的型号大类的url列表'''

    dv = webdriver.PhantomJS()
    a = search_url
    dv.get(a)
    time.sleep(4)
    html = dv.execute_script("return document.documentElement.outerHTML")
    aa = open('tey.txt','w+')
    aa.write(html)
    aa.close()
    bb = open('tey.txt' , 'r+')
    bbb = bb.read()
    bb.close()
    re_cmp = re.compile('<li class="gl-item" data-sku="(.*?)"', re.S)
    re_cmp_shop = re.compile('<div class="p-shop"(.*?)</div>', re.S)
    re_cmp_shop2 = re.compile('<a.*?>(.*?)</a>', re.S)
    cc = re.findall(re_cmp , bbb)
    aa = open('tey_1.txt','w+')
    for i in cc:
        aa.write(i + '\n')
    aa.close()
    return_href_list = []
    dd= re.findall(re_cmp_shop, bbb)
    aa = open('tey_2.txt','w+')
    print 'url is %s, shop name is %s'%(search_url,shop_name)
    for jj in range(len(dd)):
        ddd = re.findall(re_cmp_shop2, dd[jj])
        if len(ddd) !=0 and ddd[0] == shop_name :
            return_href_list.append('https://item.jd.com/' + cc[jj] + '.html')
            aa.write(ddd[0] + '\n' + 'https://item.jd.com/' + cc[jj] + '.html' + '\n\n')
    aa.close()
    self.return_list = return_href_list
    return return_href_list

2、抓到大类url后&#x