python（引用selenium中的webdriver来爬取淘宝，天猫信息）

一、爬取淘宝信息

注意：只爬取了一页数据

代码如下：

> #淘宝商品信息
> #引入 selenium 中的webdriver
> #1.创建firefox浏览器对象 from selenium import webdriver import time class TB(object):
>     def __init__(self,keyword):
>         self.keyword = keyword
>     def start_taobao(self):
>         #创建浏览器对象
>         driver =webdriver.Firefox()
>         #打开淘宝网址
>         driver.get('http://www.taobao.com')
>         #通过id找到输入框
>         search_input = driver.find_element_by_id('q')
>         #输入要搜索的关键词
>         search_input.send_keys(self.keyword)
>         #利用class来找到搜索按钮
>         search_btn = driver.find_element_by_class_name('btn-search')
>         #点击搜索按钮
>         search_btn.click()
>         time.sleep(2)
>         #打开文件
>         file_handle = open('%s.txt'%self.keyword,'w',encoding='utf-8')
>         for x in range(1,2):
>             print('正在获取第%s页数据，请稍后。。。。'%x)
>             #for 循环执行五次
>             for x in range(1,11,2):
>                 time.sleep(1)
>                 #把x换算成小数
>                 j = x/10
>                 #拼接让浏览器滚动单位js代码
>                 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f'%j
>                 driver.execute_script(js)
>             #查找当前页所有的商品信息,返回一个列表
>             #电脑 鼠标 键盘。。。class_name('info-cont')
>             #羽绒服  class-name('J_ClickStat')
>             shops = driver.find_elements_by_class_name('info-cont')
>             if len(shops) ==0:
>                 shops = driver.find_elements_by_class_name('J_MouserOnverReq')
>             #for循环输出每一个信息
>             for shop in shops:
>                 #写入文件
>                 file_handle.write(shop.text)
>                 file_handle.write('\n')
>              # 找到下一页，点击
>             # nextpage = driver.find_element_by_link_text('下一页')
>             # nextpage.click()
>             next_li = driver.find_element_by_class_name('next')
>             next_li.click()
>         #关闭文件
>         file_handle.close()
>         #退出浏览器
>         driver.quit()
> #输出 print(__name__)
> #__name__  值为__main__ 表示是从当前文件直接运行
> #__name__ 值为 当前文件名称 表示别的文件引用执行的
> #如果是从当前文件直接运行的，执行以下代码 if __name__ == '__main__':
>     keyword = input('请输入查询的关键词：')
>     tb =TB(keyword)
>     tb.start_taobao()

二、爬取天猫商品信息
代码如下：

from selenium import webdriver
import time
class TM(object):
    def __init__(self):
        # self.keyword = keyword
        pass
    def start_tm(self):
        print('0.天猫主页（www）1.天猫超市(chaoshi)2.喵鲜生（miao）3.医药馆（yao）4.苏宁易购（suning）')
        type = input('请输入您感兴趣的版块，输入对应括号里的拼音：')
        keyword = input('请输入查询的关键词：')
        driver = webdriver.Firefox()
        driver.get('https://%s.tmall.com'%type)
        search_input = driver.find_element_by_id('mq')
        search_input.send_keys(keyword)
        search_btn = driver.find_element_by_css_selector('button[type="submit"]')
        search_btn.click()
        time.sleep(4)
        file_handle = open('%s.txt' % keyword, 'w', encoding='utf-8')
        for x in range(1,5):
            print('正在获取第%s页数据，请稍后。。。。' % x)
            for x in range(1,11,2):
                time.sleep(1)
                j = x/10
                js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
                driver.execute_script(js)
            foods = driver.find_elements_by_class_name('product')
            for food in foods:
                file_handle.write(food.text)
                file_handle.write('\n\n')
            if type =='chaoshi':
                next_li = driver.find_element_by_class_name('page-next')
            else:
                next_li = driver.find_element_by_class_name('ui-page-next')
            next_li.click()
        file_handle.close()
        # 退出浏览器
        driver.quit()
print(__name__)
if __name__ == '__main__':
 
    tm = TM()
    tm.start_tm()

三、汇总（引用上述淘宝，天猫）

# 从class_taobao中引入TaoBao类
from taobao import TB
from tianmao import TM
while 1:
    print('1.淘宝')
    print('2.天猫')
    print('0.退出')
    num = int(input('输入选项：'))
    if num == 1:
        print('欢迎进入淘宝！')
        keyword = input('请输入搜索关键词：')
        tb = TB(keyword)
        tb.start_taobao()
    elif num == 2:
        print('欢迎进入天猫！')
        tm = TM()
        tm.start_tm()
    else:
        break