python +selenium 爬取淘宝网商品信息

      前几天用python爬取豆瓣关于电影《长城》的影评，发现豆瓣的网页是静态的，心中一阵窃喜。以为对于动态网页了解的不是太多。但是主要是用cookie加headers爬取的。效果还不错，爬取了六七万条网友的评价，后期主要打算研究一下，如何发现那些用户是水军。今天研究了动态网页的爬取，主要是爬取的淘宝网上商品信息。主要是用到了selenium库。

主要是实现一下几个步骤：

 （注释）用到的python库：

import re
import time
import random 
from bs4 import BeautifulSoup
from selenium import webdriver

（1）通过selenium模拟登陆浏览器（我用的是Firefox,其他的浏览器原理也类似。）

       构造火狐模拟浏览器

           firefox_login=webdriver.Firefox() （电脑上如果有火狐的话，或打开一个空白的浏览器网页）

       登陆淘宝账户（用户名，密码）  （注释，必须切换到账户密码登陆下才能这样登陆，万恶的淘宝，现在的登陆页面是先跳转到扫二维码的登陆方式，所以必须要手动切换回来回事通过selenium 模拟切换回密码登陆状态才行），如果有大神可以告诉我一下如何通过二维码登陆哈，万分感激。

      firefox_login.find_element_by_id('TPL_username_1').clear()
      firefox_login.find_element_by_id('TPL_username_1').send_keys(u'用户名')
      firefox_login.find_element_by_id('TPL_password_1').clear()
      firefox_login.find_element_by_id('TPL_password_1').send_keys(u'密码')

       

        点击登陆 按钮实现登陆         

      firefox_login.find_element_by_id('J_SubmitStatic').click()

       OK，现在浏览器已经登陆到自己的淘宝账户了。下一步就是搜索你想要的东西了。

  （2）搜索相应的信