爬虫 利用webdriver 爬取豆瓣电影标签

这几天复习了下爬虫  发现用webdeiver 这个自动化测试工具，爬取一些小量的资料特表好用 

# _*_ coding:utf-8 _*_
import time
import requests
import requests
from selenium import webdriver

from bs4 import BeautifulSoup
driver = webdriver.Chrome() #
driver.get('https://movie.douban.com/');
element =  driver.find_element_by_name("search_text")
dianyin = "前任3"
element.send_keys(dianyin)
element = driver.find_element_by_xpath('//*[@id="db-nav-movie"]/div[1]/div/div[2]/form/fieldset/div[2]/input').click()

try: 
    element = driver.find_element_by_xpath('//*[@id="root"]/div/div[2]/div[1]/div[1]/div[1]/div[1]/div/div[1]/a').click()
    biaoqian = driver.find_element_by_xpath('//*[@id="content"]/div[2]/div[2]/div[4]/div').text
    print(biaoqian)
    title = driver.title 
    print(title)
except:
    print("未发现此电影") 

这个也可以写成一个方法，类似于接口类型的，电影的名字可以传递进来，这样 你就可以在外面使用这个接口了，传递电影的名字 得到电影的豆瓣标签

有时候我们使用xpath 时 对元素的定位可能不太熟练准确 ，我建议使用谷歌浏览器 ，按F12  找到你要抓取的资料