爬虫selenium 的入门学习

简介： 相信大家在爬取数据的过程中会有遇到反爬的情况，像cookie,session 或者有防盗链 referer这类的反爬手段，这是可以用selenium 这个web程序测试的工具，进行代码来打开浏览器进行数据的获取；

1.相关库和软件的安装及简单的应用

1.1首先安装 pip install selenium

1.2 安装谷歌浏览器驱动 wedriver

           按照对应的版本下载（win32 可以在win64位的运行）				http://npm.taobao.org/mirrors/chromedriver/
           下载好之后将 exe 文件放到谷歌浏览器文件夹的存放位置
            最后将谷歌浏览器所在的文件夹路径  添加到电脑环境变量中

1.3 测试安装是否成功

    from selenium import webdriver    
    from selenium.webdriver import Chrome
    browser = webdriver.Chrome(r'C:\Users\张三\AppData\Local\Google\Chrome\Application\chromedriver.exe') webdriver的路径
    url = 'www.baidu.com'
    browser.get(url)  #打开谷歌浏览器
    html_source = browser.page_source 获取原网页
    html = browser.find_element_by_tag_name("body")
    time.sleep(3)  # 延迟等待，保证网页加载完毕
    常用定位方法：
    find_element_by_id()
    find_elements_by_name()
    find_elements_by_xpath()
    find_elements_by_tag_name()
    find_elements_by_class_name()
    find_elements_by_class_name()
    find_elements_by_link_text("新闻")
  browser.find_element_by_id("kw").send_keys("天下")   # 定位搜索框元素,并输入内容
  browser.find_element_by_id("su").click()  # 定位提交按钮，并点击
  time.sleep(10)  #  延迟加载，让网页先加载完毕
  browser.execute_script("document.documentElement.scrollTop=10000")  # 执行JS脚本，向下滚动
 # browser.quit()  # 退出浏览器
 divs = browser.find_elements_by_xpath('//div[@class="op_exactqa_detail_s_answer_scroll"]/div[1]/div')
  print("天下内容是：",divs)
 for d in divs:
    print(d.text)

获取元素相关的信息： .get_attribute(‘class’) .text .id .tag_name

使元素在后台运行
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("–headless") # 浏览器后台运行
options.add_argument("–disable-gpu") # 使浏览器的gpu失效
webdriver.Chrome(r"chromedriver.exe路径",chrome_options=options) # 将option选项添加到Chrome对象中

目前整理这么多，后续有遇到问题，再进行添加 over