RUBY 爬动态页面

对于centos

1.安装chorme客户端以及chromedriver

    curl https://intoli.com/install-google-chrome.sh | bash

    根据chorme版本获取对应版本的chormedriver

    # chorme 版本 google-chrome -version

   具体对应版本可在CNPM Binaries Mirror中查看

  wget ***

  unzip ***文件名

创建符号链接或者直接移动文件
  ln -s /usr/local/chromedriver /usr/bin/chromedriver
  mv chromedriver /usr/bin/chromedriver 

2.添加gem包

  gem 'watir'

3.测试

def test(url)

  browser = Watir::Browser.new :chrome, :switches => %w[--headless]

  browser.goto(url)

  #元素解析

  doc = Nokogiri::HTML.parse(browser.html)

  #可根据页面某些元素是否存在作为页面是否加载完成的依据

  # 例如doc.xpath("//*[@class='loading']")

  # class="loading" 不存在 即页面加载完成

  可设置 while 循环等待

  ***

  ***

rescue => error

ensure
    browser.close

end