python爬虫显示无此模板_Python如何解决源代码与检查元素不一致的爬虫问题

针对源代码和检查元素不一致的网页爬虫——利用Selenium、PhantomJS、bs4爬取12306的列车途径站信息

整个程序的核心难点在于上次豆瓣爬虫针对的是静态网页，源代码和检查元素内容相同；而在12306的查找搜索过程中，其网页发生变化(出现了查找到的数据)，这个过程是动态的，使得我们在审查元素中能一一对应看到的表格数据没有显示在源代码中。这也是这次12306爬虫和上次豆瓣书单爬虫的最大不同点。

选择使用Selenium的PhantomJS模拟浏览器爬取源代码，这样获取到的datas包含了我需要的(查找搜索出的)途径站数据。

暂时把整个程序分为了这几个部分：

(1)提取列车Code和No信息；

(2)找到url规律，根据Code和No变化实现多个网页数据爬取；

(3)使用PhantomJS模拟浏览器爬取源代码；

(4)用bs4解析源代码，获取所需的途径站数据；

(5)用csv库存储获得的数据。

整体使用面向过程的书写方式。

(1)values_get()函数实现了从已有存储了列车信息的csv中逐次提取Code和No。(在这里有点刻意追求面向过程的函数，设置了每次提取都openfile再close。所以使用了tell一次readline完的游标位置，再seek次游标位置到下一次提取位置，实现关闭file后仍然可以接着上一次结束的seek位置继续操作)

(2)olddriver()函数包含PhantomJS和bs4两个部分。利用format来控制多个url，用PhantomJS、driver代替requests爬取网页源代码driver.get(url)。service_args可以配置模拟浏览器(优化加速)，set_page_load_timeout()和set_script_timeout()+try except('window.stop()')设置超时(还未用上，存疑)，最后用driver.quit()关闭使用完的PhantomJS避免内存爆炸。*这里存在很多优化模拟浏览器的方法，除了上述的配置、超时、quit，还包括在循环外提前打开PhantomJS来实现程序运行时间加速等方法，笔者还未理解透这些方法。这里贴出优化的参考链接：