Python + Selenium 爬虫小记

最近做了一个FGO的英灵素材对照表，素材是参照了FGOWIKI/AppMedia还有爱萌游戏，开头用了一点收集技巧，本来想直接用爬虫，但是没有写过，所以后来基本上算是人工校对了一遍整个数据库..人都要疯。

不过工作完成之后就还是想搞一下爬虫，多一门手艺。现在还在代码完善阶段，记录一点相关的东西，权当开发手记吧。

---

感谢这些文章的指路：

1. Python高级爬虫之动态加载页面的解决方案与爬虫代理
2. 零基础写python爬虫之爬虫编写全记录
3. python爬虫常见问题总结

---

1. Selenium 很强大
   Selenium是我用来解析动态加载网页的利器。
   开头扒一些网页发现没有办法弄下来数据，还以为我自己的方法出了问题，然后发现那部分数据是动态加载的，才想起来现在的网页技术已经日新月异。然后直接搜索【python + 爬虫 + 动态加载】，天都亮了。
   别的就不说了。开头还想按照某个教程用Selenium获取整个网页之后用BeautifulSoup解析，后来发现直接Selenium定位功能太强大，直接就不用BeautifulSoup了。
   按照我的理解的话，BeautifulSoup对静态网页的解析已经很了不起了，Selenium主要是利用了浏览器Driver，把自己当做一个浏览器，所以能够把所有动态加载的东西全部弄下来，就非常方便后面解析了。

2. hidden元素
   是的，我昨天遇到的问题，就是Selenium能够定位到我想获取的元素了，但是并不能获取到具体的数据。然后查了一下，大概就是因为hidden标签的问题。有文章提到说因为Selenium虽然获取了所有代码，但是由于他本质还是基于浏览器，所以浏览器看不到的内容，他也获取不到。
   一个解决方法是，定位内容之后，直接操作为可见，然后再获取值，准备尝试。

TBC