爬虫学习日记（一）

项目放到IDEA一直都跑不出起来，设置了module 各种source也没有用，待解决。

放到MyEcliese后，就可以跑了。

需要解决的问题是：

在stack里面去掉selenium的log，保留InvalidInput的log

刚开始我的做法是：

直接不去抛出这个Exception

好的 我的做法有点蠢

现在开始从重现问题开始：

重现问题也遇到了很多困难，首先要知道重现的是什么问题，打开test有个网址，应该是从里面爬东西。

里面有这么一个输入框，我推测这个爬虫应该是模拟输入，然后爬取信息的，我在stack里面找到了模拟输入的信息：

然后在爬虫中设置了要输入的值：

然而在debug时，并没有出现跟邮件里一样的stack，报了这种错：

debug以后是这一句：

问了东哥,是本地的phantoms没有设置，所以它获取不到，就会报错，开启项目中本地的webdriver测试方法，然后在本地安装phantoms和webdriver（ChromeDriver），期间搜索了一下，phantoms是一个无头浏览器，而selenuim可以模拟用户操作，模拟过程需要一个浏览器驱动。

本地安装完全都东西，设置完以后：

再次debug 出现同样的stack：