爬虫
@公瑾
这个作者很懒,什么都没留下…
展开
-
利用selenium爬取boss直聘
正在通过boss直聘求职,然后见网上有需求boss直聘的职位大数据的,就简单写了一下,发现boss直聘的反爬机制还是比较友好的,首先不需要登陆就可以获取所有的职位信息,其次如果想要避过boss反爬成功访问,使用selenium完全可以直接访问,也就意味着如果使用requests的话,只要仿造一下请求头就可以完成,其中需要注意一下的是,boss直聘对爬虫此类的辨别主要体现在看访问的速率,笔者在完成爬虫时,大概一个ip可以访问3到4页,如果访问速度慢一点的话,也许可以更多,所以最好是可以构造一下ip池,几个ip原创 2020-07-04 21:38:20 · 1414 阅读 · 2 评论 -
利用selenium动态爬取淘宝的商品信息
先简单说一下,利用的是selenium模仿浏览器访问淘宝,使用xpath分离其中的数据,经过多次的修改之后,已经可以完成完整的中断再访问功能, 其中相对比较关键的遍历代码已经被我删除了,如果想要使用代码的话可以call我,现在可以实现的功能自动的登录、搜索,只是去除了中间的遍历功能,有一定爬虫代码功底的人结合注释应该都可以看懂. from selenium import webdriver from selenium.common.exceptions import NoSuchElementExcepti原创 2020-07-04 21:24:44 · 492 阅读 · 1 评论