爬虫
onlyfansnft.art
人生苦短,我用Python
展开
-
『Scrapy』登录人人贷并抓取借贷人信息中遇到的坑
1、在故意输错密码的时候,不能只是在正确密码的前提下减少几个密码,而是应该增加几个不是密码的字符 2、原创 2016-10-16 00:56:51 · 4206 阅读 · 0 评论 -
『Scrapy』登陆知乎中遇到的各种坑
1、在请求登陆页面时报错: 500 Internal Server Error 解决办法:在 Request() 中添加 header 信息 如:# 重写爬虫类的方法,实现自定义请求 def start_requests(self): return [Request("https://www.zhihu.com/#signin", headers=settings["H原创 2016-10-12 17:47:31 · 1268 阅读 · 0 评论 -
『Scrapy』日常工作和学习中所遇到的坑及解决办法——长期更新
1、需要点击之后才能看到的内容 可以使用 selenium 模拟点击后再抓取内容,但这里有一个点需要注意的地方是,我们所要查找的内容是在 selenium 模拟点击之后的网页中,故需要写成如下格式: from selenium import webdriver import time driver = webdriver.Chrome原创 2016-10-08 15:23:53 · 1210 阅读 · 0 评论