爬虫
植与恋恋
敲代码呀,加油敲代码啊
展开
-
scrapy使用之爬取智联招聘
智联招聘是通过动态加载文件获取数据,所以一开始解析的url不是网页的地址,而是json 文件,寻找json文件的方法。通过查看各个工作具体的网址得知规律;https://job.zhaopin.com/XXXXX.htm, 其中XXXX就是json文件中number对应的值。 步骤: 解析json文件,得到所有number对应的值 通过拼接得到新的网址 进入网址,得到自己想要的内容进入网址,得到...原创 2018-12-04 21:03:16 · 2614 阅读 · 6 评论 -
scrapy导入项目出错
今天从网下下载了一个scrapy_redis的例子,导入运行报错: Scrapy 1.5.0 - no active project Unknown command: crawl Use “scrapy” to see available commands 解决方案: 从之前的项目中找到scrapy.cfg文件(就在第一级目录下),将他复制到下载的实例中; 然后修改里面的项目名 # Auto...原创 2018-12-05 11:47:33 · 711 阅读 · 0 评论