爬
文章平均质量分 73
白薇.
这个作者很懒,什么都没留下…
展开
-
安装MongoDB出现Verify that you have sufficient privileges to start system services以及配置系统服务的问题总结
买了本崔大的爬虫书,前边装MongoDB的时候首先出现了各种各样的问题!真是让人头痛!为了以后出现意外,先记录下解决方法。问题如下:一、有一篇文章说直接ignore掉,但是经过测试并不行。因为这样的话log文件夹下就不会生成这可能会造成之后配置系统服务时出错!废话少说,直接上菜我的解决方法(大佬勿喷):(由于我是自定义磁盘安装的)1.将磁盘名及文件夹名改为英文,...原创 2018-09-30 10:49:59 · 34945 阅读 · 10 评论 -
通过分析Ajax请求爬取今日头条街拍图
最近在看崔大的ajax,于是自己试了一把,觉得大神之所以是大神还是有原因的。。。。。。作为小白,我有我自己的编码方式(大佬们别喷,我口水过敏)废话不多说!首先来看今日头条的街拍图响应内容:点击network选项卡,可以看到这是个GET请求。因为ajax请求的type是XHR,所以我们点击XHR(我下拉了几次,所以XHR有7个name,不下拉页面的话是一个XHR)。通过分析每个请求的...原创 2019-03-07 10:32:12 · 115 阅读 · 0 评论 -
利用pyquery爬取并保存小说
最近在复习以前学过的pyquery,正好在看《剑来》(当然不会说是后者居多了.....),毕竟没有需求就没有提高嘛!b话不多说。目标:获取小说每个章节的url 因为每页只有40章,所以需要遍历出所有章节 根据每个章节的url获取相对应的文章内容 保存获取章节url图片有点问题,大家将就着看就行,也就是瞅瞅看章节的url在哪个节点下而已接下来分析下一章怎么遍历,一共有...原创 2019-04-07 16:36:57 · 559 阅读 · 0 评论