python
文章平均质量分 53
xiaoping0915
种一棵树最好的时间是十年以前,其次是——现在
展开
-
【Python】反爬虫
你被爬虫侵扰过么?当你看到“爬虫”两个字的时候,是不是已经有点血脉贲张的感觉了?千万要忍耐,稍稍做点什么,就可以在名义上让他们胜利,实际上让他们受损失。一、为什么要反爬虫1、爬虫占总PV比例较高,这样浪费钱(尤其是三月份爬虫)。三月份爬虫是个什么概念呢?每年的三月份我们会迎接一次爬虫高峰期。最初我们百思不得其解。直到有一次,四月份的时候,我们删除了一个url,然后有转载 2017-03-20 15:30:15 · 2349 阅读 · 0 评论 -
【Python】健壮的爬虫
还记得上次的发车(探索)吗?小伙伴有木有出现爬虫程序出现异常停止吗?上次没上车的童靴可以点击传送门那么问题来了为啥我们的爬虫程序会中途死亡?那么我们需要了解的是如何反制爬虫? 知道了他们的防守方式才能使我们的进攻更为有效! 通常很多网站不允许非浏览器访问,还有一个 ip 频繁访问会短暂禁止该IP访问。所以我们需要做的事情就是将自己的爬虫程序伪装为浏览器访问并且在 ip 被禁的时候使用代理 ip原创 2017-03-22 13:54:37 · 37748 阅读 · 0 评论 -
【Python】从爬虫开始吧——爬取妹子图整站
首先得解决环境和工具的问题 Python基础教程 Python3基础教程 大家也可以去慕课网看视频学习哦,关于选择Python2还是Python3的问题,上手的话还是直接选择3吧。关于爬虫爬虫就是在互联网中执行爬取有用信息的程序,总的工作流程如下: 找到爬虫入口->获取目标链接->下载网页-> 解析网页 -> 获取价值信息 ->存库(文件保存)操作首先给自己一个伟大的小目标吧!或许明天的UC原创 2017-03-16 12:06:22 · 9466 阅读 · 3 评论