爬虫
文章平均质量分 81
Howie_Yue
这个作者很懒,什么都没留下…
展开
-
Python网络爬虫(3)- 统计个人CSDN的文章信息
# 请尊重原创,转载请注明出处:https://blog.csdn.net/qq_34175893/article/details/79755967最近因为经常上CSDN上看看自己的文章浏览量什么的,但是因为QQ的登录实在是让人无话可说,并且没有记录,每天看到的都是当前的,看不到进步的感觉,所以就自己写了个爬虫程序,用来查看记录自己的个人统计数据,先贴上结果上面的框出来的就是要记录的数据,所有的数...原创 2018-03-30 12:46:00 · 393 阅读 · 0 评论 -
Python网络爬虫(2)- 爬虫翻译程序-含有道、金山、百度翻译
1.0 版本#首先贴上结果,自动检测语言对于这种需要提交数据的爬虫,最主要的就是获取form data了,具体的获取方式请参考如何通过Chrome获取post表单数据这里需要注意的是,同一个网站的表单的属性名可能会有变化,自己使用的时候需要注意,否则可能会导致结果不对,或者乱码什么的。下面是基于python3.6.1版本的程序# -*- coding: UTF-8 -...原创 2018-03-28 23:35:26 · 5146 阅读 · 4 评论 -
Python网络爬虫(1)- 对CSDN主页进行搜索,得到自己想要的内容
# 自己写的一个第一个爬虫项目,输入关键字,在CSDN主页进行搜索,得到有关的链接# 这个爬虫项目比较简单,因为不需要提交任何数据,只是简单的下载页面# 这个爬虫项目并不简单,因为我是完全自己搭建了一个爬虫框架,可以说是比较完善了# 编写项目的时候就完全考虑到了可扩展性,大多采用文件型,将种子url放到seeds.txt中,这就是爬虫的开始URL# 此项目还有待进一步完善,并没有对爬虫的深度进行限...原创 2018-03-28 23:56:17 · 764 阅读 · 0 评论 -
Java、Python、C++等各种语言写爬虫
#之所以会想起这个问题,是和室友聊到了爬虫,他习惯Java,而我习惯Python,所以我就想仔细了解一下这两者到底有什么区别,并且查了许多资料,参考的文章都会在文中穿插标注,不敢说很全面,只是尽力从各种角度去理解首先要提醒自己一点,千万别以为只有Python/Java可以写爬虫,或者一提到爬虫想到的只有Python,实际上现在可以写爬虫的语言非常多,比如c++、python、erlang、scal...原创 2018-05-03 19:54:36 · 7445 阅读 · 0 评论 -
Python爬虫、反爬虫和反反爬虫
我主要对反爬虫和反反爬虫做一个简单的总结我想补充一下关于爬虫和反爬虫,以及为什么要爬虫,为什么要反爬虫,也就是从技术和技术带来的影响的角度来看待爬虫。发现一个很有意思的链接,爬虫、反爬虫、反反爬虫 1 爬虫、反爬虫、反反爬虫l 爬虫 —— 使用任何技术手段批量获取网站信息的一种方式,关键在批量。l 反爬虫 —— 使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。关键也在于批量。l 误...原创 2018-05-03 20:02:31 · 8068 阅读 · 4 评论