Python实战
Java秦老师
让知识变得简简单单
展开
-
Python实战:Python网络爬虫
本博客带大家一起写一个网络爬虫,主要是爬取一个新闻网站的新闻列表,在项目正式开始之前,需要补充两个知识点,分别是如何通过Python访问网络和如果通过Python解析JSON1、前提知识点:1.1、Python如何访问网络Python公告urllib来访问网络import urllib.request #导入模块url = "https://www.baidu.com" #设置原创 2017-06-15 21:10:51 · 759 阅读 · 1 评论 -
Python实战:如何隐藏自己的爬虫身份
使用爬虫访问网站,需要尽可能的隐藏自己的身份,以防被服务器屏蔽,在工作工程中,我们有2种方式来实现这一目的,分别是延时访问和动态代理,接下来我们会对这两种方式进行讲解1、延时访问见名之意,延时访问就是在访问网站时设置一个访问周期,每隔几秒钟访问一次,这样的方式更像是人为访问网站import timeimport urllib.requestcnt = 0#隐藏自己爬虫的身份的第原创 2017-06-15 22:49:42 · 3884 阅读 · 0 评论 -
Python实战:网络爬虫都能干什么?
@冰蓝 之前在北京买房,谁想房价开始疯长,链家的房价等数据分析只给了一小部分,远远不能满足自己的需求。于是晚上花了几个小时的时间写了个爬虫,爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。 @陈乐群 上次发现Android QQ和iOS QQ可以显示网络状态(2G/WiFi)之后,突然想到,这样子好像可以监视某人的出行和作息规律。简单的来说,在家里或者工作的地方,一般是有原创 2017-06-15 23:21:32 · 53308 阅读 · 14 评论