luyaran的博客

一名php小菜鸟的成长故事

[Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程

(建议大家多看看官网教程:教程地址)我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目 (Project):新建一个新的爬虫项目明确目标(Items):明确你想要抓取的目标制作爬虫(Spider):制作爬虫...

2018-04-18 16:36:33

阅读数:47

评论数:0

[Python]网络爬虫(11):亮剑!爬虫框架小抓抓Scrapy闪亮登场!

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy = Scrach+Python,Scrach这个单词是抓取的...

2018-04-18 16:34:58

阅读数:21

评论数:0

[Python]网络爬虫(十):一个爬虫的诞生全过程(以山东大学绩点运算为例)

先来说一下我们学校的网站:http://jwxt.sdu.edu.cn:7777/zhxt_bks/zhxt_bks.html查询成绩需要登录,然后显示各学科成绩,但是只显示成绩而没有绩点,也就...

2018-04-18 16:33:56

阅读数:56

评论数:0

[Python]网络爬虫(九):百度贴吧的网络爬虫(v0.4)源码及解析

更新:感谢评论中朋友的提醒,百度贴吧现在已经改成utf-8编码了吧,需要把代码中的decode('gbk')改成decode('utf-8')。百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同,都是通过查看源码扣出关键数据,然后将其存储到本地txt文件。源码下载:http://download.cs...

2018-04-17 17:35:29

阅读数:34

评论数:0

[Python]网络爬虫(八):糗事百科的网络爬虫(v0.3)源码及解析(简化更新)

Q&A:1.为什么有段时间显示糗事百科不可用?答:前段时间因为糗事百科添加了Header的检验,导致无法爬取,需要在代码中模拟Header。现在代码已经作了修改,可以正常使用。2.为什么需要单独新建个线程?答:基本流程是这样的:爬虫在后台新起一个线程,一直爬取两页的糗事百科...

2018-04-17 17:34:33

阅读数:17

评论数:0

[Python]网络爬虫(七):Python中的正则表达式教程

接下来准备用糗百做一个爬虫的小例子。但是在这之前,先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样,是必不可少的神兵利器。以下内容转自CNBLOG:http://www.cnblogs.com/huxi/archive/201...

2018-04-17 17:33:17

阅读数:52

评论数:0

[Python]网络爬虫(六):一个简单的百度贴吧的小爬虫

[python] view plain copy # -*- coding: utf-8 -*-  #---------------------------------------  #   程序:百度贴吧爬虫  #   版本:0.1  #   作者:why  #   日期:2013-05-14 ...

2018-04-12 11:44:39

阅读数:37

评论数:0

[Python]网络爬虫(五):urllib2的使用细节与抓站技巧

前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。1.Proxy 的设置urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理。新建test14来实现一个简单的代理D...

2018-04-10 16:21:52

阅读数:36

评论数:0

[Python]网络爬虫(四):Opener与Handler的介绍和实例应用

更好的学习网址:http://www.voidspace.org.uk/python/articles/urllib2.shtml#openers-and-handlers以下为个人学习笔记。在...

2018-04-02 14:53:40

阅读数:42

评论数:0

[Python]网络爬虫(三):异常的处理和HTTP状态码的分类

先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时,产生urlError。不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。HTTPError是urlError的子类,通常在特定HTTP URLs中产生。 1.URLErr...

2018-04-02 14:52:36

阅读数:33

评论数:0

[Python]网络爬虫(二):利用urllib2通过指定的URL抓取网页内容

版本号:Python2.7.5,Python3改动较大,各位另寻教程。所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。在Python中,我们使用urlli...

2018-04-02 14:51:39

阅读数:27

评论数:0

[Python]网络爬虫(一):抓取网页的含义和URL基本构成

一、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个...

2018-04-02 14:50:29

阅读数:37

评论数:0

Python 的几个小技巧

枚举不要这么做:i = 0for item in iterable:     print i, item     i += 1而是这样:for i, item in enumerate(iterable):    print i, itemEnumerate可以接受第二个参数,例如:&am...

2018-03-01 15:05:36

阅读数:61

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭