python怎么制作网页爬虫_python，教你零基础做一个爬虫，你会了吗？

一、前言

1、相关介绍：

采用Python 来进行爬虫的主要原因是： Python语言简洁，使用方便，拥有许多方便进行爬虫的库，如Urllib。

Python除了爬虫获取数据外，还可以图像处理，数据处理，导出Execl表格等。更多可以看：Python可以用来干嘛？

2、安装Python

苹果系统上一般默认都装有Python编译器，为Python2.x版本。本文出现的代码都是以Python2.7版本为准。

如果需要Python3.x或者在windows上运行，就需要自己去安装Python,具体见：安装Python

二、爬虫

本文中以实现一个爬取网页中的图片的爬虫为例子。

预备知识

Python基础知识

Python中urllib库的用法

Python正则表达式

Python中re库的用法

1、Python基础知识

1、Python脚本文件后缀名为.py

2、#为注释符号

3、Python中没有花括号{}，用:代替

#eg:

for url in urls :

print url

4、函数的调用写法与JS相似

#eg

func(参数)

5、运行Python

在终端输入：

python **.py

如果是Python3.x版本输入：

python3 **.py

2、Python中urllib库的用法

urlopen 和read

urlopen：通过一个URL打开一个网页。

read：读取这个网页。

#eg

import urllib

url = 'http://www.thejoyrun.com'

page = urllib.urlopen(url)

html = page.read()

print html

获取网页的源码:

image

本文爬虫的核心为：通过正则表达式在源码中获取图片链接。

urlretrieve

urlretrieve：根据一个URL,下载相关文件

#eg

import urllib

urllib.urlretrieve('http://img.mm522.net/flashAll/20120502/1335945502hrbQTb.jpg','%s %s.jpg' % (datetime.datetime.now(),x)) #(URL,文件保存名字)

3、Python正则表达式

用\d匹配数字

用.匹配任意字符

用\s匹配一个空格

用*表示任意个数字符

用+表示至少一个字符

具体可以看：Python正则表达式

4、Python中re库的用法

split

用正则表达式进行字符串切分，获得一个list(可变数组)

#import re

testStr = 'http://www.thejoyrun.com'

print re.split(r'\.',testStr)

match

用正则表达式进行匹配，如果匹配成功，返回一个Match

对象，否则返回None

#import re

testStr = 'http://www.thejoyrun.com'

if re.match(r'http.*com', test):

print 'ok'

else:

print 'failed'

完整代码

#coding=utf-8

import urllib

import re

import datetime

def getHtml(url):

page = urllib.urlopen(url)

html = page.read()

return html

def getImg(html):

# splitReg = r'[\s\"\,\，\']+'

splitReg = r'[\s\"]+' #不区分,

tempList = re.split(splitReg,html) #分割后获得一个list (数组)

imgUrls = [] #一个空list

x = 0

for str in tempList :

matchReg = r'http:.*.jpg'

if re.match(matchReg,str) :

print '%s--' %x +str

imgUrls.append(str)

x = x + 1

urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now(),x))

matchReg1 = r'http:.*.png'

if re.match(matchReg1,str) :

print '%s--' %x +str

imgUrls.append(str)

x = x + 1

urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now().date(),x))

return imgUrls

html = getHtml("网址")

print(html)

getImg(html)```

我们用一下网址测试：

http://cn.bing.com/images/search?q=%E6%85%B5%E6%87%92%E5%B0%91%E5%A5%B3%E5%86%99%E7%9C%9F&FORM=ISTRTH&id=A87C17F9A484F4078C72BEB0FE1EC509BA1F59C8&cat=%E7%BE%8E%E5%A5%B3&lpversion=

下面是这个网址打开的网页的截图：


下面是下载到本地的图片截图：


#爬虫框架Scrapy ：

我们可以通过urllib库结合正则制作一些入门级别的爬虫，如果需要更强大、更多功能的爬虫则需要借助爬虫框架

```Scrapy``` Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

有兴趣的同学可以到[Scrapy](http://doc.scrapy.org/en/latest/)看看

>NOTE:自己实践的时候可以尝试改一下代码，例如把```.jpg```改成```.avi```。

#技术无罪，请勿飙车

现在还有大礼包免费赠送

推荐一下我建的python学习交流扣扣qun：850973621，群里有免费的视频教程，开发工具、

电子书籍、项目源码分享。学习python web、python爬虫、数据分析、大数据，人工智能等

技术有不懂的可以加入一起交流学习，一起进步！

作者：alanwangmodify

链接：https://www.jianshu.com/p/e0eb4635aa07

来源：简书

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。