Python爬虫! 单爬,批量爬,这都不是事!

Python
py学习笔记
郭 璞

昨天做了一个煎蛋网妹子图的爬虫,个人感觉效果不错。但是每次都得重复的敲辣么多的代码(相比于Java或者其他语言的爬虫实现,Python的代码量可谓是相当的少了),就封装了一下!可以实现对批量网址以及单个网址的爬虫!


核心代码

# coding:UTF-8

# 导入我们需要的网络模块,正则表达式模块,以及产生随机数的模块
import urllib2,urllib,re,random

# 根据传入的URL网址,获得该网址对应的全部的html页面(纯网页,并没有做任何的解析)
def getHtml(url,headers) :
    request = urllib2.Request(url,headers=headers)
    response = urllib2.urlopen(request)
    page = response.read()
    return page

# 根据之前获得那个url对应的网页信息,将这张网页里面包含的所有的含有<img src=".+\
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页
实付 29.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值