Python中爬取网页的几种方法

爬虫是Python语言最基本的用法之一,爬虫的前提就是数据请求,数据请求方法就urlopen和requests这两种比较常用,而两种方法大同小异,具体我们通过代码来看看

 

urlopen方法

urlopen分为两种情况:

一:请求网址中没有中文

from urllib.request import Request,urlopen
def url_urlopen(self):
        url='https://blog.csdn.net/'
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
        }
        request=Request(url,headers=headers)
        response=urlopen(request)
        code=response.read().decode()
        print(code)

二:请求网址中有中文,需要对网址进行解析

from urllib.request import Request,urlopen
from urllib.parse import quote
import string
def url_urlopen(self):
    url='https://www.sojson.com/open/api/weather/xml.shtml?city=郑州'
    response=urlopen(quote(url,safe=