python网页爬取方法_Python中爬取网页的几种方法

爬虫是Python语言最基本的用法之一,爬虫的前提就是数据请求,数据请求方法就urlopen和requests这两种比较常用,而两种方法大同小异,具体我们通过代码来看看

urlopen方法

urlopen分为两种情况:

一:请求网址中没有中文

from urllib.request import Request,urlopen

def url_urlopen(self):

url='https://blog.csdn.net/'

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

}

request=Request(url,headers=headers)

response=urlopen(request)

code=response.read().decode()

print(code)

二:请求网址中有中文,需要对网址进行解析

from urllib.request import Request,urlopen

from urllib.parse import quote

import string

def url_urlopen(self):

url='https://www.sojson.com/open/api/weather/xml.shtml?city=郑州'

response=urlopen(quote(url,safe=string.print