python3爬虫源代码_python3爬虫(1)--简单网页源代码获取

1、直接获取 .read()/requests.get()

1.1 输出Unicode格式

import urllib.request

request=urllib.request.Request('http://www.baidu.com')

response=urllib.request.urlopen(request)

html=response.read()

print(html)

输出是Unicode格式

>>> print(dir(urllib))

['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__',

'__package__', '__path__', '__spec__']

urllib 的功能：

>>> help(urllib)

Help on package urllib:

NAME

urllib

PACKAGE CONTENTS

error

parse

request

response

robotparser

1.2 为了显示中文，更改了输出格式

import urllib.request

import io

import sys

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='