简单网络爬虫教程

爬虫

使用程序来获取我们需要的网络上的内容，如文字，视频，图片等信息 等。

使用工具

Python3.7 Pycharm

编写流程

步骤一：请求网站，下载网页内容

url = "http://www.baidu.com"
#如果访问的网页地址有规律，可以批量的构造网页
#如：urls =['http://xa.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,5)]
print("第一种方法")
response1 = urllib.request.urlopen(url)
# 获取状态码，200表示成功
print(response1.getcode())
# 获取网页内容的长度
print(len(response1.read()))

print("第二种方法")
request_1 = urllib.request.Request(url)
# 模拟Mozilla浏览器进行爬虫
request_1.add_header("user-agent", "Mozilla/5.0")
response2 = urllib.request.urlopen(request_1)
print(response2.getcode())
print(len(response2.read()))

print("第三种方法，使用第三方库requests")