Python3爬虫学习笔记1.1——urllib官方库的使用

本文介绍了Python3使用urllib库进行网页爬取的基本步骤,包括请求网页、处理编码问题以及构造Request对象以模拟浏览器行为。通过实例展示了如何爬取知乎首页并解决汉字编码错误的问题,为后续的模拟登录和cookie学习打下基础。
摘要由CSDN通过智能技术生成

欢迎捧场,上篇我们对什么是爬虫有一个大概的了解,那么我们可以用爬虫来做什么呢?爬虫又是怎么做到的呢?我们一起学习吧。

1.扒个网页压压惊

作为一个知乎的小白用户,平时的任务基本上就是刷刷问题点点赞什么的,今天我们爬一下知乎,应该不会出什么幺蛾子吧。

import urllib.request
resp=urllib.request.urlopen('http://www.zhihu.com')
print(resp.read())

写完了之后运行一下,你就会看见这“三行情书”爬下来的一个知乎首页,三行爬虫。曾经在我找爬虫资料的是看见了不止一个人说自己学习爬虫就是为了“哄妹子”,结果发现,爬虫比妹子好玩。2333,我还是选择妹子。运行结果如下:
知乎首页源码
一不小心知乎首页的源码就显示在你的终端了,就是这么神奇。

2.三行爬虫代码分析

对于第一行,引用的官方库urllib.request,不解释。
第二行代码,我们调用的是urllib.request库里面的urlopen方法(Python3对urllib库做了整合,你有可能看见Python2.X中的写法

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值