关于爬虫学习的一些小小记录(一)——简单粗暴的爬虫

Python 爬虫 专栏收录该内容
7 篇文章 0 订阅

关于爬虫学习的一些小小记录(一)——简单粗暴的爬虫

前言

这算是我写的第一篇博客
但其实,本人学习爬虫已经有那么一段时间了,现在勉强算是个老菜鸟……
至于为什么现在才写这样的一篇文章,因为我发现如果没有通过这样高大上的记录方式,我那些浅薄的知识就会跟头发一样,不知不觉间就消失了 (T_T)
所以我写的内容可能都比较浅显,如果其中的部分内容跟你们的理解有所出入,大家不妨在评论区留言,我们一起探讨学习

爬虫简介

爬虫是什么?
我们大都知道,所以这里就不介绍了 ……
这是百度的介绍:爬虫-百度百科

那么怎么学习爬虫?
这是知乎上关于怎么学习爬虫的回答:如何入门 Python 爬虫?

最简单的爬虫程序

这是一个简单的爬虫程序,用于访问百度的首页,并下载网页源代码
编译器版本:Python3.7

from urllib import request

url = 'http://www.baidu.com/'

response = request.urlopen(url)  # 访问url,返回一个 HttpResponse 对象
page = response.read()  # 使用 read 方法读取页面全部内容
page = page.decode()  # 因为 page 的数据格式为 bytes ,需要转码成 utf-8

print(page)  # 打印

urllib库

urllib是Python的一个扩展库,用于对url进行处理
在这个爬虫程序中,我们导入了 urllib 库的request模块,该模块中定义了用于访问 url 的 urlopen() 方法,该方法返回一个 HttpResponse 类对象

urlopen方法

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

几个主要参数:
url,需要打开的网址,可以是字符串或 Request类对象
data,指定要发送到服务器的其他数据的对象,默认None
timeout,尝试连接网站的超时时间(单位秒),如果未指定,将使用全局默认超时

HttpResponse类

有如下的方法:

getcode() 返回响应的 HTTP 状态代码,200或404

geturl() 返回请求的 url,通常用于确定是否遵循重定向

info() 以 email.message_from_string() 实例的形式返回页面的元信息

read()readline() 用于对 HttpResponse 类型数据进行读取操作。不同的是前者读取全部内容,后者只读取某一行

resquests库

requests 库是基于 urllib 开发的另外一个常用的爬虫工具,相比起 urllib 更为简便
同样是一个简单的爬虫:

import requests

url = 'http://www.baidu.com/'
page = requests.get(url)  # 访问 url

print(page.text)  # 以字符串方式打印

get()方法打开 url,返回一个 Response 对象,该对象存储了服务器的响应的内容

requests 会自动解码来自服务器的内容,不需要我们再进行手动解码

例如:当访问 Response.text 时,会使用其推测的文本编码,然后以这种编码方式输出响应内容。当然你想要的看字节形式的内容,也可以通过访问 Response.content 来获取。除此之外,还有内置的 JSON 解码器 Response.json 等

可以说,resquests库绝对是懒人的选择

结语

作为第一篇博客,其实不需要多么出彩,好戏都在后头(这绝对不是一个 flag!)

  • 5
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值