[爬虫入门笔记] python爬虫基础入门1

概述

通过简单的学习，对爬虫有一个基本的了解。 就是通过python语言中的相关的库，进行对网页的源代码进行读取、搜索并保存所需要的相关数据。

操作的内容是面向网页的源码 - -> html，所以要适度的了解相关的内容（前端）

需要相关的库

Requests BeautifulSoup Lxml 接下来会逐一讲，这里就不赘述

如果配置了python环境的话可以直接，在dos里进行配置，相关的库，具体的操作如下：

1. pip install requests
2. pip install bs4
3. pip install lxml

大概，这样就配置好了，如果一直显示Collecting的话，那估计网络可能有一些的问题~~
如果配置完成，进入IDE有问题的话，那么可能要在IDE里重新配置一下（反正我是这样），或者重新建一个python项目文件

requests 库

requests是一个python HTTP请求库，requests库的作用是发送请求获取响应数据

直白点说，就是通过requests库从指定的网页中获取网页的源代码 就是在网页中，按一下F12显示的东西

然后，我们可以通过requests库中的一些方法，从对应的网页中的源码中获取数据，并且进行解码操作

# 1  导入模块
import requests

# 2 发送请求 获取响应
response = requests.get('http://www.baidu.com')
# print(response) -> <Response [200]>

# 3 获取响应数据
# print(response.encoding)

# 4 这个可以指定响应的解码方式，即字符集
response.encoding = 'UTF-8'
# print(response.text)
# 输出字符串的内容，弊端是不能直接像下面的content直接调用
# decode()来进行解码

# 5 解码并输出
print(response.content.decode())

跑出来的结果如下图所示：

通过访问百度官网，对照发现，基本相同：

BeautifulSoup库

通过调用BeautifulSoup库，创建BeautifulSoup的对象
BeautifulSoup对象代表整个文档树，支持通过方法遍历和搜索文档树(find/find_all方法)

文档树

这里就是指通过requests获得的网页源代码

代码如下：

from bs4 import BeautifulSoup

# 创建BeautifulSoup对象, 并指定解释器 lxml
soup = BeautifulSoup(response.content.decode(),'lxml')
# 文档树就是从requests中获取的响应数据

print(soup)

# 这里指定id进行查找
script = soup.find(id='')

text = script.text

print(text)

find()方法的参数列表如下：

find(self, name = None,attrs = {}, recursive = True, text = None, **kwargs)

需要了解的参数大致有：
name 标签名
attrs 属性字典
recursive 是否递归循环查找
text 根据文本内容查找

所以，显而易见的可以通过不同的参数来查找元素对象
如下：

1 直接通过标签名查找

例：script = soup.find(‘title’)

2 通过属性进行查找

2.1 直接通过属性参数查找

例： script = soup.find(id=‘getListByCountryTypeService2true’)

2.2 通过使用attrs来指定属性字典查找

例：script = soup.find(attrs={‘id’:‘getListByCountryTypeService2true’})

3 通过文本内容查找

例： script = soup.find(text=‘abc’)

关于查找的方式大致就有以上的几种，如果不太明白的话可以去了解以下前端相关的知识，感觉学习一点HTML就够了

find()和find_all() 的区别

find() 返回查找到的第一个元素的Tag对象
find_all() 返回到所有的元素Tag对象的列表

以下是关于Tag对象的介绍：

Tag对象

tag对象介绍：
tag对象对应于原始文档中的xml或者html的标签
tag有很多的方法和属性，可用遍历文档树 和 搜索文档树以及获取标签的内容

tag对象的常见属性：
name 获取标签的名称
attrs 获取标签的所有属性和值
text 获取标签的文本字符串

print('name', script.name)
print('attrs', script.attrs)
print('text', script.text)

示范案例

从网页爬取了一些信息，比较简陋，不过当成一个熟悉上面所描述的信息的案例还是不错的

网址：全球疫情地图

代码：

import requests
from bs4 import BeautifulSoup

# todo 获取响应 + 处理数据

# 从疫情首页提取各国最新的疫情数据
response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')
home_page = response.content.decode()

print(home_page) # 测试是否能够正常爬取

# 使用BeautifulSoup提取疫情的数据
soup = BeautifulSoup(home_page, 'lxml')

# 根据id属性查找，包含各国全国疫情的信息标签
script = soup.find(id='getListByCountryTypeService2true')

# 获取标签的内容
text = script.text
print(text)

运行结果太长我就不放了······