1.初识爬虫
- 从本质来说,爬虫就是利用程序拿到对我们有用的数据。如你想知道二手房成交均价、平均薪资等,你就可以先爬取到相关数据然后进行分析得到你想要的结果。
以百度为例,你会发现每个搜索结果下都有一个百度快照。
点击百度快照,跳转后会发现网址里有baidu这个词,也就是说这个网页属于百度。这是因为百度公司会把无数个网站爬取下来存储在自己服务器上,所以你"百度一下"的本质就是在搜索百度公司服务器里的内容,然后展示给你的结果就是一些超链接。点击超链接后才跳转到其他网站。
2.爬虫的工作原理
爬虫的的工作分为四步。
- 获取数据:爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。
- 解析数据:爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
- 提取数据:爬虫程序再从中提取出我们需要的数据。
- 存储数据:爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。
3. HTML常见元素和属性
4.实战
①用requests模块的get方法获取百度首页的Response对象,并通过Response的text属性获取文本内容,然后保存到文件。
import requests
res = requests.get('https://www.baidu.com/')
res.encoding = 'utf-8'
with open(r'E:\spider\out\t.txt', 'w', encoding='utf-8') as f:
f.write(res.text)
② 使用BeautifulSoup模块来解析和提取数据
bs对象 = BeautifulSoup(要解析的文本, ‘解析器’)
注: 第1个参数是要解析的文本,必须是字符串。
第2个参数用来标识解析器,如html.parser(它不是唯一的解析器,但是是比较简单的)
- find()方法
import requests
from bs4 import BeautifulSoup
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
res = requests.get (url)
print(res.status_code)
soup = BeautifulSoup(res.text,'html.parser')
item = soup.find('div') #使用find()方法提取首个<div>元素,并放到变量item里。
print(type(item)) #打印item的数据类型
print(item) #打印item
结果:
- find_all()方法
import requests
from bs4 import BeautifulSoup
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
res = requests.get (url)
print(res.status_code)
soup = BeautifulSoup(res.text,'html.parser')
items = soup.find_all('div') #用find_all()把所有符合要求的数据提取出来,并放在变量items里
print(type(items)) #打印items的数据类型
print(items) #打印items
结果:
- 用requests、BeautifulSoup、find_all()、 find() 、for循环、<class ‘bs4.element.Tag’>的.text属性提取出目标字符串
import requests
from bs4 import BeautifulSoup
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html')
html = res.text
soup = BeautifulSoup( html,'html.parser')
items = soup.find_all(class_='books')
for item in items:
kind = item.find('h2')
title = item.find(class_='title')
brief = item.find(class_='info')
print(kind.text,'\n',title.text,'\n',title['href'],'\n',brief.text) # 打印书籍的类型、名字、链接和简介的文字
结果: