Python 爬虫

1.初识爬虫

• 从本质来说，爬虫就是利用程序拿到对我们有用的数据。如你想知道二手房成交均价、平均薪资等，你就可以先爬取到相关数据然后进行分析得到你想要的结果。

以百度为例，你会发现每个搜索结果下都有一个百度快照。

点击百度快照，跳转后会发现网址里有baidu这个词，也就是说这个网页属于百度。这是因为百度公司会把无数个网站爬取下来存储在自己服务器上，所以你"百度一下"的本质就是在搜索百度公司服务器里的内容，然后展示给你的结果就是一些超链接。点击超链接后才跳转到其他网站。

2.爬虫的工作原理

爬虫的的工作分为四步。

1. 获取数据：爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。
2. 解析数据：爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
3. 提取数据：爬虫程序再从中提取出我们需要的数据。
4. 存储数据：爬虫程序把这些有用的数据保存起来，便于你日后的使用和分析。

3. HTML常见元素和属性

4.实战

①用requests模块的get方法获取百度首页的Response对象，并通过Response的text属性获取文本内容，然后保存到文件。

import requests
res = requests.get('https://www.baidu.com/')
res.encoding = 'utf-8'
with open(r'E:\spider\out\t.txt', 'w', encoding='utf-8') as f:
    f.write(res.text)

② 使用BeautifulSoup模块来解析和提取数据
bs对象 = BeautifulSoup(要解析的文本, ‘解析器’)
注： 第1个参数是要解析的文本，必须是字符串。
  第2个参数用来标识解析器，如html.parser（它不是唯一的解析器，但是是比较简单的）

• find()方法

import requests
from bs4 import BeautifulSoup
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
res = requests.get (url)
print(res.status_code)
soup = BeautifulSoup(res.text,'html.parser')
item = soup.find('div') #使用find()方法提取首个<div>元素，并放到变量item里。
print(type(item)) #打印item的数据类型
print(item)       #打印item 

结果：

• find_all()方法

import requests
from bs4 import BeautifulSoup
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
res = requests.get (url)
print(res.status_code)
soup = BeautifulSoup(res.text,'html.parser')
items = soup.find_all('div') #用find_all()把所有符合要求的数据提取出来，并放在变量items里
print(type(items)) #打印items的数据类型
print(items)       #打印items

结果：

• 用requests、BeautifulSoup、find_all()、 find() 、for循环、<class ‘bs4.element.Tag’>的.text属性提取出目标字符串

import requests
from bs4 import BeautifulSoup
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html')
html = res.text
soup = BeautifulSoup( html,'html.parser')
items = soup.find_all(class_='books')
for item in items:
    kind = item.find('h2')
    title = item.find(class_='title')
    brief = item.find(class_='info')
    print(kind.text,'\n',title.text,'\n',title['href'],'\n',brief.text) # 打印书籍的类型、名字、链接和简介的文字

结果：