第五周 Day1 —— Python网络数据采集

第五周 Day1 —— 网络数据采集

网络数据采集 ---------- > 爬虫

一、 怎么写爬虫程序

1. 获取页面的代码

   HTML ----------> 数据放在HTML标签中

2. 解析HTML页面

   正则表达式 / XPath / CSS选择器

3. 数据的持久化

   文本文件(CVS) / Excel / 数据库

二、写爬虫程序违法吗？

• 处于灰色地带 ---------> 法不禁止即为许可

• 如果被目标网站举证你有破坏别人动产的行为，打官司基本败诉。

• 遵循爬虫协议 ---------> robots.txt

• 如果不想遵守爬虫协议 ----------> 隐匿自己的身份（让目标网站感觉不到你是一个爬虫程序，而是一个正来自浏览器的正常请求）

三、 爬虫的分类

• 通用爬虫
• 定向爬虫（只关注某类某领域的数据）

四、什么是HTML

• Hyper — Text Markup Language — 超文本标签语言
• 浏览器就是HTML语音的解释器，它能够执行HTML书写的代码
• HTML页面中最核心的就是标签，除了表现之外，还有CSS和JavaScript

HTML = Tag(标签) + CSS(层叠样式表) + JavaScript(JS)

​ Tag -----> 数据（content）

​ CSS -----> 显示（display）-----> 选择器

​ JavaScript ------> 行为（behavior） ------> 代码

五、获取HTML代码

requests   -   基于HTTP协议(超文本传输协议)进行网络资源访问的三方库

URL ----> 网址 -----> Uniform Resource Locator -------> 统一资源定位符

URI -----> 统一资源标识符 -----> Universal Resource Identifier ----> 网络上的一个资源的唯一标识

URI -----> URL / URN

import requests

resp = requests.get('https://www.sohu.com/')
print(type(resp))    # <class 'requests.models.Response'>
print(resp.text)     # 

• 完整的URL：https://username:password@www.sohu.com:443/path1/path2/index.html
• 协议://用户名:口令@主机(服务器域名或IP地址):端口号/路径/子路径/资源名称

练习：获取百度首页图标

import requests

# 获取百度首页图标
resp = requests.get('https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png')
with open('baidu_logo.png', 'wb')as file:
    file.write(resp.content)

六、HTTP 超文本传输协议

1. 请求

• 请求行：请求方式 请求路径 协议版本
• 请求头：键值对
  • Host：请求的主机
  • Accept：接受的内容类型
  • User-agent：操作系统和浏览器平台-----> 如果爬虫要伪装成浏览器，就需要
  • Accept-Language：浏览器的语言设定
  • Accept-Encoding：编码和压缩方式
• 空行
• 消息体：浏览器要发给服务器的数据

2. 响应

• 响应行：协议版本 响应状态码
  • 2xx：成功
  • 3xx：重定向
  • 4xx：请求有问题
    • 404：Not Found —> 找不到对应的资源
    • 401：Unauthorized -----> 未授权
    • 403：ForBiden -----> 禁用（没有权限）
    • 405：Method Not Allowed ------> 请求方式不对
    • 418：I am a tea pot -----> 服务器给不了你想要的东西
  • 5xx：服务器挂了
• 响应头：键值对
• 空行
• 消息体：服务器给浏览器的内容 ----> （如果请求的是网页，消息体里面就是HTML代码：如果请求的是图片，消息体里面就是图片的二进制数据）

获取豆瓣top250电影标题

import requests
import re
import time
import random

# 正则表达式捕获组
pattern = re.compile(r'\<span class="title"\>(.+?)\<\/span\>')
for page in range(10):
    resp = requests.get(
        url=f'https://movie.douban.com/top250?start={page * 25}',
        headers={
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                          'AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/88.0.4324.190 Safari/537.36'
        }
    )
    print(resp.status_code)    # 响应状态码   只有是2xx时才能请求成功
    movie_titles = pattern.findall(resp.text)
    for title in movie_titles:
        print(title)
    time.sleep(random.randint(3, 5))