第七章：网络爬虫-网络爬虫流程及常用包

直接学习：https://edu.csdn.net/course/play/6861/326751
网络爬虫流程及常用包
1、定义
网络爬虫是根据一定的规则，自动抓取万维网信息的程序或者脚本。借助于网络爬虫的技术，基本可以做到所见即所得。
典型的应用：搜索引擎，今日头条，金品分析等。
2、爬虫流程

3、爬虫流程
流程
1）、发送请求，向对方服务器发送待抓取网站的链接
2）、返回请求，在不发生意外的情况下（意外包括网络问题，客户端问题，服务器问题等），对方服务器将会返回请求的内容（即网页源代码）
3）、数据存储，利用正则表达式或解析法对源代码做清洗，并将目标数据存储到本地（txt，csv，excel等）或数据库（MySQL，SQL Server,MongoDB等）
4、使用到的包及函数

import requests
import re 
from bs4 import BeautifulSoup

requests.get:基于url，发送网络请求
re.findall:基于正则表达式，搜索目标函数
BeautifulSoup：对html源代码进行解析，便与目标数据的解析