网络数据采集

1.Requests+Beautifulsoup 组合爬取静态网页

2.Requests + re 组合爬取静态网页数据

3.Requests +xhr 组合获取网页动态加载数据

4.Scrapy 爬虫框架

5.Echarts 的使用

6.综合实践讲解

爬虫采集系统实战：

后端发送爬虫请求及存储，前端显示爬虫结果列表。

前端：Flask布局

在Python中实现，新建项目需要装Flask框架

pip install -i https://mirrors.aliyun.com/pypi/simple flask pymysql

from flask import Flask,request,render_template,jsonify
app = Flask(__name__)
@app.route('/')
def index():
    return render_template('index.html')
# Flask库的一个实例化,构造函数，创建一个新的Flask web服务器实例。
# 在这里实现了判断可直接执行脚本，import中不可以直接执行
if __name__ == '__main__':
    app.run()

Flask中的@app.route装饰器用于定义网页路由。这段代码中，'/'是路由路径，表示当用户访问网站的根路径（即'/'）时，将触发下面的index函数。

render_template是Flask的一个内置函数，它用于加载并渲染一个HTML模板。在这个例子中，模板文件是'index.html'。这意味着当用户访问网站的首页时，将看到一个由'index.html'模板生成的页面。

前端和后端的搭载好了，进行测试。

点进去 网址显示前后端即为成功。