拓展 反爬虫项目

反爬虫项目

阶段划分

目标：了解反爬虫项目的阶段划分，以及每个阶段要学习的内容
第一阶段
加粗样式反爬虫项目总体价绍，主要包括（背景、需求、流程、架构、openresty介绍、lua语法学习）
第二阶段
Lua采集数据写入kafka,搭建项目框架、Streaming读取kafka数据、链路统计功能实现
第三阶段
实现数据预处理的数据清洗、脱敏、拆分、分类（飞行类型/操作类型，单程/往返）、解析等功能
第四阶段
实现数据预处理的数据历史爬虫、结构化、数据推送、数据预处理监控、前端读取后端数据等功能
第五阶段
读取预处理后的数据、进行封装、分别统计八个指标的数据
单位时间内的IP段访问量（前两位）
某个IP，单位时间内总访问量
某个IP，单位时间内的关键页面访问总量
某个IP，单位时间内的UA种类数统计
某个IP，单位时间内的关键页面最短访问间隔
某个IP，单位时间内小于最短访问间隔（自设）的关键页面查询次数
某个IP，单位时间内查询不同行程的次数
某个IP，单位时间内关键页面的访问次数的Cookie数

第六阶段
根据已经算出的八项指标结果，进行爬虫识别、剔除非爬虫数据、写入Redis，写入HDFS,Redis数据恢复等
第七阶段
爬虫分析性能的计算与监控、离线指标分析

逻辑架构设计