智慧社区2.0

项目亮点

1. 技术架构层面

✅ 多数据源整合（MySQL + Redis + HDFS + OSS）

• 核心亮点：不仅仅是单一数据库，而是根据数据特性使用MySQL（结构化数据）+ Redis（缓存）+ HDFS（大数据存储）+ OSS（对象存储），提高了系统的数据存储效率和查询速度。
• 面试时可以强调：
  • Redis 作为缓存，加速社区热点数据访问，减少 MySQL 压力。
  • HDFS 存储海量日志和 AI 任务数据，支持后续分析。
  • OSS 解决图片、视频存储，确保社区管理数据安全可访问。

✅ AI 任务控制台（Flink + WebSocket 实时数据流）

• 核心亮点：采用Flink + WebSocket 实现 AI 任务的实时监控，提升了 AI 算法处理的透明度。
• 面试时可以强调：
  • WebSocket 实时通信：让前端可以实时查看 AI 任务的运行状态，而不是轮询数据库，减少服务器压力。
  • Flink 实时流计算：处理社区环境的传感器数据流，比如垃圾桶满溢、噪声污染、空气质量等。

✅ 分布式文件存储（HDFS & OSS）

• 核心亮点：不同类型的文件选择不同的存储方式，提高系统灵活性：
  • 监控视频、AI 识别结果 -> HDFS
  • 业务图片、政策文件、用户上传 -> OSS
• 面试时可以强调：
  • 使用 Java + HDFS API 进行文件上传下载，实现大文件高效存储。
  • OSS 适配社区管理文件需求，支持权限管理和 Web 访问。

---

2. 业务层面

✅ 细粒度的用户权限管理（RBAC + 数据级权限控制）

• 核心亮点：不仅仅是简单的角色权限，而是根据成都市 -> 社区 -> 网格 -> 点位 逐级细化权限，不同用户只能访问自己管辖范围的数据。
• 面试时可以强调：
  • 基于角色（RBAC）+ 组织架构（数据权限）+ Redis 缓存，提升权限校验效率。
  • AOP + Redis 实现高效权限控制，减少数据库查询，提高接口响应速度。

✅ 机器人后端模块（gRPC-Web 交互）

• 核心亮点：机器人实时交互，支持社区 AI 任务自动化，比如巡逻、目标识别等。
• 面试时可以强调：
  • 采用 gRPC-Web 进行高效通信，比传统 HTTP 更轻量级，减少网络开销。
  • 机器人任务调度优化，确保任务执行合理性，如 自动识别社区安全隐患（垃圾堆积、违停等）。

---

3. 性能优化

✅ Redis 结合 AOP 进行缓存控制

• 核心亮点：用 AOP 实现缓存拦截，减少数据库查询，提高查询速度。
• 面试时可以强调：
  • 数据库热点数据查询缓存：如社区环境数据、用户权限信息存入 Redis，减少 MySQL 压力。
  • 分布式锁控制高并发请求，防止数据不一致。

✅ WebSocket 保障长连接稳定性

• 核心亮点：采用心跳检测 + 自动重连，保证前端 WebSocket 不断线。
• 面试时可以强调：
  • 服务端定时发送心跳包，前端检测超时后自动重连，确保 AI 任务状态实时更新。
  • 负载均衡 & 多实例支持，提升并发能力，防止 WebSocket 连接过载。

项目难点

1. 多数据源整合 & 数据一致性

难点：

• 系统需要处理 MySQL（结构化数据）、Redis（缓存）、HDFS（大数据）、OSS（对象存储），不同的数据源访问方式和一致性要求不同。
• MySQL 和 Redis 之间数据一致性问题，如权限变更后，Redis 仍然缓存旧数据，导致访问异常。

解决方案：

• 数据库+缓存双写一致性策略

  • 方式 1：缓存失效策略（推荐）：更新MySQL 后，删除 Redis 缓存，让下次请求时自动更新。
  • 方式 2：延迟双删：数据库更新后，短时间内异步更新 Redis，降低一致性风险。

• HDFS & OSS 结合使用

  • 大量日志和 AI 识别数据存 HDFS，需要批量分析时再加载，提高查询效率。
  • OSS 适合存储用户上传的文件，提供更灵活的 Web 访问权限。

---

2. WebSocket 实时通信稳定性（前端复制）

难点：

• 长连接不稳定：前端 WebSocket 连接可能会因 网络波动、服务器重启、超时等原因断开，影响实时数据展示。
• 高并发场景下连接数过多，可能会导致服务器负载过高。

解决方案：

• 心跳检测机制：前端定期发送 PING 包，服务端收到后返回 PONG，确保连接有效。
• 自动重连机制：前端在 WebSocket 断开时自动尝试重新连接，防止数据中断。
• 负载均衡：
  • 采用 Nginx + WebSocket 反向代理，实现多实例分流，避免单点故障。
  • 配合 Redis 共享 WebSocket 连接信息，确保不同服务器实例都能识别同一用户的会话状态。

---

3. 细粒度的用户权限管理

难点：

• RBAC 角色管理较复杂：网格员、志愿者、居民等不同角色需要访问不同的数据，权限控制较为复杂。
• 数据级别权限：如某个网格员只能访问自己辖区的数据，如何做到 SQL 层级权限控制？
• 权限变更的实时生效：用户权限修改后，如何确保 Redis 和 MySQL 里的权限数据同步？

解决方案：

• 基于 RBAC + 组织架构的权限系统

  • 角色权限表（role_permission）控制大范围权限，如“网格员可查看某网格内数据”。
  • 数据权限表（user_grid_mapping）存储具体可访问的网格、楼栋等数据范围。

• AOP + Redis 缓存权限

  • 查询权限时，先查 Redis 缓存，没有命中时再查询 MySQL，减少数据库查询压力。
  • 权限变更后，自动清理 Redis 缓存，确保下次查询获取最新权限。

---

4. AI 任务控制台 & 实时数据流

难点：

• AI 任务的监控数据量大，如环境监测、机器人巡逻、目标识别等，需要高效的数据传输和展示。
• 实时数据更新压力大，Flink 处理的数据流需要快速传输到前端。

解决方案：

• Flink + Kafka 进行流式数据处理

  • AI 任务状态、监控数据等实时传输到 Kafka，然后由 Flink 进行数据流分析。
  • 最终通过 WebSocket 传输到前端，减少数据库查询压力。

• 前端数据展示优化

  • ECharts 结合 WebSocket，前端只增量更新数据，减少页面重绘开销，提高用户体验。

---

5. 分布式文件存储 & 高并发文件访问

难点：

• 大量视频、图片存储在 HDFS / OSS 中，访问时延较大，如果前端直接访问 HDFS，可能会影响系统性能。
• 文件上传和下载的并发处理，如大量用户同时上传/下载文件，可能会导致存储服务器负载过高。

解决方案：

• HDFS + OSS 分层存储

  • 近期热点数据存 OSS，支持CDN 加速，提升访问速度。
  • 历史数据归档到 HDFS，节省存储成本。

• 文件访问优化

  • 前端访问 OSS 直接获取图片 URL，而不是通过后端中转，减少服务器压力。
  • 批量文件处理时，使用 多线程+异步 IO 提高上传/下载效率。