6月29实训报告

6月29实训报告

概况

与前端协调好界面;组内开会,确认具体功能;完成测试

内容

PPT介绍内容

  1. 根据设计的框架 编写数据库操作底层代码
  • Mongo 建立连接 ,获取数据库 ,获取集合 ,获取网格文件系统
  • Redis 连接池 ,监听式订阅发布 ,列表操作, 哈希操作, 普通发布订阅 锁操作(把pubsub想一个锁问题出来)
  1. 队友完成节点基本功能后(挂载与获取redis信息,获取mongodb节点信息),把后端项目封装成docker镜像,实现单机多节点部署;维护github上的队友的模块;在节点上新增获取节点ip地址,mac地址的注册功能
  2. 队友完成爬虫的基本功能后(上传爬虫文件到主节点,上传爬虫文件到gridfs,下载爬虫文件到本地),把爬虫与节点模块整合,实现各节点同步爬虫文件,维护镜像
  3. 队友完成任务的基本功能后(任务的发配,python爬虫的运行),把三个主要模块整合,更新了节点通信功能,至此能满足的节点通信功能有:<1.工作节点更新心跳&主节点根据心跳判断在线节点 2.任务的发布&任务的获取 3.所有节点同步删除指定爬虫文件 4.指定节点停止指定爬虫任务> , 分布式架构基本构造完毕.;封装维护镜像
  4. 与前端进行接口设计与校验(样例怎么设计的呢;前后端是怎么交互的呢:端口映射 跨域)
  5. 新增scrapy爬虫端口
  6. 新增文件与文件目录可视化接口
  7. 爬虫样例测试
展开阅读全文
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值