SpringBoot+WebMagic+Vue多数据源搭建一个小说网站(项目复盘)

经过一个多月的时间,终于把这个项目做完了,现在进行项目复盘。

项目框架:Springboot、webmagic、vue、quarzt、druid、mybatis-plus、dynamic

数据库:mysql

项目环境:jdk8,centos,docker

技术选型:

  • 主体框架为SpringBoot由于SpringBoot内部集成了很多框架使用起来会简便不少
  • 数据获取:使用java爬虫框架WebMagic,使用该框架只需要定制爬虫规则以及数据持久方式就能过使用了,不需要定制专用的请求
  • 前端框架采用Vue,其实之前我学过AngelaJS,但是看网上的前端框架vue比较多,并且Vue没有学过,所以边学边做最终选择了Vue
  • 数据库为Mysql数据库,使用docker虚拟化技术,搭建了一个mysql主从复制,与之对应的springboot集成多数据源采用dynamic框架,它能够很方便的切换数据源只需要加上一个注解**@DS**

项目采用前后端完全分离,后端使用RESTful api风格设计接口,测试接口工具PostMan,前端Vue路由接口

项目部署:

阿里云服务器、阿里云域名

源码地址:https://github.com/sx19990201/bookweb

项目网站:www.shaoxiong.vip

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
此次更新主要对下载模块进行了优化 并增加了同步下载的API 同时对代码进行了一些重构 一 Downloader部分更新: 升级HttpClient到4 3 1 重写了HttpClientDownloader的代码 #32 在http请求中主动开启gzip 降低传输开销 #31 修复0 3 2及之前版本连接池不生效的问题 #30 使用HttpClient 4 3 1新的连接池机制 实现连接复用功能 经测试 下载速度可达到90%左右的提升 测试代码:Kr36NewsModel java 二 增加同步抓取的API 对于小规模的抓取任务更方便: 1 OOSpider ooSpider OOSpider create Site me setSleepTime 100 BaiduBaike class ; 2 BaiduBaike baike ooSpider <BaiduBaike>get "http: baike baidu com search word word httpclient&pic 1&sug 1&enc utf8" ; 3 System out println baike ; 三 Site 配置类 增加更多配置项: 支持Http代理: Site setHttpProxy #22 支持自定义所有Http头:Site addHeader #27 支持开启和关闭gzip:Site setUseGzip false Site addStartUrl移到了Spider addUrl 因为作者认为startUrl应该是Spider的属性 而不是Site的属性 四 Spider 主逻辑 进行了一些重构: 重写了多线程逻辑 代码更加易懂了 同时修复了一些线程安全问题 引入了Google Guava API 让代码更简洁 增加配置Spider setSpawnUrl false 此选项为false时 只下载给定的url 不下载任何新发现的url 可以给初始url中附带更多信息:Spider addRequest #29 另外webmagic邮件组成立了 欢迎加入:https: groups google com forum # forum webmagic java">此次更新主要对下载模块进行了优化 并增加了同步下载的API 同时对代码进行了一些重构 一 Downloader部分更新: 升级HttpClient到4 3 1 重写了HttpClientDownloader的代码 #32 在http请求中主动开启gzip 降低传输开销 #31 修复0 [更多]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值