半年项目总结

        在项目的数据爬取业务中，涉及到了爬虫、http方式的接口调用、导出Excel表格等技术，在完成这个需求的过程也是一个不断学习进步的过程，对于Jsoup这个java爬虫的技术原来没有接触过，这次在项目中得到了使用的机会。使用Jsoup 爬取网站的的HTML文本内容，从爬到的信息中提取课程和章节的信息，拼接并访问课程和章节的URL地址，获取课程中的视频埋点，最终导出为Excel并入库保存。http调用接口的中开始选用的是在封装好的HttpClient工具类， 后来知道了更为便捷的SpringBoot-RestTemplate方式和其他两种常见的方式，扩大了知识网。导出为Excel开始是自己找的模板，后来改用阿里的EasyExcel，体验到了站在巨人的肩膀上的感觉。关联插入的功能以前做过一些，这一次的进步是进行了思考：以前一直用是自增主键，前表插入完成，查询出主键的值并返回，再插入后表。现在改用雪花算法生成前主键—赋值—插入数据，避免了一次查询过程，从细节上提高方法的执行速度。

        商城项目的改造功能不多，可贵之处在于是自己从头开始搭建的框架，nacos和es、mq等等服务器由自己手动搭建。之前主要是用的是分布式框架，这一次使用的是应用范围更广的springboot和springcloud架构，体会到了springboot的开箱即用和约定大于配置的给项目开发带来的便捷。自己封装工具类的操作看似繁琐，也是必要的过程，做了这些事才能更深刻的理解项目的内在结构。对于消息中间件在能满足吞吐量的基础上选用了activemq，与自己更熟悉一些的rocketmq进行了对比。activemq使用比较简单，容易上手，通信方式是点兑现和发布订阅。Rocketmq支持的消息类型比较多样，其中的事务消息能够最大程度保证消息的一致性，可以满足很多业务场景的需要。消息检索使用的是elasticsearch代替了原本的solr，先做了elasticsearch的入门demo，学习了倒排索引等基础知识，参照例子实现elasticsearch对索引库的增删改查操作。在体会使用各种中间价的便利的同时思考引入中间件可能带来的隐患，例如使用mq带来的重复消费、消息挤压和消息丢失、消息顺序等等。

       项目经验迟早要积累，在解决问题中升华。所谓经事长志，历事成人。自身能力水平的提高就在于不断地面对问题，解决问题。离开自己的舒适区，在做项目的过程中，无论是接口调用还是导出功能还是架构的选择都没有采用之前更熟悉的方式，最终改用了RestTemplate、EasyExcel，springboot和elsticsearch，也是本着这样的想法。知为行之始，行为知之成，这句话体现着思想上移和行动下移的思想。首先有了主动面对问题的认识，接下来才有了主动使用不熟悉的技术提升自己的行为，每次在经历过不熟悉的地方的过程中积累经验，在经验的积累中开阔眼界，思想的层次也会随之提高，思想和行动的相互作用能形成良性的循环。