入职后第三个项目

距离上次的随笔，已经过去了好久，慢慢的入职也8个多月了，试用期过后也半年了，这次主要记录下自己的变化，学习到的知识点，以及第三个项目吧。

一：自己的变化

 又过去了好久，这段时间来，自己最大的变化，估计是脸皮厚了，之前的我 有点脸皮薄，不敢去打扰别人，即使遇到自己解决不了的问题，也只是自己去琢磨，不去问同事，怕打扰人家，后来，脸皮厚了，毕竟要考虑效率问题，自己瞎捉摸半天，比不上别人给你讲解几分钟。慢慢的我会去问。虽然现在还是会存在，编辑好的消息，看了好久才决定发出去，我自己都不知道为啥，可能是怕犯错吧。但慢慢的好了起来，自己会去沟通，会去问，自己研究琢磨+问别人。希望会越来越好。

二：技术栈的变化

很糟心的事，我现在还没有一个完整的项目是 涉及到分布式高并发的，虽然组内 是分布式高并发的，但我现在写的项目 感觉还是单机版的，虽然自己学习了分布式高并发，练习过demo，但和实战项目还是有差距的，希望后面，会接触到分布式高并发吧。要不然我就只能提桶跑路了，哈哈

三：本次项目

本次项目，解锁的知识点是 spark 对你没看错，一个连分布式高并发还没接触实战过得人，竟然开始玩spark了，也解锁了elasticsearch 的使用。对了用的语言scala，所以解决了scala

1.本次项目的需求分析

本次项目主要分为3个部分，

部分1：

  sparkStreaming 从kafka里读取数据 进行处理后，写入 Elasticsearch 

部分2：

  spark 读取Elasticsearch的数据，进行处理后，主要起告警的作用。通过ES的聚合后比较数据，对于超过阈值的，进行告警

部分3：

  java 写的， 读取Elasticsearch 的数据，进行展示到前端页面

整体来说，思路很清晰， 难就难在了，spark 没接触过呀，还好有文档，也有带我的老师写的例子，可以参考，完全自己去写，去想，所以就解锁了 spark的简单应用，和elasticsearch的简单实用 查询 索引 聚合， 所以最初我很期待这个项目，因为我解锁了知识点。提升了自己

2.本次项目详细设计

部分1：

  从kafka里读取数据，进行处理后，写入Elasticsearch 中，这个没难度 因为公司大数据的人，封装的框架，纯配置，唯一要写的也只是 业务逻辑处理这部分。

部分2：

 读取Elasticsearch的数据，进行处理后，告警，这是个难点，公司封装的框架也只是 kafka，所以不支持Elasticsearch作为数据源，于是我学习了怎么自定义数据源，于是，我是自定义的数据源，然后进行处理。现在回想起来挺简单的。

部分3：

 就是简单的java 读取 对应的索引，返回前端就好。没啥讲的，前端部分有的讲了，公司用的vue+npm，我的前端知识 还停留在大学的 css html ，后来简单了解了下vue ，加上有别人的代码借鉴，于是 我拼凑完成了前端页面，哈哈哈，粘贴复制，永远的神。

3.本次项目开发自测

开发自测，没啥要写的，就是编代码了，遇到的问题可以记录下

1. elasticsearch 的客户端， 我用的是 resthighlevel client 

 遇到了两个问题，一个是sockettime超时的，一个是 监听超时的， 后来配置了client ，主要是 connectTime 和sockeTime 以及  MaxRetryTimeOutMillis， 这个问题百度就出来了

2.查询Elasticsearch 的时候，自动创建索引时，动态映射，对于日期属性，我的es 是6.X版本的，对于日期来说，是有一定格式的,这个要注意下，是 yyyy/MM/dd HH:mm:ss  

3.查询Elasticsearch 时，text 和keyword ，这个可是让我好难受，查不到数据但Elasticsearch索引中又存在， 换成keyword 就可以了。简单来说，keyword 用于删选 相当于 sql中的where 

4.spark应用部署的时候的问题， 因为公司里有专门的平台来部署spark ，所以我没有自己搭建集群之类的，公司用的yarn， 我在部署的时候，应用启动不来，因为我自定义的elasticsearch数据源，定义了4个，哈哈哈，有点多，所以应用没起来，后来改了下配置，好像是，executor-cores 增加了一个后，启动了，我的spark 只是一知半解。

4.本次项目的 st，uat 测试

你们也看到了，项目简单，所以，我自测的，也不知道啥时候，可以联合测试部测试，哎

5.投产 可能下周投产，这是我项目的第一次投产吧，工作半年多了，没想到竟然是第一次投产，哈哈哈，很期待生产遇到的问题。

就这样。总结结束了，各位 继续加油努力。去攀登更高的山峰吧。