随笔索引（老集群配置 安全认证 spring maven mybatis 新集群配置）

毕业两年，工作两年。计划将老集群配置安全认证kerberos。

下面将老集群的基本配置做一个记录。

老集群的安装配置主要有flume hive storm hbase hadoop kafka redis spark zookeeper.

其中标红的是重度使用的组件。

接下来我将逐一总结这些组件的安装配置，启动方式，启动后jps的详细内容。以及组件使用的具体细节。

顺序如下：

1 hadoop

2 flume

3 kafka

4 zookeeper

5 hive

6 hbase

7 spark

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

此外，这两年做过的项目里面，除了做过一些使用sql（hive oracle shell）进行报表生成的项目之外，还有主要就是kafka贴源层数据接入。

其中第一个使用scala编写，是我的第一个项目，各方面都很不成熟。

第二个使用java编写（跟随项目组），从这个项目中学习到了配置分离，密码加密，安全认证（解决24小时认证过期问题），日志优化，

以及一些基本的概要设计和详细设计（防重，防错，防漏，可监控，可配置化等实现细节）。

以后会逐一进行总结，并仔细阅读java开发规范文档。

ogg mysql kafka

【https://blog.csdn.net/wuwenxiang91322/article/details/78807905】

Spark Structured Streaming

[https://blog.csdn.net/asd136912/article/details/88320740]

https://blog.csdn.net/lovechendongxing/article/details/81748553

监听

https://www.cnblogs.com/yyy-blog/p/10253830.html

kafka细节

https://www.cnblogs.com/superfj/p/9440835.html

https://blog.csdn.net/siantbaicn/article/details/78616642

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

以后的项目实践：

流处理高级数据分析应用

离线数据分析应用

https://www.jianshu.com/p/b7db4d26361b

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

研究设计模式，使项目开发结构更加灵活，方便修改。

转载于:https://www.cnblogs.com/star-00/p/11199237.html