- 博客(409)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 从0到1搭建数据中台（6）：flink的深入理解
在数据中台的搭建过程中，flink的使用不仅仅是flinkcdc 配置下对mysql的binlog日志监听，进行数据的同步，还承担着任务的调度功能。比如初始化了部分的作业，这些作业在调度执行之后，需要使用flink来完成。flink在实现作业调度功能时候，有两种方式：一是部署的单机模式standalone，一种是部署的集群的模式。
2024-08-09 17:28:07
100
原创 从0到1搭建数据中台（5）：TiDB的安装和使用
使用TiUP进行安装，TiUP可以理解为一个管理TiDB的工具。TiUP统一管理TiDB集群。参照官方的安装步骤安装就行。
2024-07-17 20:32:06
253
原创 从0到1搭建数据中台（4）：neo4j初识及安装使用
在数据中台中，neo4j作为图数据库，可以用于数据血缘关系的存储。图数据库的其他用于主要用于知识图谱，人物关系的搭建，描述实体，关系，以及实体属性。
2024-07-17 17:39:13
538
原创 从0到1搭建数据中台（3）：flinkcdc实现数据从mysql到doris
安装好mysql，并开启binlog日志，找个是flinkcdc的基础安装flink，要启动flinkcdc的任务，可以在flink的web上查看安装doris，配置FE,BE,执行类sql查看表及数据解压flinkcdc，依赖各种connector，上传lib包，编写同步配置文件yaml，设定任务
2024-07-11 20:13:28
431
原创 从0到1搭建数据中台（1）：初识
在相应一些标书的时候会要去区分数据中台，数据交换平台，数据交换平台个人的理解还是偏向于传统的有数据总线，所有的服务都发布到数据总线上来，各个业务部门可以很灵活的配置调用服务。这里如果是数据中台来实现，数据中台实际上有数据服务的一个业务模块，在这个基础上统一通过API来对外提供，比之前的基于webService的更有通用性。数据中台的搭建方法论；数据中台搭建的初步落地，参考极客时间上郭忆的课程，看完就会对全貌有个理解。在从0到1搭建一个数据中台的时候，需要考虑开源的解决方案，在这个基础上再去迭代开发。
2024-07-11 17:24:51
284
原创 Nginx在浏览器地址没有匹配的时候，默认显示第一个
比如直接输入ip地址，因为都无法匹配，就会默认匹配第一个。如果你想要哪个配置文件的默认展示，要把文件放在第一个。这一个conf.d文件里面的顺序很有讲究。nginx.conf中存在如下配置。
2024-06-19 12:02:27
179
原创 技术人如何打造研发团队
主要是很简单的技术沟通，在慢慢走上管理岗位后，也是依据自己的经验，自己的感觉来管理团队，很多时候自己的事情不但没少，反而更多，更多的事情需要亲力亲为，觉得下面的人都不靠谱，也没有多少与自己共心的人，很有挫败感。一个研发组织，各个岗位明确，各个岗位的责任人明确，有事找到对应的责任人，这样就是权责清晰。技术人习惯很多事情靠自己解决，靠自己实现，但是当你成为一名管理者，就同时会有很多管理的事情，所有的事情都要经手，责任更大了，要开始放权，培养自己的团队腰部，很多事情要给到腰部责任人去承接。了解短期及长期目标；
2024-06-10 20:32:15
260
原创 本地化平台部署运维事项
现阶段越来越多的项目都是有云端SAAS部署，流程技术简单多了，需要服务器，数据库云端购买，各大云厂商也能做好服务器的异常拉起，数据库的集群，备份，主从复制等。需要安全证书，安全产品，各种指标监控也都有体系化的支撑，只要出钱什么都可以不用管。但是随着业务的发展，特别是要做的精细化客户运营，还是需要本地化部署，那在本地化部署时，不同于云端有云服务厂商的体系化产品，各种技术保证需要自身来进行支撑，这样就提出了更高的要求。
2024-06-10 19:59:32
310
1
原创 编写shell脚本监听java服务
如果发现服务没有启动，再次判断，累计5次判断失败则重启服务。只要运行这个任务的进程不关闭，那么就可以一直运行下去。每一分钟监听指定java服务，判断服务是否正常启动。另外一种，就是执行脚本只是判断走逻辑，不循环。如果正常启动，不需要额外操作。这里已经是有定时1分钟了。
2024-05-14 18:58:21
299
1
原创 能力进阶心得体会
现阶段的产品提升方向要求更高只可意会不可言传的提升学习也只能是靠自己来悟1.格局，高度，对产品的前瞻性思考2.产品的商业价值，商业属性。
2024-05-10 13:55:59
149
原创 技术人的成长思考
1.专业知识技能：更多的是看技术的发展方向，对一个方向能有深刻的认识，知道这个技术的过去，熟悉他的现状，能够预测他的未来。4.洞察力：对问题的思考更深刻，从技术层面，从人的层面，从公司层面，从商业维度，以现在的眼光，以未来的眼光，多个方面的洞察。2.团队管理能力：打造组织的梯队，有能用的上的几杆枪，更多的是宏观规划事情，想明白后分发下去，以团队能力完成一个事情。3.领导力：公司内部的领导力，而非团队的领导力，包括对公司的其他团队，其他组织有领导力，信服力。3.领导力：有一定的影响力，做事说话能让别人信服。
2023-12-08 10:42:56
525
原创 2023下半年软考架构师-心态崩了
下午的案例，这个就会有深度了，和上午的面广不一样，第一道题是必做，如果这个碰巧你不熟悉，或者知道到没有深度，也不会拿高分，剩下四道题选两道来做，也是看着都会做，都能说两句，但是这个考的很细节，准备的没有匹配上也很难拿高分，我在这一点上准备的就不够。下午论文题，在切换成机考后，完全不用担心时间不够，两个小时明显够用，也是四道题会选一道，与案例题一样，这种就不能是泛泛准备了，是需要深度的，结合项目去写，如果把考察的知识点没有深度认识，直接答非所问那就没啥希望了，这次我这个对可靠性的认识就存在这个问题。
2023-12-07 13:40:02
654
1
原创 vue学习笔记（一）
前端开发，vue学习从0到1的过程肯定会有很多困难，记录一路学习遇到的心得，相信后面回头看过来一定会有不一样的感受和理解。也会对其他同样找寻vue学习路径的人提供邦族
2023-07-19 20:14:05
1070
原创 随笔感想，身体很重要
很多事情能做到什么程度，其实在思想的源头就被决定了，因为它会绝大程度地受到思考问题出发点、思维方式、格局观、价值观等因素的影响
2023-05-16 16:17:27
420
原创 学习《数据分析思维课》后总结梳理
学前，我想通过这个专栏学到什么？平时的工作主要是平台开发，产品规划。之外是技术学习，了解一些新技术；研究产品使用过程中产生的问题，进行分析改进。这个专栏不是很专业的基础课，主要是结合场景的思维培训课，带你去养成看到一个问题，首先从思考问题的方式，思维的角度去提升。属于学习过程中“道法术”中“道”的层面。在实际应用中涉及到某一专享问题需要专业知识再去根据这套思维去学习相应的专业知识。如果是我来讲这个专栏，我会讲什么？1.数据体现在哪里？结合场景2.数据如何收集，结合场景3.数据收集后，如何
2022-06-08 19:26:21
2694
2
原创 学习《说透芯片》后总结梳理
芯片知识扫盲，了解芯片的发展历程，更能明白当下为什么中国芯片产业会被别人卡脖子，思考从芯片设计，芯片制造，芯片验证等各环节如何突破？国内厂家的发展机会又在哪里？
2022-04-13 14:57:15
4587
原创 学习《消息队列高手课》后总结梳理
消息队列是作为后台开发不可忽视的一个技术，在应用发展到一定阶段，肯定是需要通过消息队列的方式来优化业务处理。消息队列由于它特有的性能，会在特定的场景让用户的体验更好。全方位的了解消息队列的原理，特性有助于提高问题的解决能力，精通特定的某一框架，也会加深对技术的深刻认识。
2022-04-06 18:42:36
3458
原创 学习《物联网实战》后总结梳理
说来惭愧，自己虽然一直都是在物联网公司发展，但是在物联网的，设备层，网络层，应用层中，主要就是接触的应用层，很少考虑网络层，基本没有深入过设备层。想着补齐技术栈盲区，学习《物联网实战》。明白什么是物联网？网络的区分，接入的协议？等主要还是要动手实践。准备搞个板子，接入个电灯控制的，用python试下，后续弄完了再来补后续。...
2022-04-01 20:08:25
4672
原创 学习《面试现场》后总结梳理
面试现场，不仅仅是面试相关更是在于平时的积累，这个学完之后，更多的是对齐认知，应聘的人知道面试官的关注点，面试官知道应聘者的关注点，双向选择，对齐认知，在信息不对称中找到平衡点。文中更多的是强调硬实力，而不是面试时形式上，突击式的应对，更多的平时的积累。厚积薄发！这里面讲了很多面试者关注的维度，正好就是技术应聘者在平时需要积累的硬实力。有技术的，业务的，管理的。从不同的角度区分不同的维度。这里也是画了一个脑图，来言简意赅的总结这个课程的纲，至于具体的细节，老师的说法和别人的理解是一回事，自己的理
2022-03-25 19:54:54
261
原创 学习《技术管理实战》后梳理总结
技术人职业发展的一种可能的方向是什么？技术管理者的职业形态是什么？技术管理，认识熟悉它，执行贯彻它，实现总结它，一图梳理如下：
2022-03-09 16:58:07
232
原创 设计模式在项目中的应用（持续更新）
目前设计模式的介绍已经很多，自己也有一定的了解，但是在代码落地中不够，与业务的结合还比较欠缺。那通过这篇文章记录下：在思考特定的设计模式的时候，如何恰如其分的与我们的业务结合起来，并进行落地。我觉得要思考到这一点，或这个层面的话，也是需要对业务有很深的理解，然后对具体的某个设计模式有深刻的认识，才能将他们结合起来。...
2022-01-19 13:45:05
3490
原创 springboot 原理梳理
csdn上关于springboot 的原理也是多如牛毛，这里还是再次梳理下这个，说是新瓶装旧酒也是可以的，只是记录下从自己角度看到的这个理解。
2022-01-18 14:00:30
367
原创 以十年维度思考技术的发展
拟这个标题有点夸大了，未来别说十年，就是一年也很难说准，这里这么写，就是特意让自己去这么思考，从一个大的维度，大的格局来思考技术的发展。也是最近是想思考架构师的能力，那这种前瞻性的预判就需要与之对应的眼界来把我。要思考未来十年，首先要总结好过去二十的发展历程。从二十一世纪后开始回顾。第一个十年：这个时候的我主要是中学，高中，大学的前两年，自己的眼界，见识都是相对同龄人比较闭塞的。我现在也会去假设，要是当时见识的更多一点，思考的更多一点，我的人生会不会有所不同。这种见识的低，表现为书看
2022-01-13 22:24:05
9345
原创 技术人员的发展方向
一直有在思考自己在公司中的定位，定位不清晰也会产生迷茫。是作为技术开发人员，技术主管，技术总监，架构师？身份也只是一个标识，主要是做的事情：a.代码编写b.团队管理c.业务架构d.新技术学习分享e.公司业务的思考基本上就是上述这些了，那再对应到具体角色，可能是个开发小组长？研发总监？自己从16年毕业，刚入这行，身份定位是后端开发工程师，那现在做的事情与那个时候最大的不同，可能是那时是别人给自己安排工作，现在是自己给别人安排工作，当然也要自己做一些设计和架构的任务，受限
2022-01-06 12:02:29
1627
原创 redis 框架梳理
用了这么久的redis了，是不是只知道它是一个缓存框架，key-value架构，value支持五种基本类型，读取效率高，支持aof和rdb两种持久化模式，使用时可以用redisTemplate 和 jedis，集群模式能保证全局一致性，还可以应用到一致性锁等功能。知道怎么用，但没有一个全局观念。之前看的一个架构课老师郭东白的课程，第一句就是：没有战略眼观的架构师不是一个好架构师。那这边文章就是从战略维护来剖析下redis框架。一、redis以前二、redis的诞生三、redis的单机使用
2022-01-06 10:39:43
2199
原创 DDD 初识总结
一、DDD是什么？DDD 是 domain drive design 领域驱动的设计模式其实，DDD的提出是很早就被提出来了，只是2003年被提出来的时候，那个时候的整体开发模式还都是单体应用，一个大的项目，有啥就往里面堆啥，DDD也没有显出它的优势。都是面向用户驱动的编程，面向对象的编程。这里的领域，在当下的微服务场景下，才有了用武之地，可以抽象出用领域去对应微服务，立马就能和微服务很好的结合。二、DDD有什么用？DDD可以很好的指导项目的设计、开发。用来做系统架构和落地。DDD分
2021-12-30 17:01:15
1881
转载 Linux awk命令详解
1.简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的
2021-12-07 15:34:41
3481
原创 @Transactional 注解详解
spring 的注解 @Transaction 注解很神奇主要在一个方法上面声明的这个注解，那个这个方法在执行时，涉及到数据库的执行就是要么全部成功，要么全部失败1.注解的原理2.@Transaction 的原理3.方法嵌套注解如何使用4.@Transaction 注解的坑5.总结...
2021-12-03 12:02:23
1425
原创 shell脚本统计文本文件中某个单词出现次数
现在有个场景，就是有一个文本文件，要统计里面某个单词的出现频率，或者统计单词出现频率最最多的前十分别是哪些？拿到这样的需求，对于做后台开发的并不陌生，我们在处理日志文件文件时候，里面都会有日志级别的关键字：INFO, ERROR,DEBUG,WARN等。我们想知道ERROR出现了多少次，INFO出现了多少次也是经常的应用场景，那我们如何实现这样的功能？可能比较快速反应出来的思路就是用java 代码实现，通过文件流读取文件，然后一行一行遍历，遍历一行的时候，再通过遍历一个个单词，最后存储到map中，统
2021-12-02 15:40:31
3082
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人