- 博客(98)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 操作hive的UDF
关闭会话就结束了生命周期，下次要想使用，需要重新注册。再打开以及其他机器使用 jdbc 连接均可操作此函数。，远程连接 hiveserver2 等地方永久使用。区别在函数注册上，其他同上。永久函数一旦注册，可以在。
2023-04-01 18:01:03
224
1
原创 java调用http请求方式
URLConnection、HttpURLConnection、HttpClient、OkHttp、ResetTemplate
2022-07-03 23:15:34
648
原创 Filebeat自定义index和fields
filebeat自定义索引名，filebeat索引模板，filebeat更改mapping字段类型
2022-06-25 17:23:48
3259
原创 Redis缓存序列化问题
RedisTemplate，StringRedisTemplate，JdkSerializationRedisSerializer，keygenerator
2022-06-05 16:59:50
1525
原创 JVM启动参数备查
目录verbose扩展参数非Stable参数行为参数列表性能调优参数列表调试参数列表java启动参数共分为三类其一是标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；其二是非标准参数（-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容；其三是非Stable参数（-XX），此类参数各个jvm实现会有所不同，将来可能会随时取消，需要慎重使用；非标准参数又称为扩展参数verbose-verbose:class输出jvm载入类的相关
2022-05-29 16:53:37
108
原创 SpringBoot常用注解速查
目录@Component、@Responsity、@Service、@Controller@Controller@Service@Responsity@Component@RestController与@Controller区别@Configuration和@Component区别加载过程@Bean@Resource、@Autowired@RequestMapping@RequestParam@Conditional@Transient@Component、@Responsity、@Service、@Co
2022-05-21 10:21:36
831
原创 架构设计文档模板参考
目录备选方案模板需求介绍需求分析5W1H8C复杂度分析高可用高性能可扩展备选方案备选方案评估架构设计模板总体方案架构总览核心流程详细设计高可用设计高性能设计可扩展设计安全设计其他设计部署方案架构演进规划以类微博功能的消息队列为例，给出架构设计中最重要的两个文档的模板和关键说明。这个案例文档仅给出一些关键内容供参考，部分细节无法全面覆盖或者完全保证正确。备选方案模板需求介绍需求介绍主要描述需求的背景、目标、范围等随着业务的不断发展，业务上拆分的子系统越来越多，目前系统间的调用都是同步调用，由此带来几
2022-05-15 13:50:00
957
原创 谈谈App开发的演进
目录web app原生appHybrid Appweb app最早的 App 有很多采用这种架构，大多数尝试性的业务，一开始也是这样的架构。Web App 架构又叫包壳架构，简单来说就是在 Web 的业务上包装一个 App 的壳，业务逻辑完全还是 Web 实现，App 壳完成安装的功能，让用户看起来像是在使用 App，实际上和用浏览器访问 PC 网站没有太大差别。Web App 这种包壳架构主要解决快速开发和低成本两个复杂度问题，设计遵循合适原则和简单原则。原生appWeb App 虽然解决了快速
2022-05-08 11:02:21
185
原创 系统重构的注意点
目录有的放矢沟通协调合纵连横分段实施优先级排序问题分类先易后难循序渐进相比全新的设计来说，重构相对更复杂，主要体现在：业务已经上线，不能停下来；关联方众多，牵一发动全身，如何尽量减少对关联方的影响，或者协调关联方统一行动，是一项很大的挑战；旧架构的约束，重构需要在旧的设计基础上进行，这是一个很强的约束，会限制选择范围，即使是推倒重来，完全抛弃旧的而去设计新的，新设计也会受到旧设计的约束和影响，因为业务在旧方案上产生的数据是不能推倒重来的，新设计必须考虑如何将旧方案产生的数据转换过来。有的放矢
2022-04-30 23:51:11
750
原创 互联网平台技术了解
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-04-17 10:00:46
522
转载 开发vue后台管理系统参考
目录前言项目基本简介功能准备工作目录结构安装页面布局axios封装配置不同环境权限验证及侧边栏路由权限验证动态添加侧边栏其他Object.freeze方法require.contextcdn引入项目地址 vue-admin-webapp 欢迎star，fork前言相信许多人和我一样刚接触 vue 时看文档都很枯燥，看完 vue，还有 vueRouter 、vuex 、vue-cli、es6 (学不动了。。。 ) 对于看完教程之后又迟迟不能上手实际项目，只能写一些简单的小demo,这肯定和实际生产
2022-04-09 11:33:10
1214
原创 互联网开发用户层和业务层技术了解
目录用户层技术用户管理单点登录授权登录消息推送存储云、图片云用户层技术用户管理单点登录各个子系统统一登录。单点登录的技术实现手段较多，例如 cookie、JSONP、token 等，目前最成熟的开源单点登录方案当属 CAS，其架构如下授权登录允许第三方应用接入，现在最流行的授权登录就是 OAuth 2.0 协议，基本上已经成为了事实上的标准。用户管理系统面临的主要问题是用户数巨大，用户数据量虽然大，但是不同用户之间没有太强的业务关联，A 用户登录和 B 用户登录基本没有关系。因此虽然数据量巨
2022-04-03 09:52:49
3282
原创 互联网开发网络层技术了解
目录负载均衡DNSNginx 、LVS 、F5CDN多机房多中心当我们站在一个公司的的角度来思考架构的时候，单个系统的高可用和高性能并不等于整体业务的高可用和高性能，互联网业务的高性能和高可用需要从更高的角度去设计，这个高点就是“网络”，所以我将相关措施统一划归为“网络层”。注意这里的网络层和通常理解的如何搭建一个局域网这种概念不一样，这里强调的是站在网络层的角度整体设计架构，而不是某个具体网络的搭建。负载均衡将请求均衡地分配到多个系统上DNSDNS 是最简单也是最常见的负载均衡方式，一般用来实现
2022-03-26 11:52:22
2817
原创 互联网开发层和服务层技术了解
目录开发层技术开发框架WEB服务器容器服务层技术配置中心服务中心服务名字系统服务总线系统两者对比消息队列开发层技术开发框架互联网业务发展的一个特点：复杂度越来越高。复杂度增加的典型现象就是系统越来越多，不同的系统由不同的小组开发。如果每个小组用不同的开发框架和技术，则会带来很多问题，典型的问题有：技术人员之间没有共同的技术语言，交流合作少；每类技术都需要投入大量的人力和资源并熟练精通；不同团队之间人员无法快速流动，人力资源不能高效的利用所以，互联网公司都会指定一个大的技术方向，然后使用统一
2022-03-19 17:38:20
340
原创 互联网存储层技术了解
目录SQLNoSQL小文件存储大文件存储SQL业务发展到一定阶段后，需要拆库拆表来满足业务的进一步发展，一般做法是将这部分功能独立成中间件，如百度的 DBProxy、淘宝的 TDDL，开源方案如 MySQL的 MySQL Router、360 开源的 Atlas。假如业务继续发展，规模继续扩大，SQL 服务器越来越多，如果每个业务都基于统一的数据库中间件独立部署自己的 SQL 集群，就会导致新的复杂度问题，具体表现在：数据库资源使用率不高，比较浪费；各 SQL 集群分开维护，投入的维护成本越来越
2022-03-12 11:40:53
1739
原创 互联网技术演进了解
目录业务复杂性初创期发展期堆功能优化竞争期成熟期用户规模性能可用性量变到质变互联网业务千差万别，但由于它们具有“规模决定一切”的相同点，其发展路径也基本上是一致的。互联网业务发展一般分为几个时期：初创期、发展期、竞争期、成熟期。不同时期的差别主要体现在两个方面：复杂性、用户规模业务复杂性互联网业务发展第一个主要方向就是业务越来越复杂。初创期互联网业务刚开始一般都是一个创新的业务点，这个业务点的重点不在于完善，而在于创新，只有创新才能吸引用户；而且因为其新的特点，其实一开始是不可能很完善的。只有随
2022-03-04 18:32:53
2262
原创 技术更新迭代的金箍棒
目录个人决策者决策的因决策的方向本文性质是笔记重点，而原文谈的是决策者角色，故下文个人角色仅供参考个人个人喜爱技术，那么你也是乐于了解各种新技术的；技术的迭代升级，是解决某方面的问题或者改善原有的不足缺陷之类；限于个人认知，基础技术级的突破是较难的，需要理论的支撑；更多还是架构或方案设计上的迭代升级，工程业务上的优化解决方案；在了解熟悉基础理论的基础上，面对技术的迭代，了解学起来不会很头疼，还会很开心的；决策者面对新技术一般有三种表现：潮流派潮流派的典型特征就是对于新技术特别热衷
2022-02-26 11:46:14
7043
原创 vue3+fontawesome
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-02-20 20:38:48
706
原创 微内核结构了解
目录基本结构设计关键点插件管理插件连接插件通信基本结构微内核架构包含两类组件：核心系统（core system）和插件模块（plug-in modules）。核心系统负责和具体业务功能无关的通用功能，例如模块加载、模块间通信等；插件模块负责实现具体的业务逻辑。微内核的架构本质就是将变化部分封装在插件里面，从而达到快速灵活扩展的目的，而又不影响整体系统的稳定。设计关键点微内核的核心系统设计的关键技术有：插件管理、插件连接和插件通信插件管理核心系统需要知道当前有哪些插件可用，如何加载这些插件，什
2022-02-12 15:00:25
1298
原创 微服务实践
目录方法篇服务粒度拆分方法基于业务逻辑拆分基于可扩展拆分基于可靠性拆分基于性能拆分基础设施基础设施篇方法篇服务粒度针对微服务拆分过细导致的问题，我建议基于团队规模进行拆分，类似贝索斯在定义团队规模时提出的“两个披萨”理论（每个团队的人数不能多到两张披萨都不够吃的地步），分享一个我认为微服务拆分粒度的“三个火枪手”原则，即一个微服务三个人负责开发。为什么是 3 个人，不是 4 个，也不是 2 个呢？首先，从系统规模来讲，3 个人负责开发一个系统，系统的复杂度刚好达到每个人都能全面理解整个系统，又能够
2022-02-05 18:23:02
484
原创 微服务与SOA
目录微服务与SOA的关系服务粒度服务通信服务交付应用场景总结微服务的陷阱服务划分过细，服务间关系复杂服务数量太多，团队效率下降调用链太长，性能下降调用链太长，问题定位困难没有自动化支撑，无法快速交付没有服务治理，微服务数量多了后管理混乱参考维基百科，简单梳理一下微服务的历史2005 年：Dr. Peter Rodgers 在 Web Services Edge 大会上提出了“Micro-Web-Services”的概念;2011 年：一个软件架构工作组使用了“microservice”一词来描述一种
2022-01-29 12:24:39
843
原创 分层架构和SOA
目录分层架构C/S架构、B/S架构MVC 架构、MVP 架构逻辑分层架构总结SOA服务ESB松耦合总结分层架构分层架构是很常见的架构模式，它也叫 N 层架构，通常情况下，N 至少是 2 层。例如，C/S 架构、B/S 架构。常见的是 3 层架构（例如，MVC、MVP 架构）、4 层架构，5 层架构的比较少见，一般是比较复杂的系统才会达到或者超过 5 层，比如操作系统内核架构。按照分层架构进行设计时，根据不同的划分维度和对象，可以得到多种不同的分层架构C/S架构、B/S架构划分的对象是整个业务系统，
2022-01-22 10:36:03
2490
原创 软件系统的可扩展
目录扩展的基本思想—拆面向流程拆分面向服务拆分面向功能拆分扩展方式软件系统与硬件和建筑系统最大的差异在于软件是可扩展的，一个硬件生产出来后就不会再进行改变、一个建筑完工后也不会再改变其整体结构。相比之下，软件系统就完全相反，如果一个软件系统开发出来后，再也没有任何更新和调整，反而说明了这套软件系统没有发展、没有生命力。真正有生命力的软件系统，都是在不断迭代和发展的，典型的如 Windows 操作系统。扩展的基本思想—拆拆，就是将原本大一统的系统拆分成多个规模小的部分，扩展时只修改其中一部分即可，无须整
2022-01-16 23:36:00
3198
原创 应对业务高可用问题
目录系统级故障-异地多活类型同城异区跨城异地跨国异地技巧保证核心业务的异地多活保证核心数据最终一致性采用多种手段同步数据只保证绝大部分用户的异地多活步骤第 1 步：业务分级第 2 步：数据分类第 3 步：数据同步第 4 步：异常处理接口级故障降级熔断限流排队系统级故障-异地多活类型异地多活：指不同地理位置上的系统都能够提供业务服务。判断一个系统是否符合异地多活，需要满足两个标准：正常情况下，用户无论访问哪一个地点的业务系统，都能够得到正确的业务服务；某个地方业务异常的时候，用户访问其他地方正常的
2022-01-08 17:39:21
1667
原创 计算高可用回顾
目录主备主从集群对称集群非对称集群计算高可用的主要设计目标是当出现部分硬件损坏时，计算任务能够继续正常运行，因此计算高可用的本质是通过冗余来规避部分故障的风险。关键点如下两点：哪些服务器可以执行任务第一种方式，每个服务器都可以执行任务，例如常见的网站访问；第二种方式，只有特定的服务器(主机)可以执行任务，如zookeeper的leader才能处理写请求；任务如何重新执行第一种策略是对于已经分配的任务即使执行失败也不做任何处理，系统只需要保证新的任务能够分配到其他非故障服务器上执行即可；
2022-01-02 23:38:28
799
原创 哲学家进餐问题
目录简单实现会死锁全局固定顺序获取多把锁避免死锁ReentrantLock的超时避免死锁描述：五位哲学家围绕一个圆桌就座，桌上摆着五支(不是五双)筷子，哲学家的状态可能是思考或者饥饿，如果饥饿哲学家就拿起他旁边的筷子进餐一段时间，进餐结束就放回筷子。简单实现会死锁代码描述如下：public class Philosopher extends Thread { private final Chopstick left; private final Chopstick right;
2021-12-19 23:32:52
102
原创 CPU及地址空间回顾
目录CPU多核CPU [^1]地址空间分段地址转换分页CPU计算机中各个部件都有频率，比如内存频率，CPU频率，总线频率等，为了协同工作有一个基准频率，即总线速度，也叫CPU外频，其他频率都是这个频率的倍数(倍频技术)。倍频：通过技术手段把外频传递到CPU内部时翻一定的倍数；右图中核心速度即是CPU主频，主频=外频*倍频；睿频：保证CPU稳定的同时拉高倍频来提升主频；超频：人为拉高外频或倍频来获得更高的主频，稳定性不能保证，尤其是超外频，严重时会造成硬件烧毁；随着制造工艺限制提升单核心频率
2021-12-12 17:28:33
1411
原创 计算机组成及总线
目录冯·诺依曼结构计算机总线相关总线名词微型计算机冯·诺依曼结构计算机1944年，美籍匈牙利数学家冯·诺依曼提出计算机基本结构和工作方式的设想，为计算机的诞生和发展提供了理论基础。要点：计算机硬件设备由存储器、运算器、控制器、输入设备和输出设备5部分组成；存储程序思想，把计算过程描述为由许多命令按一定顺序组成的程序，然后把程序和数据一起输入计算机，计算机对已存入的程序和数据处理后，输出结果。总线ISA(Industry Standard Architecture)：IBM公司为286
2021-12-12 17:13:34
694
原创 使用FMEA来分析系统的可用性
目录FMEA（Failure mode and effects analysis，故障模式与影响分析）又称为失效模式与后果分析，是一种在各行各业都有广泛应用的可用性分析方法，通过对系统范围内潜在的故障模式加以分析，并按照严重程度进行分类，以确定失效对于系统的最终影响。FMEA 最早是在美国军方开始应用的，20 世纪 40 年代后期，美国空军正式采用了 FMEA。尽管最初是在军事领域建立的方法，但 FMEA 方法现在已广泛应用于各种各样的行业，包括半导体加工、餐饮服务、塑料制造、软件及医疗保健行业。
2021-12-05 23:36:16
383
原创 数据一致性相关理论学习
目录一致性（Consistency）可用性（Availability）分区容忍性（Partition Tolerance）应用CP - Consistency/Partition ToleranceAP - Availability/Partition ToleranceCAP 定理（CAP theorem）又被称作布鲁尔定理（Brewer’s theorem），是加州大学伯克利分校的计算机科学家埃里克·布鲁尔（Eric Brewer）在 2000 年的 ACM PODC 上提出的一个猜想。2002 年，
2021-11-28 23:48:56
1195
原创 负载均衡的分类和算法
目录DNS负载均衡硬件负载均衡软件负载均衡负载均衡方式组合负载均衡算法轮询加权轮询负载最低优先性能最优类Hash类单服务器无论如何优化，无论采用多好的硬件，总会有一个性能天花板，当单服务器的性能无法满足业务需求时，就需要设计高性能集群来提升系统整体的处理性能。高性能集群的复杂性主要体现在需要增加一个任务分配器，以及为任务选择一个合适的任务分配算法。高性能集群的本质很简单，通过增加更多的服务器来提升系统整体的计算能力。由于计算本身存在一个特点：同样的输入数据和逻辑，无论在哪台服务器上执行，都应该得到相
2021-11-21 16:00:48
681
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人