自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1312)
  • 资源 (2)
  • 收藏
  • 关注

原创 Java架构师系统架构设计资源估算

目录1 认识资源估算1.1 预估未来发展1.2 资源估算的意义2 资源估算方法2.1 确定系统目标2.2 并发用户数2.3 指标数据3 资源估算的经验法则4 资源估算的常见参考数据4.1 带宽估算4.2 nginx估算4.3 tomcat估算4.4 操作系统估算4.5 redis估算4.6 mysql估算5 并发人数估算5.1 请求量5.2 数据量6 lvs和nginx的计算6.1 lvs估算6.2 nginx估算7 tomcat的数量估算7.1 读的方面计算

2023-10-10 10:48:43 792

原创 Java架构师系统架构设计性能评估

目录1 导论2 架构评估基础系统性能衡量的基本指标2.1 系统性能的指标2.2 数据库指标2.3 并发用户数2.4 网络延迟2.4 系统吞吐量2.5 资源性能指标3 架构评估基础服务端性能测试3.1基准测试3.2 负载测试3.3 压力测试3.4 疲劳强度测试3.5 容量测试

2023-10-09 22:51:36 817

原创 Java架构师系统架构设计服务拆分

目录1 服务拆分和子系统模块拆分1.1 服务化架构的优势2 描绘系统蓝图里面的详解服务2.1 为什么拆分服务3 服务拆分的基本要求3.1 服务功能是自包含的3.2 服务呢应该具备独立性和专业性3.3 服务是无状态的3.4 服务之间采用轻量级的通讯机制4 服务拆分的基本方法4.1 按业务边界拆分4.2 按业务功能进行横向和纵向的拆分4.3 按服务分层拆分4.4 性能进行服务的拆分4.5 安全进行服务拆分4.6 复用服务拆分5 子系统和模块拆分的方法5.1 按业务功能进行聚

2023-10-09 14:58:45 288

原创 Java架构师系统架构设计确定系统边界

目录1 项目背景2 初始业务场景分析2.1 业务的需求分析重要性2.2 全面深入的理解业务从零到一从无到有2.3 需求分析3 需求分析明确系统边界4 高层架构设计4.1 技术架构4.2 部署架构4.3 安全架构4.4 存储架构5 高层架构设计确定系统边界5.1 如何去跟第第三方系统进行交互5.2 明确系统该做什么而不做什么5.3 系统和外部的系统交互关系5.4 系统的运行环境以及呢前置条件6 总结

2023-10-09 12:05:24 600

原创 Java架构师必备基本功需求分析步骤

目录1 逐字逐句拆分需求2 业务流程串通2.1 业务走查法是按照业务执行的步骤进行2.2 检查这个业务业务的可行性2.3 和逐字逐句读区别3 问题挖掘法4 业务功能点分析4.1 思考功能点的触发方式4.2 功能点操作的前置条件4.3 考虑在界面表现形式4.4 功能点执行完成过后会不会有连带的业务功能5 业务流程详细分析5.1 对业务流程的业务背景还有整体功能要进行详细的描述5.2 通过流程图来加深对业务的理解5.3 分析节点的参与者或者说是角色都有哪些

2023-10-06 15:13:35 577

原创 Java架构师必备基本功需求调研和分析

目录1 导学2 需求调研2.1 调研人员2.1.1 头脑灵活访谈2.1.2 懂技术人员2.1.3 擅长沟通人员2.1.4 业务经验多2.1.5 情商要高2.2 需求调研的目标2.2.1 真实和尽可能的多需求2.2.2 调研之前我们该做些什么2.2.3 尽量要可视化2.2.4 多要资料3 需求分析要做什么3.1 需求分析目标3.1.1 没有歧义且不可再分3.1.2 全面3.1.3 识别重难点业务3.1.3 识别非功能需求和质量约束4 需求分析初步明确系统边界

2023-10-06 12:51:21 345

原创 Java架构师设计思想

目录1 设计核心思想封装2 设计核心思想隔离2.1 隔离的好处3 设计思想由大到小,由粗到精,逐步细化3.1 由大到小3.2 由粗到精3.3 逐步细化4 设计思想迭代4.1 和设计思想由大到小,由粗到精,逐步细化区别5 总结

2023-10-05 16:28:02 235

原创 Java架构师职责和技能

目录1 架构师简介2 架构师职责2.1 架构师是技术领导架构设计做决策2.2 架构师可以是团队或者组织2.3 架构师必须掌握足够的技术知识2.4 架构师必须掌握足够的架构设计技能2.5 架构师必须具备很好的编程能力2.6 架构师必须深入理解业务及其业务的领域知识2.7架构师应该具备很好的沟通能力2.8 架构师必须了解软件过程,为项目的全流程提供支持3 架构、架构设计和架构师的关系4 开发人员和架构师差距4.1 架构师技术更全面4.2 架构师掌握技术更深入4.3 架构师开发经验

2023-10-05 11:29:15 673

原创 Java架构师功能设计和架构设计

目录1 架构设计理念1.1 架构定义1.2 文档编写1.3 维护和改进1.4 验证实现1.5 总结2 深入理解和认识架构设计2.1 架构设计关注哪些东西2.2 架构设计是一系列的活动不断演化和完善的过程2.3 架构设计跨越软工的全流程2.3.1 软工的全流程的原因3 功能设计概念4 理解和认识功能设计和架构设计4.1 功能设计与架构设计是互补的关系4.2 只有架构设计的弊端4.3 功能设计遇到的问题4.4 功能设计复用5 架构师架构设计概念5.1 高层架构设计阶段

2023-10-04 16:08:07 482

原创 Java架构师系统架构设计

目录1 导学1.1 技术提升依然突破不了职业的瓶颈1.2 技术提升可薪资依然涨不上去1.3 学了架构课程依然觉得自己成长很慢2 架构的基本认识2.1 什么是架构2.2 为什么要做架构设计3 深入理解和认识架构。3.1 架构定义的行为。3.2 架构关注系统的主要元素3.3 平衡关注点3.4 架构会受到环境的影响3.5 架构会影响开发团队的结构4 架构分类

2023-10-04 14:35:40 1273

原创 大数据Spark DataFrame/DataSet常用操作

目录1 一般操作:查找和过滤1.1 读取数据源1.1.1读取json1.1.2 读取Hive表1.2 取数据列1.3 过滤算子filter(filter等价于where算子)2 聚合操作:groupBy和agg2.1 排序算子sort(sort等价于orderBy)2.2 分组函数groupBy2.2.1 分组计数2.2.2 分组后求最值、平均值、求和的方法2.2.3 分组后,求多个聚合值(最值、平均值等)。使用算子groupBy+agg2.2.4 分组聚合后取别名2.2.5 分组后行转列,使用pivot2

2021-12-19 15:45:15 3749

原创 大数据Sqoop将mysql直接抽取至Hbase

目录1 HBase 表设计2 Sqoop直接导入3 另一种常用思路批量导入1 HBase 表设计用户基本信息: tbl_users-- 1、如果用户表存在先删除hbase(main):013:0> disable 'tbl_users'hbase(main):014:0> drop 'tbl_users'-- 或者清空表hbase(main):015:0> truncate 'tbl_users'-- 2、创建用户表hbase(main):016:0> creat

2021-12-15 20:30:00 3312

原创 Spark多语言开发

目录1 多语言开发-说明2 Java-Spark-掌握2.1 SparkCore2.2 SparkStreaming2.3 SparkSQL2.4 StructuredStreaming2.5 线性回归算法-房价预测案例2.5.1 需求代码实现3 PySpark-了解3.1 SparkCore3.2 SparkStreaming3.3 SparkSQL3.4 StructuredStreaming3.5 决策树算法-相亲决策案例需求3.5.1 思路3.5.2 代码实现1 多语言开发-说明2 Java

2021-11-15 21:00:00 8371

原创 大数据Spark Streaming实时处理Canal同步binlog数据

目录1. Canal 环境搭建2 配置Canal2.1 下载Canal2.2 解压2.3 修改instance 配置文件2.4 修改canal.properties配置文件2.5 启动Canal2.6. 验证2.7. 关闭Canal3 Spark实现实时数据分析3.1 在Mysql中创建如下两张表3.2 Spark代码开发3.2.1 在resources下new一个项目的配置文件my.properties3.2.2 在pom.xml文件中引入如下依3.2.3 在scala源码目录下的包下编写配置文件的工具类

2021-11-12 20:45:00 2746

原创 Hive数据仓库数据分析

目录1 创建数据仓库2 创建Hive分区表3 数据分析3.1 统计总记录数3.2 统计非空记录数3.3 关键词分析3.4 uid分析4 用户行为分析4.1 单击次数与rank之间的关系4.2 个性化行为分析5 实时数据1 创建数据仓库我们的目标是在Hive中创建数据仓库,以便利用Hive的查询功能实现交互式数据处理,所以接下来在Hive客户端进行操作。确保Hadoop和MySQL服务已经启动后再进入Hive客户端,命令如图10-11所示。hivecreate database sogou;下

2021-11-05 21:00:00 5584

原创 大数据Spark MLlib推荐算法

目录1 相似度算法1.1 欧几里德距离算法1.2 基于夹角余弦相似度算法2 最近邻域3 交替最小二乘法3.1 最小二乘法3.2 交替最小二乘法3.3 ALS算法流程3.4 ALS算法实战3.4.1 数据说明3.4.2 数据建模3.4.3 实战3.4.4 优化改进1 相似度算法无论是基于用户还是基于商品的推荐,都是需要找到相似的用户或者商品,才能做推荐,所以,相似度算法就变得非常重要了。常见的相似度算法有:欧几里德距离算法(Euclidean Distance)皮尔逊相似度算法(Pearson

2021-10-24 18:21:50 6793

原创 数据仓库搭建

目录1 数据仓库概念1.1 什么是数据仓库1.2 OLTP与OLAP2 项目需求及架构设计3 项目框架4 框架版本选型4.1 Hadoop版本综述4.2 社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版(CDH/HDP/MapR)4.3 第三方发行版的比较4.4 版本选择5 服务器选型6 集群资源规划设计7 测试集群服务器规划1 数据仓库概念数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数

2021-06-30 20:37:31 5906 6

原创 大数据Spark框架概述

目录1 Spark 是什么2 Spark 四大特点2.1 速度快2.2 易于使用2.3 通用性强2.4 运行方式3 Spark 框架模块3.1 Spark Core3.2 Spark SQL3.3 Spark Streaming3.4 Spark MLlib3.5 Spark GraphX3.6 Structured Streaming4 Spark 运行模式1 Spark 是什么Spark 是加州大学伯克利分校AMP实验室(Algorithms Machines and People Lab)开发的

2021-05-04 16:51:17 4739 10

原创 SpringClould-Gateway和nginx网关的区别

目录1 SpringClould-Gateway和nginx2 Zuul和Spring Cloud Gateway3 Nginx在微服务中的地位4 小结1 SpringClould-Gateway和nginx有一天又有人问到我这个,当时没有想过,就说了个软硬件和路由问题其实再想一些业务的话,简单的说gateway 是前端工程 到 后台服务器之间的一个 对内网关,nginx是用户到 前端工程 的网关,对外网关,使其还可以细说没有研究到那么深比如原理性的东西2 Zuul和Spring Cloud Ga

2021-04-06 08:50:51 18981 2

原创 Hbase+ES和MongoDB存储大数据的选用

目录1 需求2 架构设计3 HBase和MongoDB的区别1 需求解决海量数据的存储,并且能够实现海量数据的秒级查询Hbase是典型的nosql,是一种构建在HDFS之上的分布式、面向列的存储系统,在需要的时候可以进行实时的大规模数据集的读写操作;但是hbase的语法非常固话,即便在hbase之上嫁接了phoneix在应对复杂查询的时候,仍然力不从心;所以说很多公司在历史遗留问题,最开始数据存储在hbase上,当业务越来越复杂,数据量越来越大的时候,使用hbase构建复杂的查询就很吃力了,甚至很

2021-03-16 23:20:00 4460

原创 Token泄露引发的问题

1 如何防止token劫持或者说是泄露?token肯定会存在泄露的问题。比如我拿到你的手机,把你的token拷出来,在过期之前就都可以以你的身份在别的地方登录。解决这个问题的一个简单办法在存储的时候把token进行对称加密存储,用时解开。将请求URL、时间戳、token三者进行合并加盐签名或者缓存用户的ip地址也是不错的选择,服务端校验有效性。这两种办法的出发点都是:窃取你存储的数据较为容易,而反汇编你的程序hack你的加密解密和签名算法是比较难的。然而其实说难也不难,所以终究是防君子不防小人的做

2021-02-23 11:01:01 11986 2

原创 kafka快速入门

目录1 kafka1.1 kafka介绍1.2 kafka安装和配置1.2.1 jdk环境1.2.2 zookeeper安装1.2.3 kafka安装1.3 kafka入门案例1.3.1 创建工程kafka-demo1.3.2 消息生产者1.3.3 消息消费者1.3.4 测试及结论-重要1.3.5 相关概念再介绍1.3.5 生产者详解-理解1.3.6 消费者详解-理解1.4 spring boot集成kafka收发消息1.4.1 环境搭建1.4.2 消息生产者1.4.3 消息消费者1.4.4 测试1.5 传

2021-02-17 12:02:21 1431

原创 常见登录密码加密方式

目录1 常见的加密方式1.1.可逆加密算法1.1.1. 对称加密1.1.2. 非对称加密1.2.不可逆加密算法1.3.Base64编码2 密码加密的方式选型2.1 MD5密码加密2.2 手动加密(md5+随机字符串)2.3 . BCrypt密码加密3 jwt介绍3.1 token认证-面试3.2 什么是JWT?3.3 生成token1 常见的加密方式由于在学习JWT的时候会涉及使用很多加密算法, 所以在这里做下扫盲, 简单了解就可以加密算法种类有:1.1.可逆加密算法解释: 加密后, 密文可以反

2021-02-16 18:24:15 15759 1

原创 SpringData ElasticSearch

目录1 SpringData ElasticSearch简介2 ElasticSearch环境搭建2.1 安装ElasticSearch2.1.1 准备工作2.1.2 文件上传2.1.3 文件解压2.1.4 添加用户2.1.5 修改配置2.1.6 启动elasticSearch2.1.7 访问测试2.2 安装Head插件2.2.1 安装nodeJS2.2.2 安装cnpm2.2.3 安装grunt2.2.4 安装head插件2.2.5 安装head插件所需依赖2.2.6 修改elasticsearch的配置

2021-01-18 22:14:48 2670

原创 SpringData Redis

目录1 SpringData Redis简介2 Redis环境搭建2.1 安装redis的依赖环境2.2 上传安装包2.3 解压2.4 编译2.5 安装2.6 复制配置文件2.7 修改redis的配置文件2.8 启动redis服务3 SpringData Redis入门案例3.1 创建工程,引入坐标3.2 创建配置文件3.3 创建测试类,完成一条简单数据的存取4 SpringData Redis的序列化器5 SpringData Redis运行原理分析6 SpringData Redis常见操作6.1 St

2021-01-18 22:13:26 1382

原创 分布式事务常见解决方案

目录1 分布式事务的概念2 分布式事务的实现的 5 种方案2.1 两阶段提交方案2.2 TCC 方案2.3 本地消息表2.4 可靠消息最终一致性方案2.5 最大努力通知方案3 总结4Seata实现分布式事务1 分布式事务的概念分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单来说就是组成事务的各个单元处于不同数据库服务器上。相信同学们都接触过这种场景,手机支付,付款方和收款方的银行账号不是同一.

2021-01-08 21:40:06 977

原创 ElasticSearch工作原理

目录1 es 写数据过程2 es 读数据过程3 es 搜索数据过程4 写数据底层原理5 删除/更新数据底层原理1 es 写数据过程客户端选择一个 node (es节点)发送请求过去,这个 node 就是coordinating node(协调节点)。 coordinating node对 document 进行路由,将请求转发给对应的 node(有 primary shard)。 实际的 node 上的primary shard处理请求,然后将数据同步到repl...

2021-01-01 16:07:14 1516

原创 ElasticSearch高级操作

目录1 ElasticSearch高级操作1.1 bulk批量操作-脚本1.2 bulk批量操作-JavaAPI1.3 导入数据-分析&创建索引1.4 导入数据-代码实现1.5 导入数据-代码实现-详解2 ElasticSearch查询2.1 matchAll-脚本2.2 matchAll-JavaAPI2.3 termQuery2.4 matchQuery2.5 模糊查询-脚本2.5.1 wildcard查询2.5.2正则查询2.5.3前缀查询2.6 模糊查询-JavaAPI2.7 范围&

2020-12-22 15:43:14 1173

原创 IDEA快捷键总结和各种实用功能

目录1 IDEA中内容辅助键和快捷键(红色标记为常用)2 修改自动补全快捷键IntelliJ IDEA可能很多人刚开始接触java都是学校推荐使用的Eclipse或者是丑一点的NetBeans IDE,首先这些软件是免费的而且体积很小适合基础开发,IDEA是收费的如果是大面积教学可能同步的话激活码参差不齐,或者老师带头破解也是不好的一种想法吧,现在和谐加重基本已经不是网上随便找几个码就能无限白嫖的时候了,避免这个干脆学校大部分都是免费的,这就是一个个人见解有疑问欢用质疑,对于小白来说第一次看到

2020-08-21 10:54:54 5133 1

原创 eclipse常用快捷键和发展前景

目录1 发展前景2 Eclipse 常用快捷键(红色必记!)1 发展前景很多人问,前面介绍的那个idea那么强大而且现在80%的公司都在用idea,那么学eclipse工具是不是会受影响?答:IDEA使用的公司确实不少,但是远没有你说的那么夸张,像eclipse和MyEclipse这些任然是目前很多公司使用的主流开发工具,而且每年也在不断的对工具进行升级。博主:如果一开始学习我建议还是IDEA因为是一款主流,但是如果学校教学用eclipse也别抱怨因为都一样。要知道的是,工具

2020-01-25 11:35:31 2680 1

原创 必备DOS命令

一、常用DOS程序命令大全下面分类列举那些调出Shell命令列表,通过使用对应命令可以大大节约时间:一、Windows常用工具类:操作步骤:1.win+r2.输入程序工具类名称运行程序 运行命令记事本 notepad计算器 calc画图 mspaint写字板 writeWindows放大镜 magnify辅助工具管理器 utilmanTe...

2020-01-25 10:40:53 1945

原创 Java为什么没有被时代所淘汰?

目录1.java为什么没有被时代所淘汰2.Java跨平台原理(字节码文件、虚拟机)1.java为什么没有被时代所淘汰Java为消费类智能电子产品而设计,但智能家电产品并没有像最初想象的那样拥有大的发展。然而90年代,Internet却进入了爆发式发展阶段,一夜之间,大家都在忙着将自己的计算机连接到网络上。这个时侯,遇到了一个大的问题。人们发现连接到Internet的计算机各式各样,有IBM PC、苹果机、各种服务器等等,不仅硬件CPU不同,操作系统也不同,整个的网络环境非常复杂。这个时.

2020-01-24 17:00:50 1510

原创 计算机行业就业的发展前景怎么样?

目录1 计算机已经成为人大脑的延伸2 算法是计算机的灵魂,编程语言是塑造计算机灵魂的工具3 三代计算机语言:第一代是机器语言,第二代是汇编语言,第三代是高级语言。4 软件开发人员现在市场已经饱和了吗?1 计算机已经成为人大脑的延伸计算机(computer)俗称电脑,是现代一种用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能。是能够按照程序运行,自动、高速处理海量数据的现代化智能电子设备。 由硬件系统和软件系统所组成,没有安装任何软件的计算机称为裸

2020-01-24 16:37:44 7489

原创 Java架构师面试篇互联网大厂数据库索引

目录1 索引介绍和索引的种类1.1 什么是索引?1.2 索引的种类1.3 注意1.4 在创建联合索引时,你是怎样考虑多个字段之间的顺序的?2 什么情况下适合建索引?3 MySQL索引具体采用的哪种数据结构呢?4 InnoDB使用的B+树的索引模型,那么你知道为什么采用B+树吗?这和Hash索引比较起来有什么优缺点吗?4.1 B+树的优点4.2 和Hash索引比较起来有什么优缺点吗?4.3 聚簇索引和非聚簇索引,在查询数据的时候有区别吗?5 如果每天几百万数据,一个月就是几千万了,有没

2024-02-15 22:31:32 526

原创 Java架构师工具篇nvm实现nodejs多版本管理及切换版本

目录1 背景-使用不同版本node的原因2 nvm方法安装和切换不同版本nodejs2.1 理解nvm2.2 安装目标2.3 卸载之前的nodejs。也可以不卸载,若不卸载后续步骤提示后选择 “是” 即可。2.4 nvm中文网-下载nvm2.5 下载后双击mvn-setup.exe安装2.6 因为已安装过nodejs,选择“是” 即可2.7 nvm -v 查看版本2.8 nvm list 查看已按照版本2.9 nvm list available 查看可安装版本2.10 安装目录找到

2024-02-05 00:20:28 326

原创 Java架构师设计模式事件驱动架构

目录1 导语2 事件驱动架构模式:类别notification3 事件驱动架构模式:何谓EDA4 事件驱动架构模式EDA两种Topology介绍5 事件驱动架构模式EDA两种Topology:EventMe6 事件驱动架构模式EDA两种Topology:Mediato7 事件驱动架构模式EDA两种Topology:Broker8 事件驱动架构模式EDA优点

2024-01-11 12:26:50 862

原创 Java架构师设计模式分层架构

目录1 导语2 概述3 层的定义和何谓分层4 分层架构模式5 分层原理6 分层架构的优点7 分层架构缺点8 如何设计分层9 分层架构模型

2024-01-11 12:18:15 879

原创 Java架构师系统架构部署和验证

目录1 导语2 运行性模型-关注点和单元分解3 运行性模型-架构转换4 架构资产复用5 架构验证6 架构设计误区

2023-12-31 12:48:10 1146

原创 Java架构师系统架构需求分析实战

目录1 导语2 需求分析实战3 核心方法论-架构立方体4 功能性模型-模块定义5 功能性模型-模块关系图6 功能性模型-模块细化

2023-12-25 22:00:53 1464

原创 Java架构师系统架构设计实践

目录1 导语2 架构设计实践本章概述3 架构设计要素概述和规划4 架构设计模式5 架构设计输入6 架构设计输出7 架构设计要素总结

2023-12-25 19:53:26 1513

HTML+CSS仿京东购物车页面静态页面

原文地址:https://blog.csdn.net/ZGL_cyy/article/details/105742990

2021-06-27

jsp+mysql简单用户管理系统.rar

详情设计和效果请看:https://blog.csdn.net/ZGL_cyy/article/details/107236101

2020-07-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除