- 博客(64)
- 收藏
- 关注
原创 一文了解Docker的用法
Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。
2023-08-29 17:02:46 825 1
原创 Elasticsearch 面试题
系统中的数据,随着业务的发展,时间的推移,将会非常多,而业务中往往采用模糊查询进行数据的搜索,而模糊查询会导致查询引擎放弃索引,导致系统查询数据时都是全表扫描,在百万级别的数据库中,查询效率是非常低下的,而我们使用 ES 做一个全文索引,将经常查询的系统功能的某些字段,比如说电商系统的商品表中商品名,描述、价格还有 id 这些字段我们放入 ES 索引库里,可以提高查询速度。
2023-08-28 15:41:20 279
原创 Elasticsearch 优化
如果是通过解压安装的 ES,则在 ES 安装文件中包含一个 jvm.option 文件,添加如下命令来设置 ES 的堆大小, Xms 表示堆的初始大小, Xmx 表示可分配的最大内存,都是 1GB。考虑一下 node 数量,一般一个节点有时候就是一台物理机,如果分片数过多,大大超过了节点数,很可能会导致一个节点上存在多个分片,一旦该节点故障,即使保持了 1 个以上的副本,同样有可能会导致数据丢失,集群无法恢复。当写索引时,需要把写入的数据都同步到副本节点,副本节点越多,写索引的效率就越。
2023-08-28 15:07:56 622
原创 Elasticsearch 集成--Flink 框架集成
是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。掀开了内存计算的先河,以内存作为赌注,赢得了内存计算的飞速发展。但是在其火热的同时,开发人员发现,在Spark中,计算框架普遍存在的缺点和不足依然没有完全解决,而这些问题随着5G时代的来临以及决策者对实时数据分析结果的迫切需要而凸显的更加明显:数据精准一次性处理(乱序数据,迟到数据低延迟,高吞吐,准确性容错性是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。在Spark。
2023-08-28 14:42:38 1116
原创 Elasticsearch 集成---Spark Streaming 框架集成
Spark Streaming 是 Spark core API 的扩展,支持实时数据流的处理,并且具有可扩展,高吞吐量,容错的特点。数据可以从许多来源获取,如 Kafka,Flume,Kinesis 或 TCP sockets,
2023-08-25 16:39:17 685 1
原创 Elasticsearch 集成---框架集成SpringData-集成测试-索引操作
是一个用于简化数据库、非关系型数据库、索引库访问,并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷,并支持map-reduce框架和云计算数据服务。可以极大的简化JPA„)的写法,可以在几乎不用写实现的情况下,实现对数据的访问和操作。除了CRUD外,还包括如分页、排序等一些常用的功能。的官网:
2023-08-24 17:26:41 1182
原创 ES搭建集群
分别依次双击执行节点的bin/elasticsearch.bat, 启动节点服务器(可以编写一个脚本启动),启动后,会自动加入指定名称的集群。创建 elasticsearch-7.8.0-cluster 文件夹,在内部复制三个 elasticsearch 服务。然后每个文件目录中每个节点的 config/elasticsearch.yml 配置文件。一、创建 elasticsearch-cluster 文件夹。指示着当前集群在总体上是否工作正常。一、用Postman,查看集群状态。
2023-08-22 18:16:16 1293
原创 ES基础操作
在 Postman 中,向 ES 服务器发 GET 请求 : http://127.0.0.1:9200/_cat/indices?在 Postman 中,向 ES 服务器发 DELETE 请求 : http://127.0.0.1:9200/shopping。在 Postman 中,向 ES 服务器发 PUT 请求 : http://127.0.0.1:9200/shopping。在 Postman 中,向 ES 服务器发GET 请求 : http://127.0.0.1:9200/shopping。
2023-08-22 17:23:06 714
原创 Elasticsearch 入门安装
能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。注意: 9300 端口为 Elasticsearch 集群间组件的通信端口, 9200 端口为浏览器访问的 http协议 RESTful 端口。Elaticsearch,简称为 ES, ES 是一个开源的高扩展的分布式全文搜索引擎, 是整个 ElasticStack 技术栈的核心。它可以近乎实时的存储、检索数据;华为镜像下载地址:https://mirrors.huaweicloud.com/
2023-08-22 16:31:20 806
原创 Mirth调用存储过程报错ORA-01861: 文字与格式字符串不匹配
Mirth调用存储过程报错.ORA-01861: 文字与格式字符串不匹配。这种绝对是日期的错误,要进行日期格式转换,具体呢需要自己一步步测试。1.正则表达式1998-08-02和1998/08/02之间转换。
2023-05-31 17:05:38 536
原创 git详细解说
1.1 git概述 Git历史 Git 诞生于一个极富纷争大举创新的年代。Linux 内核开源项目有着为数众多的参与者。 绝大多数的 Linux 内核维 护工作都花在了提交补丁和保存归档的繁琐事务上(1991-2002年间)。 到 2002 年,整个项目组开始启用一个 专有的分布式版本控制系统 BitKeeper 来管理和维护代码。 到了 2005 年,开发 BitKeeper 的商业公司同 Linux 内核开源社区的合作关系结束,他们收回了 Linux 内核社区免 费使用 BitKeeper ...
2023-05-31 16:08:46 607
原创 Nginx详细解说
Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的。从2004年发布至今,凭借开源的力量,已经接近成熟与完善。Nginx功能丰富,可作为HTTP服务器,也可作为反向代理服务器,邮件服务器。支持FastCGI、SSL、Virtual Host、URL Rewrite、Gzip等功能。并且支持很多第三方的模块扩展。
2023-05-31 16:06:33 1049
原创 滴滴2022后端面试题
惰性删除的优点是不需要额外的删除操作,节省了服务器资源,缺点是可能会有大量过期的键值对占用内存。当然,在特定场景下也可以使用其他的过期策略。定时删除(Evict):通过配置 maxmemory 限制 Redis 的内存使用量,在内存满时 Redis 会将一些键值对从内存中删除,优先删除的是那些过期时间最短的键值对,以此来保证 Redis 的内存使用量不会超过限制。过期时间(Expire):在设置键值对的同时,可以设置一个过期时间,Redis 会自动在该键值对在指定的时间内过期,过期后会自动删除该键值对。
2023-05-09 09:30:24 81 1
转载 单一职责模式
一个类,只有一个引起它变化的原因。应该只有一个职责。每一个职责都是变化的一个轴线,如果一个类有一个以上的职责,这些职责就耦合在了一起。这会导致脆弱的设计。当一个职责发生变化时,可能会影响其它的职责。另外,多个职责耦合在一起,会影响复用性。例如:要实现逻辑和界面的分离。
2023-01-11 16:51:30 139
原创 Redis发布订阅
一:Redis发布订阅当有新消息通过 PUBLISH 命令发送给频道 channel1 时, 这个消息就会被发送给订阅它的三个客户端:1.以下实例演示了发布订阅是如何工作的。在我们实例中我们创建了订阅频道名为 redisChat:2.现在,我们先重新开启个 redis 客户端,然后在同一个频道 redisChat 发布两次消息,订阅者就能接收到消息订阅者收到信息二.发布订阅命令 序号 命令及描述 1 ...
2022-02-16 20:37:30 98
原创 Redis哨兵机制及配置过程
Redis的哨兵(sentinel) 系统用于管理多个 Redis 服务器,该系统执行以下三个任务:1.监控(Monitoring): 哨兵(sentinel) 会不断地检查你的Master和Slave是否运作正常(心跳)。2.提醒(Notification):当被监控的某个 Redis出现问题时, 哨兵(sentinel) 可以通过 API 向管理员或者其他应用程序发送通知。自动故障迁移(Automatic failover):当一个Master不能正常工作时,通过投票机制,选举出新的master。
2022-02-16 20:09:02 662
原创 Redis主从复制的配置原理和过程
主从复制原理:1.redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库(master)一类是从数据库(slave),主数据库可以进行读写操作,当发生写操作的时候自动将数据同步到从数据库,而从数据库一般是只读的,并接收主数据库同步过来的数据,一个主数据库可以有多个从数据库,而一个从数据库只能有一个主数据库。2.通过redis的复制功能可以很好的实现数据库的读写分离,提高服务器的负载能力。主数据库主要进行写操作,而从数据库负责读操作。3.主库有读写权限、从库只有读权限
2022-02-16 19:38:01 598
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人