- 博客(160)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Nebula图数据库常用 nGQL命令
一个 NebulaGraph 实例由一个或多个图空间组成。每个图空间都是物理隔离的，用户可以在同一个实例中使用不同的图空间存储不同的数据集。为了在图空间中插入数据，需要为图数据库定义一个 Schema。NebulaGraph 的 Schema 是由如下几部分组成。在 NebulaGraph 中，下列创建和修改操作是异步实现的。要在下一个心跳周期之后才能生效，否则访问会报错。为确保数据同步，后续操作能顺利进行，请等待 2 个心跳周期（20 秒）。
2024-08-11 17:32:44
422
原创 解决JDK17 java.lang.UnsatisfiedLinkError: /opt/jdk17/lib/libfontmanager.so: libfreetype.so.6
本地开发EasyExcel导出无问题，K8S发布后导出报错。
2024-08-09 21:16:18
229
原创 1.4亿中文知识图谱导入Nebula Graph快速体验
Yener 开源了史上最大规模的中文知识图谱—— OwnThink（链接：，数据量为 1.4 亿条。数据以 (实体, 属性, 值) 和 (实体, 关系, 实体) 混合的三元组形式存储，数据格式为 csv。
2024-08-03 22:21:10
422
原创 全栈工程师工作干货总结(二)
我买的是腾讯云的服务器Cenos 6.5系统，自己配置的DNS域名服务器，nslookup www.xuefeng66.cn能够正常解析为115.159.201.119(若是非权威解析为该结果证明解析还存在问题，需要更改/etc/resolv.conf中的服务器地址，添加你买的域名服务器地址)，解析成功后，发现通过IP可以访问，但是通过域名不能访问，终于发现时tomcat的问题。
2024-06-22 11:35:44
254
原创 12.SpringBoot3连接MongoDB多数据源
本文实践MongoDB多数据源连接，目前服务器版本分别为4及3.2，所以需要兼容这两种版本，在选择依赖包时需特别注意MongoDB版本。
2024-06-15 08:18:01
267
1
原创 系统架构师英文题目
软件架构重建是一个解释性的、交互式的、迭代的过程，包括许多活动。（信息提取）涉及分析系统的现有设计和实现工件以构建其模型。结果用于以下活动以构建系统视图。数据库构建活动将视图中包含的（元素和关系）转换为标准格式以存储在数据库中。（视图融合）活动涉及定义和操作数据库中存储的信息，以协调、扩充和建立元素之间的连接。重构包括两个主要活动：（可视化和交互）和（模式定义和识别）。前者为用户提供了操纵架构元素的机制，后者为架构重建提供了便利。
2024-05-03 11:47:26
255
原创 AI文本生图模型Stable Diffusion部分模型叠加效果
兄弟们,最近有个烦恼,就是找图有点费事,干脆自己部署个文本生图模型Stable Diffusion,虽然机器性能慢,但是效果还可以,先和大家截图分享下,后面将映射ai.shenjian.online供大家免费使用。
2024-01-14 08:22:50
1008
原创 3.OpenResty系列之深入理解
对于 MySQL ，可以调用 ndk.set_var.set_quote_sql_str ，进行一次过滤即可，如果恰巧你使用的是 PostgreSQL ，调用 ndk.set_var.set_quote_pgsql_str 过滤输入变量。在发起子请求前，用户程序应总是读取完整的 HTTP 请求体 (通过调用 ngx.req.read_body 或设置 lua_need_request_body 指令为 on).Nginx 子请求是一种非常强有力的方式，它可以发起非阻塞的内部请求访问目标 location。
2024-01-07 10:28:52
1197
原创 2.OpenResty系列之Nginx反向代理与负载均衡
Nginx (engine x) 是一款轻量级的 Web 服务器 、反向代理服务器及电子邮件（IMAP/POP3）代理服务器什么是反向代理？反向代理（Reverse Proxy）方式是指以代理服务器来接受 internet 上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给 internet 上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。
2023-11-26 15:37:37
842
原创 Jenkins自动化部署Vue3项目至K8S实践
在项目根目录新建builds\k8stest目录，然后新建insole-tool.yaml文件,建好命名空间insole后，修改镜像名，可以直接拿来用。在Vue项目根目录新建default.conf文件，主要进行代理配置、首页配置、端口配置，需修改实际api与IP端口配置。我们希望提交uat分支时，UAT项目能够自动发布，提交master分支时，无需自动发布，管理员手工发布。在Vue项目根目录新建nginx.conf文件，主要配置请求体大小等，不需要修改。我们装好Webhook触发插件后，配置如图所示。
2023-11-21 12:06:38
299
原创 7.基于SpringBoot3+Security6+JWT实现鉴权机制
为什么要说下呢，JWT三部分组成，就要刚刚笔者参加的2023下半年系统架构师考试中考到了，然后我竟然想不起来了。。。JWT（JSON Web Token）由三个部分组成，它们分别是头部（header）、载荷（payload）和签名（signature）。头部（Header）：JWT的头部是一个包含两个部分的JSON对象，用于描述签名算法和令牌类型。它通常包含以下信息：typ（类型）：令牌的类型，这里通常是"JWT"。alg（算法）：用于签名令牌的算法，例如HMAC、RSA或者其他加密算法。
2023-11-07 09:12:15
399
原创 1.OpenResty系列之简介与Lua入门
OpenResty（也称为ngx_openresty）是一个基于Nginx的全功能Web应用服务器，它将Nginx与一组附加模块和Lua脚本语言集成在一起，以提供高性能的Web应用程序开发和扩展性。Nginx是一个轻量级的、高性能的HTTP服务器和反向代理服务器，广泛用于构建高流量网站和应用程序。OpenResty利用Nginx的高性能和可扩展性，并通过添加Lua脚本语言的支持，使开发人员能够通过编写脚本来扩展和定制服务器行为。
2023-11-05 16:04:56
878
原创 3.基于SpringBoot3集成MybatisPlus及批量插入与分页查询及定制化代码生成器类
org.springframework.boot.autoconfigure.AutoConfiguration.imports内容如下。至此，可以正常启动项目，集成MybatisPlus完毕，对于使用语法，可以去官网查询，后续我们将介绍特殊的一些用法。resources目录下新建META-INF.spring目录，然后新建文件。运行main方法根据提示创建包即可, 生成代码后我们在根据需要修改即可。在application-dev.yml配置错误打印SQL日志。欢迎关注公众号算法小生。
2023-08-25 23:20:04
894
原创 1.基于SpringBoot3 JDK17+Gradle8搭建项目并集成SpringDoc Swagger3及全局异常处理与统一返回封装
我们可以看到方法级别也加了锁，此时如果我们在最上面Authorize处输入token，则调用方法时也会默认传递token。我们修改CloudClient中login方法如下，重启后看下授权区别。我们在build.gradle中引入依赖。欢迎关注公众号算法小生。
2023-08-19 20:32:49
844
原创 4.Hive系列之企业级调优
此时我们应该仔细分析这些异常的 key，很多情况下，这些 key 对应的数据是异常数据，我们需要在 SQL 语句中进行过滤。有时虽然某个 key 为空对应的数据很多，但是相应的数据不是异常数据，必须要包含在join 的结果中，此时我们可以表 a 中 key 为空的字段赋一个随机的值，使得数据随机均匀地分不到不同的 reducer 上。不过，某个特定的 job 可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个 job 的执行时间缩短。
2023-07-22 22:16:30
192
原创 基于Vue3+LeaderLine实现画线测距及线条自由调整
先看下效果：我们画线后可以根据比例关系自动计算距离，并且线条不对可以自由调整。欢迎关注公众号 算法小生。
2023-07-15 10:24:32
1304
原创 2.Hive系列之docker-compose部署升级总结
刚刚我们修改了Hive为bde2020/hive:3.1.2-postgresql-metastore，仓库中并没有，我们就要考虑修改Dockerfile自行构建镜像了。对于升级而言，我们最先考虑的是docker hub中有的较新的版本，然后我们需要简单了解下hadoop2与hadoop3的区别，首先明确的是端口号有所改变，如下图所示。查看日志，可以发现，url非法了哎，这是因为docker在默认创建网络的时候，会给添加_default后缀导致url非法。再次尝试构建镜像了,并启动，发现如下错误。
2023-06-10 09:11:01
1825
原创 27.hadoop系列之50G数据清洗入库秒查询实践
这插入速度还行吧,插入后，存在两条记录，对于ReplaceMergeTree来说，无妨，看过之前文章的你应该很熟悉为啥了吧。目前本地有50G的企业年报csv数据, 需要清洗出通信地址，并需要与原有的亿条数据合并以供业务查询最新的企业通信地址。新建字段mail_address1，剔除省市区前缀信息，列式存储，全量更新很快，请不要单条那种更新。我们50G的数据无须上传至集群处理，上传目前带宽2M/S, 巨慢，我直接在本地hadoop处理。我们先看下数据格式，以@_@分割，最后一列是杂乱的数据。
2023-06-02 09:24:26
350
原创 1.Hive系列之简介
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL，以及用于将查询转换为MapReduce任务的引擎。Hive的主要目的是使数据分析师和开发人员能够轻松地查询和分析存储在Hadoop集群中的数据，而不需要编写复杂的MapReduce代码。Hive的核心是元数据（Metadata），它将表的结构和数据存储在一个关系型数据库中，例如MySQL或Derby。HiveQL语言类似于SQL，允许用户执行查询、过滤、聚合等操作。
2023-06-01 13:05:41
1706
原创 15.Kafka系列之事务原理及实践
在这种情况下，消费者进程有可能在保存其位置之后但在保存其消息处理的输出之前崩溃。在这种情况下，接管处理的进程将从保存的位置开始，即使该位置之前的一些消息还没有被处理。
2023-05-28 11:43:26
1029
原创 Java并发机制底层实现原理之volatile
为了提高性能，处理器与编译器会对指令做重排序，分为3种类型：1）编译器优化的重排序 不改变单线程程序语义，重新安排语句执行顺序2）指令级并行的重排序 若不存在数据依赖性，处理器可以改变语句对机器指令的执行顺序3）内存系统的重排序 处理器采用缓存和读、写缓冲区，使得加载与存储看上去是乱序执行1）属于编译器重排序 2)、3)属于处理器重排序。为了实现volatile内存语义，需要JMM会分别限制这两大类型的重排序。
2023-05-27 15:01:27
734
原创 14.Kafka系列之K8S部署集群
Apache Kafka 不依赖 Apache Zookeeper的版本，被社区称之为 Kafka Raft 元数据模式，简称KRaft模式。KRaft运行模式的Kafka集群，不会将元数据存储在 Apache ZooKeeper中。即部署新集群的时候，无需部署ZooKeeper集群，因为Kafka将元数据存储在 Controller 节点的 KRaft Quorum中。
2023-05-21 14:51:44
2253
原创 13.Kafka系列之Stream核心原理(二)
Kafka Streams 通过构建在 Kafka 生产者和消费者库上并利用 Kafka 的本机功能来提供数据并行性、分布式协调、容错和操作简单性，从而简化了应用程序开发。在本节中，我们将描述 Kafka Streams 在幕后是如何工作的下图显示了使用 Kafka Streams 库的应用程序的剖析。让我们来看看一些细节。
2023-05-20 11:53:08
857
原创 12.Kafka系列之Stream核心原理(一)
Kafka Streams 是一个客户端库，用于处理和分析存储在 Kafka 中的数据。它建立在重要的流处理概念之上，例如正确区分事件时间和处理时间、窗口支持以及简单而高效的管理和应用程序状态的实时查询Kafka Streams入门门槛低：您可以在单机上快速编写和运行小规模的概念验证；并且您只需要在多台机器上运行应用程序的额外实例即可扩展到大批量生产工作负载。
2023-05-19 15:07:59
947
原创 11.Kafka系列之Stream实践
1.运行后，出现NullPointer in ProcessorParameters.toStringKafka3.3.1的bug,请升级Kafka版本,我升级到3.4.0，并且环境变量改为如下即可启动，kafka-server在hosts中配置对应IPspec:ports:name: webenv:2.序列化失败我们配置的默认序列化为而在KTable中我们定义对应的序列化即可// 计算每个客户的交易总额3.合并结果，出现重复记录问题我们在需要JOIN的两个KTable最后加入如下代码即可。
2023-05-14 19:42:00
771
绿色PDF转换器
2016-11-08
Socket实现两台计算机间的简单通信
2016-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人