- 博客(52)
- 收藏
- 关注
RSS订阅原创 Dolphinscheduler执行工作流失败，后台报duplicate key错误
现场童鞋发来一张图如下哦，现场临时搭建了dolphinscheduler，然后导入工作流后报错了，再也看不到正在运行的工作流实例，后台看看，如图哦豁，报错了，看样子这个t_ds_trigger_relation表有点问题呀。
2025-05-19 17:07:25
207
原创 现场血案：Kafka CRC 异常
现场童鞋说客户的研发环境突然在近期间歇式的收到了CRC的相关异常，异常内容如下报错完全没有规律性，有可能半天都不出现一次，也有可能一小时出现2、3次而这个报错会导致Kafka的Consumer hang死，即无法继续消费后续的消息，只能手动重启Consumer才能继续，是非常严厉的报错，会直接导致生产不可用另外，我们部署的供内部云平台组建使用的Kafka也会出现这种报错。
2025-05-16 17:20:44
1194
原创 那些年，我们都踩过的十个MySQL经典大坑
数据默认的配置时间是28800（8小时）意味着，超过这个时间之后，MySQL 数据库为了节省资源，就会在数据库端断开这个连接，Mysql服务器端将其断开了，但是我们的程序再次使用这个连接时没有做任何判断，所以就挂了。今天就给大家列举 MySQL 数据库中，最经典的十大错误案例，并附有处理问题的解决思路和方法，希望能给刚入行，或数据库爱好者一些帮助，今后再遇到任何报错，我们都可以很淡定地去处理。根据报错信息，我们可以获取到报错日志和position号，然后就能找到主库执行的哪条sql，导致的主从报错。
2025-05-14 17:39:35
346
原创 记一次java时间戳转localDate不生效问题
这次要做一个新系统，因此需要初始化工程，按照老办法，直接拿着以前的项目case来copy一次，嗯，很快就完成了，但是在做业务逻辑的时候，发现某个request中的long转localDate总是不生效。
2025-05-08 15:40:37
339
原创 大问题?安装的显卡怎么掉线了
从ollama日志中看不出来啥情况，那么只能看看显卡当前状态，直接执行navidia-smi看看，我们的机器中应该是2张显卡的，但是现在只显示一张了，而且，在机器重启后会正常显示2张，但是过一段时间后命令查看就会不见一张显卡，此时可以考虑看下硬件日志，通过ipmi接口查看设备监控，发现异常了，就是在运行一段时间后，显卡温度跑到了90多度，然后系统把这个显卡给下了，查看电源功率也是能够带动2张显卡了，那么这明显就需要机器的厂商来查看为啥出现这个问题了，Nice，甩锅了！中获取答案后跟现场对比的。
2025-02-17 10:51:05
375
1
原创 怎么使用deepseek搭建自己的聊天机器人
它可以根据用户自己的喜好或者业务场景配置不同的大模型来满足实际需求，在本文中会使用ollama部署本地deepseek，然后chatbox配置本地大模型的端口来实现本地AI助手。此时，我们已经实现了在本地部署deepseek模型，但是我们需要问一些特定场景下的问题的时候还是有很多的局限性，因为deepseek本身是一个通用型的大语言模型，对于我们只需要询问某些特定场景下技术方面的知识，那么我们则需要进一步搭建一个智能体来实现对于我们所需领域的特定回答，因此就需要填写特定的提示词，以完善机器人的思维。
2025-02-11 09:43:36
818
原创 Ollama本地部署DeepSeek
ollama安装完成后，就可以直接使用ollama安装deepseek大模型了，但是先确定好自己的机器是否能够支撑对应参数大模型的运行，本机是16c32G的笔记本，集显，所以智能勉勉强强把7b参数的deepseek跑起来。模型导入与定制：支持从特定平台（如GGUF）导入已有的大型语言模型，兼容PyTorch或Safetensors深度学习框架，允许用户将基于这些框架训练的模型集成到Ollama中。Ollama是一个开源框架，专门用于在本地机器上便捷部署和运行大型语言模型（LLM）。
2025-02-10 10:42:35
1046
原创 使用DeepSeek实现AI自动编码
它经过大量代码数据训练，能理解开发者意图，精准生成高质量代码片段，还能提供代码解释、优化建议等辅助功能。那么我们可以将其集成到vscode，实现自动编码。第三步，从deepseek中获取ApiKey，https://platform.deepseek.com/usage，可以访问该网址申请。第一步，你得下载vscode，你可以在应用商店或者官网上下载，或者实在不知道，那么也可以通过度娘搜索一下。其次，打开vscode，在插件扩展上搜索cline，并安装它。到现在了，咱们已经完成配置了，可以开始编程实现了。
2025-02-09 22:55:19
1483
原创 c86机器安装nvaid显卡驱动报错：ERROR:Unable to load the kernel module ‘nvidia.ko‘.
最近小伙伴要去北京甲方现场搭建我们的AI编码服务，需要使用GPU机器跑大模型，根据现场提供的信息是2台C86的机器，显卡够够的，但是现场是内网环境，因此，需要先准备好需要的安装包，当然，这些都已经在我们的安装包中。其中一台正常安装，另一台安装时报错ERROR:Unable to load the kernel module 'nvidia.ko'.,如下图。
2025-01-20 17:28:48
1285
原创 Dolphinscheduler安装部署
最近有其它团队的小伙伴找来，要整个数据编排的东东，哎，咋这么巧，最近刚好在github上看到dolphinscheduler这个东东，所以就推荐给小伙伴，并提供了安装方法。
2025-01-13 17:19:16
1176
原创 git chromium报错:gnutls_handshake() failed: An unexpected TLS packet was received.
fatal: unable to access 'https://chromium.googlesource.com/chromium/tools/depot_tools.git/': gnutls_handshake() failed: An unexpected TLS packet was received.
2025-01-07 12:19:12
547
原创 Nice！使用开源工具组建一个AI编码小助手
Ollama 是一个致力于推动本地人工智能模型开发和应用的工具和平台，允许用户在本地运行、管理和调用各种 AI 模型。它的核心理念是提供一种无需依赖云计算环境的方式，让开发者和企业能够高效地使用 AI 模型，同时确保数据隐私和安全。本次使用Ollama运行LLM，VSCode上安装continue插件，同时配置本地运行的LLM，达成AI编码小助手的体验，当然是丐版哦！本次以windows为例，当然使用了WSL(Ubuntu)了。
2025-01-01 21:25:46
448
转载 n8n开源工具：拥有53.4 Star 强大的工作流自动化平台
具有原生 AI 功能的公平代码工作流程自动化平台。将可视化构建与自定义代码、自托管或云、400 多个集成相结合。n8n 是一款具有原生 AI 能力的公平代码工作流自动化平台，旨在为技术团队提供代码的灵活性与无代码的速度。它就像一位智能助手，能够将各种复杂的工作流程自动化，让你的工作更加高效、便捷。：拥有超过 400 种集成，可与众多流行的工具和服务无缝对接。：基于 LangChain 构建 AI 代理工作流，允许你使用自己的数据和模型，实现智能化的任务处理。
2025-01-01 21:20:23
3573
转载 线上环境Kafka hang住了？我们怎么是处理的？
因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧。Arthas 是一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。对于这些操作，都需要线程的各种信息，例如寄存器中到底有啥，堆使用信息以及栈方法代码信息等等等等，并且做这些操作的时候，线程需要暂停，等到这些操作完成，否则会有并发问题。
2024-12-18 18:51:19
99
原创 大数据之Flume环境安装
Flume软件版本下载:http://mirror.bit.edu.cn/apache/flume/Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.99#Master#NetCat配置vim conf/flume-netcat.conf#验证#Server#Client#Exec配置vim conf/flume-exec.conf#Server#Client#Avro配置vim conf/flume-avro.conf#验证#Server#Cli
2024-12-18 09:00:00
494
原创 大数据之Hadoop2.0环境安装
Hadoop源码包下载:http://mirror.bit.edu.cn/apache/hadoop/commonMaster 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.99#Master#Mastercd hadoop-2.8.2/etc/hadoopvim hadoop-env.shvim yarn-env.shvim slavesvim core-site.xmlvim hdfs-site.xmlvim mapred-site.xml
2024-12-18 09:00:00
966
原创 大数据之Kafka环境安装
Kafka源码包下载:http://mirror.bit.edu.cn/apache/kafka/Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.99#Master#Mastercd kafka_2.11-0.10.2.1/confvim server.propertie#Master、Slave1、Slave2vim ~/.bashrc#刷新环境变量#Mastervim config/server.propertie#Slave1vim con
2024-12-17 19:27:30
569
原创 大数据之Hive1.x环境安装
Hive源码包下载:http://mirror.bit.edu.cn/apache/hive/Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.99#Master#Mastercd apache-hive-1.2.2-bin/confvim hive-site.xml4. 增加环境变量#Master、Slave1、Slave2vim ~/.bashrc#刷新环境变量source ~/.bashrc#Master#Master#Master#M
2024-12-17 19:22:21
264
原创 大数据之Hadoop环境安装
wget 具体已上面的链接地址为准。11. 安装包拷贝到Slave主机。#生成密钥对（公钥和私钥）#初始化NameNode。#启动Hadoop集群。#临时关闭内核防火墙。#永久关闭内核防火墙。11. 配置环境变量。
2024-12-10 15:18:24
920
原创 一次Kafka启动失败引出的问题
Some time，有个现场童鞋说咱的Kafka实例有个broker一直crash，还截图给我看了，大致是Kafka启动加载topic分区日志文件的时候，然后就没了，连个WARN都没有。当然，光看这个截图咱啥都不知道，因此只能搞个会议一起看看，这里说一下，公司内部聊天软件太菜了，所以就用腾讯会议，嗯，挺好的，反正是免费的。
2024-12-02 20:18:49
683
原创 RocketMQ常用命令
master-slave模式下获取当前master信息。如果在容器内部中，可能需要先执行下面命令。tool.sh工具测试收发消息。
2024-12-02 19:57:40
636
原创 helm手动部署Kafka集群
注意：kafka-22716 为后面helm安装的名字，若helm安装时名字修改需要同步修改。1、到指定node节点创建pv需挂载的目录，若有分布式存储可忽略。4、获取kafak的nodeport。3、执行helm安装。
2024-11-28 16:24:23
643
原创 prometheus-expoter go语言开发简单步骤
3、采集描述传递和数据采集接口实现，它们都是Exporter的子方法。每个指标都需要在收集到后通过chan传到prometheus中。1、引入prometheus包，创建指标结构体。
2024-11-27 08:32:11
267
原创 docker arm/amd双架构镜像制作
Docker for Linux 不支持构建 arm 架构镜像，我们可以运行一个新的容器让其支持该特性，Docker 桌面版无需进行此项设置。由于 Docker 默认的 builder 实例不支持同时指定多个 --platform，我们必须首先创建一个新的 builder 实例。1、如果又出现连接网络问题 exit code 100，可以执行下面命令。config.yaml文件内容。
2024-11-26 12:07:17
1336
原创 使用Alpine镜像作为基础镜像的Dockerfile配置
apk安装时需要添加 --no-cache，比如 apk add --no-cache tzdata。# 清理运行时不需要的软件和安装缓存。dockerfile制作时。
2024-11-25 17:36:50
452
原创 RocketMQ命令和配置
sh /opt/rocketmq-4.9.2/bin/mqadmin updateSubGroup -c DefaultCluster -g subgroup1 -n 192.168.10.10:9876如果是对集群扩容，则可以通过指定新的broker地址在扩容的机器上创建一份新的订阅组信息。自动创建开启后，可以利用mq自动的tool.sh工具测试收发消息。注意是开启了自动创建topic后才行。根据unique key查：(非msgid )tool.sh工具测试收发消息。查看broker状态。
2024-11-25 17:27:16
477
原创 linux shell中 包含$的常用命令含义
如"$@"用「"」括起来的情况、以"$1" "$2" …"$n" 的形式输出所有参数。如"$*"用「"」括起来的情况、以"$1 $2 …$n"的形式输出所有参数。添加到Shell的各参数值。$1是第1参数、$2是第2参数…Shell最后运行的后台Process的PID。Shell本身的PID（ProcessID）最后运行的命令的结束代码（返回值）使用Set命令设定的Flag一览。添加到Shell的参数个数。Shell本身的文件名。
2024-11-25 17:21:30
415
原创 通过docker overlay2 目录名查找容器名和容器ID
先进入overlay2的目录，这个目录可以通过docker的配置文件（/etc/docker/daemon.json）内找到，比如/var/lib/docker/overlay2。然后看看谁占用空间比较多。
2024-11-24 14:25:38
672
原创 多阶段构建---多个FROM指令
每一条 FROM 指令都是一个构建阶段，多条 FROM 就是多阶段构建，虽然最后生成的镜像只能是最后一个阶段的结果，但是，能够将前置阶段中的文件拷贝到后边的阶段中，这就是多阶段构建的最大意义。多个 FROM 指令并不是为了生成多根的层关系，最后生成的镜像，仍以最后一条 FROM 为准，之前的 FROM 会被抛弃，那么之前的FROM 又有什么意义呢？我们直接将etcd镜像中的程序拷贝到了我们的镜像中，这样，在生成我们的程序镜像时，就不需要源码编译etcd了，直接将官方编译好的程序文件拿过来就行了。
2024-11-24 14:24:37
873
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人