分布式技术
文章平均质量分 75
智能体格
一线大厂14年IT老兵,擅长互联网技术开发与项目管理,企业人工智能整体架构设计与应用落地,大模型训练/微调/推理,智能体开发。
展开
-
ubuntu20.04安装k8sv1.26完整篇
本文详细介绍了在 Ubuntu 20.04 上安装 Kubernetes 1.26.3-00 的步骤,包括环境配置、主机设置、kubeadm、kubectl 和 kubelet 的安装,以及containerd的配置。还涉及了集群初始化、节点加入、 Helm 安装、网络插件Calico的部署和coredns问题的排查与解决,为读者提供了一套完整的K8s集群搭建流程。2个节点主机名分别是node01、node02添加主机名解析node01和node02都做解析写到/etc/hosts文件中规划。原创 2024-09-04 11:23:43 · 1235 阅读 · 0 评论 -
k8s执行crictl images报错
找到runtime_type 写入"io.containerd.runtime.v1.linux"原创 2024-09-04 10:56:19 · 505 阅读 · 0 评论 -
安装Kuboard管理k8s
Kuboard 是一款免费的 Kubernetes 管理工具,提供了丰富的功能,结合已有或新建的代码仓库、镜像仓库、CI/CD工具等,可以便捷的搭建一个生产可用的 Kubernetes 容器云平台,轻松管理和运行云原生应用。您也可以直接将 Kuboard 安装到现有的 Kubernetes 集群,通过 Kuboard 提供的 Kubernetes RBAC 管理界面,将 Kubernetes 提供的能力开放给您的开发/测试团队。参考资料:https://kuboard.cn/原创 2024-04-30 11:35:19 · 1012 阅读 · 0 评论 -
容器 | Containerd 命令行工具的使用
Containerd 不支持 docker API 和 docker CLI,但是 containerd 可以通过以下这几种命令实现类似的功能。原创 2024-02-27 10:32:04 · 1081 阅读 · 0 评论 -
微服务框架go-zero集成swagger在线接口文档
go-zero是一个集成了各种工程实践的 web 和 rpc 框架。通过弹性设计保障了大并发服务端的稳定性,经受了充分的实战检验。go-zero 包含极简的 API 定义和生成工具 goctl,可以根据定义的 api 文件一键生成 Go, iOS, Android, Kotlin, Dart, TypeScript, JavaScript 代码,并可直接运行。官方提供的swagger集成不够简约,需要手动单独启动线程,本文提供一个更加简洁的集成方案,swagger接口文档随着golang主进程启动。原创 2024-02-02 14:14:35 · 1234 阅读 · 1 评论 -
工具网站DefiLlama全攻略:从零学习链上数据使用与发现
DefiLlama 认识到每个用户可能有不同的优先级,因此允许进行自定义列。这种灵活性让用户可定制平台,以让其显示他们最看重的指标,从而提升他们的浏览体验。对于寻求特定投资机会的用户来说,例如寻找满足特定条件的流动性挖矿选项,这一功能十分重要。假设用户希望在以太坊layer2解决方案,如 Optimism、Arbitrum 和 zkSync上找到投资机会,例如 USDC/USDT 收益率超过 10%,总锁定价值 (TVL) 超过 100 万美元。原创 2024-01-04 16:46:25 · 2330 阅读 · 0 评论 -
SpringBoot整合RocketMQ事务/广播/顺序消息
rocketmq默认发送的消息是进入多个消息队列,然后消费端多线程并发消费,所以默认情况,不是順序消费消息的;有時候,我们需要顺序消费一批消息,比如电商系统 订单创建、支付、完成操作,需要順序执行;RocketMQTemplate给我们提供了SendOrderly方法(有多個重载),来实现发送顺序消息;包括以下:syncSendOrderly,发送同步顺序消息;asyncSendOrderly,发送异步顺序消息;sendOneWayOrderly,发送单向顺序消息;一般我们用syncSe原创 2022-07-27 10:56:25 · 563 阅读 · 0 评论 -
详解RocketMQ中的consumer
RocketMQ的Consumer创建启动流程(1) Push和Pull这两种方式,本质都是Pull实现的,所以DefaultMQPullConsumerImpl的start方法启动(2) 配置通知方式:广播/集群(3) 配置消息队列分配策略:默认都是平均,此外还有循环平均、配置分配等。(4) 根据Topic创建这个消费者对应的SubscriptionData,包括:TAG。(5) DefaultMQPullConsumerImpl里面的rebalanceImpl将会把topic和Subscrip原创 2022-07-26 10:30:49 · 1273 阅读 · 0 评论 -
hadoop、spark、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:# If you want to change the port on a SELinux system, you have to tell# SELinux about this change.# semanage port -a -t ssh_port_t -原创 2022-01-13 15:41:31 · 2456 阅读 · 1 评论 -
CDH-CM资源下载
CDH-6.3.2链接 : https://pan.baidu.com/s/1Vd9ZaXcKG0JDCDszTtasjQ oycpCDH-6.3.1链接 : https://pan.baidu.com/s/1uaCfCF9p0PLaxdm9mGeQgA 提取码 : pdcbCDH-6.2.1链接 : https://pan.baidu.com/s/19fB1bl0TdDBPNrVr70SE7g 提取码 : 8f3z CDH-5.16.2链接 : h...原创 2022-01-12 16:34:48 · 1952 阅读 · 0 评论 -
Java Scala 混合编程导致 编译失败 ,【找不到符号】问题解决
大致就是 工程里分了 java 代码 和scala代码。然后在java代码中 引用了 scala 的代码。[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project spark-auth: Compilation failure[ERROR] /Users/hulb/project/dipper/spark-aut.原创 2022-01-11 16:31:13 · 1477 阅读 · 0 评论 -
什么是 JWT -- JSON WEB TOKEN
什么是JWTJson web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准((RFC 7519).该token被设计为紧凑且安全的,特别适用于分布式站点的单点登录(SSO)场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息,以便于从资源服务器获取资源,也可以增加一些额外的其它业务逻辑所必须的声明信息,该token也可直接被用于认证,也可被加密。起源说起JWT,我们应该来谈一谈基于token的认证和传统的session认原创 2021-10-29 14:23:18 · 147 阅读 · 0 评论 -
hadoop配置文件详解系列(二)-hdfs-site.xml篇
上一篇介绍了core-site.xml的配置,本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 处理所有客户端请求的RPC地址,若在HA场景中,可能有多个namenode,就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 d原创 2021-03-09 09:04:45 · 2396 阅读 · 0 评论 -
hadoop配置文件详解系列(一)-core-site.xml篇
导读:关于hadoop的配置文件,目前其它网站资料中都是只写了几个常用的属性配置,但平时可能也会用到其它属性,这里就一起写出来,供大家参考。本篇先从core-site.xml开始,后续将继续进行其它配置文件的梳理。 属性名称 属性值 描述 hadoop.common.configuration.version 0.23.0 配置文件的版本。 hadoop.tmp.dir /tmp/hadoop-${user.name}原创 2021-03-09 09:02:36 · 4351 阅读 · 1 评论 -
hadoop访问ssh非默认端口问题
启动报错[root@vpt00043s1a15 sbin]# cd /usr/local/hadoop-3.1.4/sbin[root@vpt00043s1a15 sbin]# start-dfs.shStarting namenodes on [vpt00043s1a15]Last login: Mon Mar 8 10:42:05 CST 2021 from 10.225.252.137 on pts/0vpt00043s1a15: ssh: connect to host vpt000原创 2021-03-08 15:09:40 · 641 阅读 · 0 评论 -
快速理解raft协议(附件动画演示)
正文 raft是工程上使用较为广泛的强一致性、去中心化、高可用的分布式协议。在这里强调了是在工程上,因为在学术理论界,最耀眼的还是大名鼎鼎的Paxos。但Paxos是:少数真正理解的人觉得简单,尚未理解的人觉得很难,大多数人都是一知半解。本人也花了很多时间、看了很多材料也没有真正理解。直到看到raft的论文,两位研究者也提到,他们也花了很长的时间来理解Paxos,他们也觉得很难理解,于是研究出了raft算法。 raft是一个共识算法(consensus algorithm),所谓共识,就是多个转载 2021-03-05 10:38:32 · 797 阅读 · 1 评论 -
IPFS-Cluster 集群安装与验证测试
一、介绍IPFS提供了一套方案来解决当需要同时管理多台节点时同步文件的不便之处。通过ipfs-cluster-service和ipfs-cluster-ctl对所有节点进行统一管理。主要功能为实现在管理节点统一上传文件、pin文件和删除文件。其中ipfs-cluster-service为服务端,ipfs-cluster-ctl为管理端。所有节点都需要安装ipfs-cluster-service,其中只有管理节点安装ipfs-cluster-ctl。他们的依赖关系为:ipfs-cluster-ctl—原创 2021-01-07 11:27:33 · 667 阅读 · 0 评论 -
Centos-7快速升级到K8S-1.17.3
1、清理历史版本。将下面的命令保存为文件:uninstallk8s.shkubeadm reset -fmodprobe -r ipiplsmodrm -rf ~/.kube/rm -rf /etc/kubernetes/rm -rf /etc/systemd/system/kubelet.service.drm -rf /etc/systemd/system/kubelet.servicerm -rf /usr/bin/kube*rm -rf /etc/cnirm -rf /opt原创 2020-12-30 11:21:03 · 439 阅读 · 2 评论 -
在windows环境下打包fabric2.2智能合约
1、配置环境变量下载二进制文件https://github.com/hyperledger/fabric/releases/download/v2.2.1/hyperledger-fabric-windows-amd64-2.2.1.tar.gz解压后获得:D:\soft\hyperledger-fabric-windows-amd64-2.2.0\binD:\soft\hyperledger-fabric-windows-amd64-2.2.0\config配置环境变量,将D:\s原创 2020-12-23 09:05:39 · 356 阅读 · 0 评论 -
ZooKeeper ACL权限控制
ZK 类似文件系统,Client 可以在上面创建节点、更新节点、删除节点等如何做到权限的控制?查阅文档,zk的ack(Access Control List)能够保证权限,但是调研完后发现它不是很好用。ACL 权限控制,使用:schema:id:permission 来标识,主要涵盖 3 个方面:权限模式(Schema):鉴权的策略授权对象(ID)权限(Permission)其特性如...原创 2019-12-26 16:01:57 · 547 阅读 · 0 评论 -
执行redis-trib.rb时遇到的问题
redis-trib.rb是Redis Cluster的一个常用工具。下面记录了执行此命令时遇到的一系列错误。redis-trib.rb create --replicas 1 127.0.0.1:7379 127.0.0.1:7380 127.0.0.1:7381 127.0.0.1:7382 127.0.0.1:7383 127.0.0.1:7384 /usr/b转载 2016-07-14 18:10:24 · 3705 阅读 · 0 评论 -
Elasticsearch部分节点不能发现集群(脑裂)问题处理
现象描述es版本 1.4.5+centos 6.5es1,es2,es3三台es组成一个集群,集群状态正常,当es1 服务器重启后,es1不能加到集群中,自己选举自己为master,这就产生了es集群中所谓的“脑裂”, 把es1的es服务重启后,es1则能正常发现集群并加入。当重启es2服务器后,es2不能加到集群中,自己选举自己为master,也产生了es集群中所谓的“脑转载 2016-06-17 11:35:49 · 3813 阅读 · 0 评论 -
淘宝Tengine2.1.0编译安装和配置
Tengine的官网:http://tengine.taobao.org/下载源码包wget http://tengine.taobao.org/download/tengine-2.1.0.tar.gz`tar -zxvf tengine-2.1.0.tar.gzcd tengine-2.1.0复制代码需要注意的是,我希望用原创 2016-06-29 13:50:41 · 3755 阅读 · 0 评论 -
安装redis live监控工具
EPEL(http://fedoraproject.org/wiki/EPEL) 是由 Fedora 社区打造,为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。首先安装epel扩展源:sudo yum -y install epel-release然后安装python-pipsudo yum -y install pyth原创 2016-05-12 16:59:52 · 847 阅读 · 0 评论 -
Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式)介绍
在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比:一、普通同步方式最简单和基础的调用方式,@Testpublic void test1Normal() { Jedis jedis = new Jedis("localhost"); long start = System.currentTimeMillis(); for (i转载 2016-05-12 18:00:17 · 600 阅读 · 0 评论 -
Graylog——日志聚合工具的后起之秀
日志管理日志管理工具:收集,解析,可视化Elasticsearch - 一个基于Lucene的文档存储,主要用于日志索引、存储和分析。Fluentd - 日志收集和发出Flume -分布式日志收集和聚合系统Graylog2 -具有报警选项的可插入日志和事件分析服务器Heka -流处理系统,可用于日志聚合Kibana - 可视化日志和时间戳数据转载 2016-07-27 16:10:47 · 10794 阅读 · 0 评论 -
couchdb开放外部访问
安装文档请参考官网:http://docs.couchdb.org/en/2.0.0/install/unix.html#user-registration-and-security浏览器打开:http://localhost:5984/_utils/index.html#verifyinstall开放外部访问:配置 /home/couchdb/couc原创 2017-04-01 16:16:57 · 5063 阅读 · 0 评论 -
基于spring aop的dubbo异常统一处理
dubbo统一异常处理,调用方只显示封装后的异常。1、返回封装后的Exception2、返回封装后的统一返回信息import org.aspectj.lang.annotation.AfterThrowing;import org.aspectj.lang.annotation.Aspect;import org.slf4j.Logger;import org.slf4j.Log原创 2017-06-12 19:53:34 · 7373 阅读 · 0 评论 -
关于dubbo的provider和consumer都配置timeout超时时间的情况
在dubbo的provider和consumer的配置文件中,如果都配置了timeout的超时时间,dubbo默认以consumer中配置的时间为准(经 坤哥玩CSDN 提醒,之前说以provider为准是错误的)。经验证是这样的,provider.xml的配置:conusmer中的配置:最后这个service在调用时的超时时间就是3秒。另外,1,转载 2017-06-12 20:07:05 · 2935 阅读 · 0 评论 -
dubbo服务调用超时问题解决方案
dubbo在调用服务不成功时,默认是会重试两次的。这样在服务端的处理时间超过了设定的超时时间时,就会有重复请求,比如在发邮件时,可能就会发出多份重复邮件,执行注册请求时,就会插入多条重复的注册数据,那么怎么解决超时问题呢?如下1.对于核心的服务中心,去除dubbo超时重试机制,并重新评估设置超时时间。2.业务处理代码必须放在服务端,客户端只做参数验证和服务调用,不涉及业务流程处理全局配置实例<...转载 2018-05-16 14:07:19 · 16206 阅读 · 1 评论 -
使用Etherum Wallet(Mist)连接私有链
直接启动Mist的时候,钱包会直接连接公有链,而在开发过程中,我们希望连接私有链.首先启动gethgeth.exe --datadir=d:/privnet --networkid 89120348581我在windows下,ubuntu,mac等系统也类似启动钱包(Mist)不能直接启动,要通过--rpc参数来让其认为geth已经启动了,这样钱包就不会自己去尝试启动geth...原创 2018-09-10 16:15:22 · 1316 阅读 · 0 评论 -
布隆过滤器之HASH算法(Java版)
布隆过滤器使用二进制向量结合hash函数来记录任意一条数据是否已经存在于集合中。布隆过滤器的执行流程为:首先申请包含SIZE个bit位的Bit集合,并将所有Bit置0。 然后使用数种(k)不同的哈希函数对目标数据进行哈希计算并得到k个哈希值(确保哈希值不超过SIZE大小),然后将Bit集合中以哈希值为下标所处的bit值置为1,由于使用了k个哈希函数,因此记录一条数据的信息将在Bit集合中把...原创 2019-09-21 18:05:22 · 2112 阅读 · 0 评论 -
添加dubbo xsd的支持
使用dubbo时遇到问题:org.xml.sax.SAXParseException: schema_reference.4: Failed to read schema document 'http://code.alibabatech.com/schema/dubbo/dubbo.xsd', because 1) could not find the document; 2) th原创 2016-05-12 10:27:51 · 9159 阅读 · 4 评论