- 博客(239)
- 收藏
- 关注
RSS订阅原创 Kubernetes中部署ELK Stack日志收集平台
kubelet会在/var/log/pods和/var/log/containers下面建立软链接，指向/var/lib/docker/containers/$CONTAINERID目录下的容器日志文件。- dissect: #参考https://www.elastic.co/guide/en/beats/filebeat/current/dissect.html。创建一个软链接/var/log/pods指向数据盘挂载点下的某个目录(ln -s /data/var/log/pods /var/log/)
2024-05-22 17:12:31
336
原创 【云原生】k8s 环境快速部署（一小时以内部署完）
如果执行安装时卡住或者直接安装失败，可以再安装（可支持重复执行安装），也可以卸载重新安装。去掉第一次连接ssh ask确认。版本，后续会兼容高版本。
2024-05-22 14:06:36
7
原创 轻量级的日志采集组件 Filebeat 讲解与实战操作
Filebeat是一个轻量级的日志数据收集工具，属于Elastic公司的Elastic Stack（ELK Stack）生态系统的一部分。它的主要功能是从各种来源收集日志数据，将数据发送到Elasticsearch、Logstash或其他目标，以便进行搜索、分析和可视化。轻量级：Filebeat是一个轻量级的代理，对系统资源的消耗非常低。它设计用于高性能和低延迟，可以在各种环境中运行，包括服务器、容器和虚拟机。多源收集。
2024-05-22 10:50:27
273
原创 Filebeat on k8s 日志采集实战操作
Filebeat是一个轻量级的开源日志文件和数据收集器，由 Elastic 公司开发，用于采集、解析和发送日志数据。在 Kubernetes 中，Filebeat通常用于采集容器日志，并将其发送到中央日志存储、分析或搜索工具，如 Elasticsearch、Logstash 或 Fluentd。以下是Filebeat在KubernetesFilebeat容器部署：首先，在Kubernetes集群中创建一个或多个Filebeat容器的Pod。这些Pod。
2024-05-22 10:49:39
88
原创 mac终端中中文显示乱码的解决方案
mac终端中有时候会碰到中文显示乱码的情况，只需要做如下操作即可修复。然后在文本的末尾加上一下两句。然后重启终端即可生效。
2024-05-20 16:57:09
5
原创 k8s ingress高级配置，动态修改上传文件大小限制参数client_max_body_size
通常情况下，service和pod的IP可以被集群网络访问。外部访问的所有流量被丢弃或转发到别处。ingress是允许入站连接到达群集服务的规则集合.可以为外部提供可访问服务的URL，流量负载均衡，可被终止的ssl连接，以及基于配置的虚拟主机。k8s ingress配置官网链接：https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/annotations.md。
2024-05-20 11:37:56
21
原创 测试环境KDE组件漏洞修复
修改jvm_options里面的值，找到log4j2这里增加红框里面的这一行-Dlog4j2.formatMsgNoLookups=true，改完后重启Elasticsearch服务即可。此方式主要使用iptables的功能，对yarn的resourceManager服务的8088端口进行访问ip限制，使用修复方案后，可以再尝试扫描该漏洞，如果还能扫描出CVE-2021-44228，那么应该能够确认是安扫工具的误报。ES端口9200-log42相关的CVE-2021-44228漏洞。
2024-05-20 11:03:31
114
原创 KDE-Ambari-Metrics-Collector问题排查解决手册
本文档是为了解决KDE平台的Ambari-Metrics-Collector服务在运行时遇到的问题而提供的问题排查和解决方法的参考文档。
2024-05-20 10:17:08
74
原创 ES REST接口
创建索引模版后，可以通过前缀匹配的方式使用，即前缀匹配模版中设置的前缀即可按照模版创建相关字段,例如：以索引模版fields_log_filebeat_mapping为例，它的前缀是log开头，则创建logtest即可测试效果。此处通过pipeline插入文档。通过pipeline上传doc。
2024-05-17 17:55:30
22
原创 jfrog安装与部署
1.上传tar包，并且创建包名对应路径存放#2.上传匹配文件，并按照规则重新命名.如下： 匹配文件上传后重命名为frog.targ.z-01#3.按照文件类型进行分类存放，#4.不同仓库 进行复制#5.上传文件：#1.上传单个文件，上传至指定仓库#2. 保留原有文件名字，上传至仓库指定路径#3. 还要删除zipFiles文件夹下my-local-repo存储库中的所有文件，除了通过此命令上传的文件之外。#4.排除(不要上传)文件#5.排除(不要上传)文件。
2024-05-17 17:50:09
28
原创 [Mac 10.13.4] 使用Homebrew安装Mysql全过程
运行brew service start mysql 可以后台启动mysql运行mysql.server start 前台启动mysql如果提示权限问题使用sudo指令，我的笔记本上如果不加此指令各种权限问题。
2024-05-14 10:53:46
388
原创 ES扩缩容
页面滚动重启会自动识别es集群节点，并更新elasticsearch.yml配置文件中discovery.zen.ping.unicast.hosts配置参数，无需手动修改。如果有索引close无法执行下线，否则会导致数据丢失。
2024-05-13 16:30:19
75
1
原创 KDE巡检报告（模板)
金山云于12月26日对建行共计【30】个KDE集群，合计【198】台服务器进行了巡检服务。共发现系统风险【135】条，服务风险【1912】条，服务配置风险【368】条。
2024-05-13 16:28:42
55
原创 生产环境磁盘变更方案
确定block副本统计正常，无丢块，无under-replicated 块后台执行命令检查新盘初始化例如：/data2/hadoop/hdfs/datanode 目录。
2024-05-13 16:21:43
145
原创 KDE节点扩容
如果客户现场数据盘已经挂载 需要注释部分task，如上图以上为默认注释状态。从kde页面进入后。点击主机列表 可以看到新扩容的节点，并且节点状态为绿色。kde更新节点数量需要重新导入license。上传扩容脚本到中控机，在中控及执行以下步骤。编辑新建主机信息 中控机节点。只需要安装client。
2024-05-13 16:16:56
227
原创 Kerberos修改协议为TCP
修改模板/home/cloud-setup/deploy-forklift/mids/forklift-basic/kde/v1.0/impl/plays/roles/krb5-client/templates/krb5.conf.j2添加如下参数。
2024-05-13 16:00:12
61
原创 ranger 队列划分和权限管控方法
新队列capacity 容量与同级别队列的和必须为100%，否则颜色为红色，无法创建成功root用户登录服务器，修改 票据的用户组为对应的集群用户：set tez.queue.name=ngk_queue;创建的用户名称要与章节1里面创建的用户名称一致！用新创建的用户登录HUE UI界面，执行对应的HQL语句，验证配置的权限是否符合预期。
2024-05-13 15:58:15
45
原创 ranger配置ha高可用方案
登录ranger页面在kde-offline_hadoop策略添加ambari-qa用户并保存。过30s，hdfs成功拉取到kde-offline_hadoop策略。获取dns地址、lb地址、rangerha域名后配置域名解析。在kde-offline2节点添加ranger-admin。kdc平台 ranger-api域名待修改。dns地址和解析地址根据实际情况填写。转发方式选择ip hash（哈希）查看内容发现策略已更新成功。变更完需要重启所有组件。填写kdc用户名密码。
2024-05-13 15:57:27
91
原创 HDFS集群间互访配置
值应该都是：org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider。两个集群分别添加S1.2步骤对方集群dfs.client.failover.proxy.provider.X配置参数键值信息，各一条记录。PAAS参数key：dfs.client.failover.proxy.provider.paa_build。PAAC参数key：dfs.ha.namenodes.paa_query.*，*是S2步骤两个结果值。
2024-05-11 16:21:47
706
原创 HDFS- DataNode磁盘扩缩容
注意：需要指定单个datanode节点逐一热加载变更配置，挨个加载为防止数据丢失，保证一个datanode副本恢复完（单个节点操作后验证无误在操作下一个节点）。##单个节点操作后，再检查block复制是否完成，Number of Under-Replicated会是一个下降趋势（单台数据量大时间会较长,需要持续观察）还需要考虑未来的使用需求，要预留一定数量的空间，以适应未来的增长。注意：需要到主机列表中逐一重启datanode服务，挨个重启为防止数据丢失，保证一个datanode副本恢复完。
2024-05-11 16:20:56
695
原创 HDFS HA 修改nameservice
记录以下值#需要将变量中的hdfs-ha改为hdfs-ns,需要批量添加修改后的值删除老配置剩余以下配置批量添加配置保存配置。
2024-05-11 16:18:53
318
原创 yum、rpm相关命令-工具手册
--force --replacefiles可以无视rpm的冲突去强制替换(如两个rpm的安装路径相同了会有冲突)#--nodeps强制安装，无视环境缺少依赖的检查。
2024-05-11 16:17:40
63
原创 ambari-server高可用配置方案
把kde-offline2节点的id_rsa.pub公钥内容分别拷贝到kde-offline1、kde-offline2、kde-offline3节点的authorized_keys里，保障kde-offine2对其他节点免密。ambari-server切换到kde-offline2上时，此时kdemanager为未导入lic状态，需要将之前的lic进行重新导入。在kde-offline1节点，将ambari-server进程kill掉。后端监听选择kde-offline1为主。
2024-05-11 16:10:46
1028
原创 Hadoop组件添加 KDE图表 -步骤
指标1: GC time in major collection: jvm.JvmMetrics.GcTimeMillisConcurrentMarkSweep._rate。指标1: JVM heap committed: jvm.JvmMetrics.MemHeapCommittedM._avg。指标2: JJVM heap used: jvm.JvmMetrics.MemHeapUsedM._avg。单位：MBHadoop组件添加 KDE图表 -步骤。
2024-05-11 16:09:16
251
原创 Hive on Tez 作业优化参数
Tez AppMaster向RM申请的container大小-（单位：MB）OOM这个参数设定了 Tez 运行排序操作时可用的最大内存。排序操作的内存大小也会影响到排序的效率和性能。如果设置的过小，可能会导致频繁的磁盘I/O操作，进而影响性能。如果设置的过大，可能会占用过多的内存，导致其它操作无法正常执行。-（单位：MB）OOMTez AppMaster内存大小-（单位：MB）
2024-05-11 16:05:51
618
原创 镜像制作过程
编辑 /etc/default/grub 添加 console=ttyAMA0 console=tty0。vi /etc/sysconfig/network-scripts/ifcfg-eth0内容如下。#serveice文件放到/etc/systemd/system/文件夹下。#编辑 /etc/security/limits.conf。#更新grub配置，需要预先查看grub.cfg文件在哪里。#二进制文件放到/sbin文件夹下，并且增加-x权限。#进入root，切换至yum.repos.d目录。
2024-05-11 16:03:49
52
原创 MySQL从主库恢复从库
例：scp -r /data/mysql_backup/13306/20231124/full_164044/ kde-offline2:/data/cp /data/mysql13306_bak20231124/my13306.cnf /data/mysql13306/ #覆盖。记录：7a2ffba6-7ab8-11ee-815f-fa163e25443d:1-2139088。例：/data/mysql_backup/13306/20231124/full_164044/
2024-05-11 16:00:51
78
原创 MySQL主从切换测试
read_only | OFF | #值为OFF说明当前库可读写。#将server1配置修改为当前主节点主机名，server2配置修改为当前从节点主机名。ps -ef | grep mha #一般在kde-offline3节点。恢复方案：启动kde1节点mysql，作为从库向kde2节点同步数据。测试主从：停止kde1节点，mha服务将kde2节点提为主。如果未启动则需要手动执行mha服务启动。#连接数据库，配置向kde2节点同步。在kde-offline3节点）
2024-05-11 15:59:33
129
原创 修改mysql locahost或者127.0.0.1弱密码问题
这将显示与 root 用户关联的主机、用户名以及加密后的认证字符串（密码）。列中存储的是经过哈希加密后的密码，而不是原始密码。
2024-05-09 14:29:54
63
原创 MySQL 的read_only 只读属性说明
为了保证主从同步可以一直进行，在slave库上要保证具有super权限的root等用户只能在本地登录，不会发生数据变化，其他远程连接的应用用户只按需分配为select,insert,update,delete等权限，保证没有super权限，则只需要将salve设定"read_only=1"模式，即可保证主从同步，又可以实现从库只读。"两条命令，就可以确保数据库处于只读模式，不会发生任何数据改变，在MySQL进行数据库迁移时，限定master主库不能有任何数据变化，就可以通过这种方式来设定。
2024-04-23 14:29:21
63
1
原创 Linux释放内存
buffer和cache是两个在计算机技术中被用滥的名词，放在不通语境下会有不同的意义。在Linux的内存管理中，这里的buffer指Linux内存的：Buffer cache。这里的cache指Linux内存中的：Page cache。翻译成中文可以叫做缓冲区缓存和页面缓存。在历史上，它们一个（buffer）被用来当成对io设备写的缓存，而另一个（cache）被用来当作对io设备的读缓存，这里的io设备，主要指的是块设备文件和文件系统上的普通文件。但是现在，它们的意义已经不一样了。
2024-04-19 17:57:27
24
Paragon NTFS 让Mac系统读写NTFS的工具 v15.8.243
2022-10-08
Termius_7.28.0-EN(1).dmg
2022-09-01
Termius(max)
2022-08-29
switchHost Mac
2022-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人