- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 SVN对接Jenkins实现提交代码自动触发流水线
现在主流的代码版本管理工具是git，git功能强大，在devops流程中对接方便，比较受devops开发流程的欢迎。但有些时候我们需要使用其他的代码管理工具，如svn。svn功能不如git齐全，但是也可以接入到devops自动化流程中，在此记录一下自己使用svn对接Devops的CI一环。
2024-01-24 16:29:10
1414
原创 DevOps基础设施配置之jenkins对接K8S
我们在构建K8S基于Jenkins的devops流水线的时候，有一个很重要的步骤就是将Jenkins和K8S对接，这样才能充分运用Jenkins与K8S的特性【pod slave】完成流水线的运行，本文主要记录如何配置Jenkins与K8S集群的对接。
2023-06-27 17:24:06
5457
原创 生产环境的jaeger-operator部署示例
kubernetes生产环境通过operator部署jaeger,并配置istio和kiali对接jarger
2023-06-08 15:46:54
1413
原创 CDH6.3.2离线部署资源下载
2021年2月份开始Cloudera全面下架了免费的安装包下载渠道，因未订阅授权的用户无法使用CDH6.3.3和之后的版本，故整理6.3.2版本的CDH离线部署文件，以供分享。
2023-05-23 10:18:17
684
1
原创 K8S集群node节点初始化将docker数据目录分离出系统盘
我们知道，docker在安装的时候，默认数据目录是`/var/lib/docker`，但是`/var/lib`却是在系统盘，数据量小一点儿的时候还好，但是一旦数据量大了之后，难免会存在隐患。因此我们最好是将这些数据放置到单独的分区上。
2023-05-19 15:26:49
285
原创 Kubernetes 中的 Secret加密存储
为安全方便的将K8S的secret进行git版本，需要引入对secret进行加密的工具：Sealed-Secrets
2023-01-03 11:59:29
1259
原创 istio学习笔记之多VirtualService绑定同一Gateway端口实践
在使用istio-ingressgateway时，用同一个端口（gateway）访问不同的后端服务
2022-12-29 11:29:41
1042
2
原创 kubeflow自带pipeline [Demo] XGBoost - Iterative model training启动失败解决方案
此教程仅针对国内服务器无法链接gcr.io谷歌库的同学，服务器环境可以直接访问gcr.io的同学可以绕行。此篇教程也不仅仅是为了解决这一个问题，更是为了给大家提供一种思路，遇到同类问题知道该怎么入手排查一下，当然，有些大神能够通读源码，那我这就算是小巫见大巫了。
2022-11-21 16:08:21
771
原创 大数据集群源数据同步之MySql2HIVE增量同步
纯干货，使用canal+kafka+camus一步一步完成MySQL到hive增量更新的全部详细过程
2022-09-24 16:05:48
2084
原创 HIVE数据同步Elasticsearch
前言在大数据领域，因数据量级大，使用传统RDMS查询效率在很多场景下远远不能满足需求，虽然HBASE等分布式存储具有高性能、实时读写的能力，但却并没有解决数据的高效检索问题，例如根据特定的几个字段进行组合检索的场景，像HBase这种采用rowkey作为一级索引的方式，就无法满足高效的多条件查询需求。而ES作为分布式全文检索引擎，用以存储HBase索引，就能很好的解决大数据量、多条件复杂、高效查询的问题。演示环境Elasticsearch7.6.2Hive 2.1.1+cdh6.3.2操作步骤下
2022-04-02 14:41:42
3076
原创 CDH6.3.2添加spark-sql
前言众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。集成步骤下载Apache-spark2.4.0因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使
2022-02-18 17:56:25
5266
13
原创 CDH大数据----HUE问题笔记
写在前面：博主环境是CDH6.3.2,所有问题及配置围绕CDH展开1.在HUE中执行hive写操作失败描述：执行动作： 向表中插入数据INSERT into test_01 values(1,'abc123');HUE页面报错： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。截图：原因查找：
2022-01-13 14:45:48
1643
原创 shell脚本倒计时
需求描述在这里插入代码片平时写一些shell的时候，因为某些原因需要等待（sleep），等待几秒还好，若是需要等待十几秒甚至几十秒，让执行者心里都没有底，到底是是什么原因导致脚本运行卡住了，所以，有一个倒计时显示是十分有利的人机交互体验。解决思路最简单的解决方式就是写一个循环，通过加减运算来不停的输出当前值。嗯，就是直接输出会不停的刷屏，比较……不美观，hhh…我们最理想的及时方式当然是“数字变换”，而不是“数字刷屏”，因此，我们就需要用一些特殊的方式，让后一个显示的数字直接覆盖前一个数字，实现输
2021-11-10 15:52:30
3484
原创 CentOS7安装可移植Prometheus+grafana--alertmanager配置邮件告警
背景前两篇博文我们介绍了Prometheus及其相关的监控组件，本次我们记录一下告警组件：alertmanager安装配置获取安装包官方下载地址：https://prometheus.io/download/老规矩，按照自己的系统选择合适的包，博主是CentOS7,选择如图所示配置1.将包解压并规范目录按照规范，我们将下载好的包解压、改名并移动到指定目录下tar -zxvf alertmanager-0.21.0.linux-amd64.tar.gzmv alertmanager-0.
2021-01-29 14:55:41
1010
原创 linux(CentOS7)下实现集群主机分类免密登录脚本--类跳板机
背景在某些项目出于安全考虑，系统管理员或者甲方在提供批量主机服务器的登录后需要及时替换密码等情况，繁琐且费时费力。这种情况下我们完全可以使用一台服务器为跳板机，跟集群内做免密认证，这样管理员只需要每次提供当前跳板机，之后修改这一台服务器的登录密码即可，安全方便。基于此类情况考虑，开发了如下脚本工具。脚本演示1.shell环境此脚本是基于CentOS7环境basha.脚本运行展示初始主界面输入1，进入ums（名称自行配置，配置方式见配置文件）主机选择然后根据需要选择进入指定主机2.完整组
2021-01-19 17:05:30
348
原创 阿里云API-python脚本开发-云监控数据对接nightingale监控
背景在日常工作场景中，使用阿里云ECS、RDS等服务时，我们可能需要对接本公司选择的监控软件,用以实现便捷监控。阿里云也提供了相应的API，并且阿里云很贴心的提供了各种语言环境的演示代码，所以我们可以很方便的借用与开发，下面我们以RDS的CPU使用率为例，写一个简单的对接nightingale的脚本调用阿里云API格式参数获取首先我们需要先拥有一个阿里云账号，否则无法调用它的调试功能。然后我们打开阿里云RDS运维与监控API的文档地址：https://help.aliyun.com/docume
2021-01-15 12:31:28
975
1
原创 CentOS7安装可移植Prometheus+grafana--pushgateway及自定义监控
背景基础搭建篇我们讲了如何配置可移植的Prometheus+grafana，客户端使用的是node_exporter，采用server端pull的方式采集数据，本次我们来试一下client端push的方式，就是Prometheus的另一个工具：pushgateway。pushgateway的优缺点这里就不多讲了，网上总结的比我好，我们主要是学习一下基本用法。pushgateway拓扑图pushgateway像一个被动的小伙纸，数据源是各个client推给他，他把信息记录下来，然后Prometheus
2021-01-12 17:16:41
558
原创 CentOS7安装可移植Prometheus+grafana--基础搭建
背景说明某些情况下，因项目环境较多，且因网络安全要求，各环境间互不相通，导致无法一个server同事监控所有node，这时候就需要部署多个server，为了简单方便，将已有的server直接打包到新环境，稍作修改就能使用当然是最理想的，因此才有了此篇记录。涉及服务prometheus：prometheus-2.23.0.linux-amd64node_exporter：node_exporter-1.0.1.linux-amd64grafana：grafana-7.3.6.linux-amd6
2021-01-05 14:31:06
991
原创 记import pandas报错（OSError: [WinError 193] %1 不是有效的 Win32 应用程序。）
问题描述：前几天兴起，将用了很久的python3.7.5升级为3.7.9，初始使用时，毫无问题，直到昨天下午测试一段代码时，import pandas as pd 时报错：OSError: [WinError 193] %1 不是有效的 Win32 应用程序。网上查了很多教程，有说时64位系统不能用32位程序的，我去官方找 pandas-1.1.4-cp37-cp37m-win_amd64.whl，结果 pip install pandas-1.1.4-cp37-cp37m-win_amd64.wh
2020-12-02 10:08:39
2198
4
原创 tail -f 过滤结果实时输出重定向到文件
需求描述：前两天接到朋友求助，说写了个监控日志关键词的shell，希望通过tail -f | grep命令实现将过滤出来的信息实时重定向到文件中，但运行后发现重定向的文件一直为空，确认了各种可能错误，一直不得其解。问题分析：咋一看，似乎是一个很简单的问题，就是 taif -f | grep 过滤出来的内容重定向到文件中就行了，但是为什么文件一直为空呢？其实这要从shell的输出机制说起，因为标准输出到终端时默认行缓冲或无缓冲，重定向到硬盘之后，就变成了全缓冲。因此 tail -f 往..
2020-11-17 12:22:07
7069
3
原创 Python实现Linux普通用户切换root并执行命令
需求描述：在某些场景下，我们需要在Linux环境中实现用脚本从普通用户切换到root用户执行某些命令，这种情况就需要用到脚本的自动交互。又由于某些情况下，服务器管控较严，我们的服务器禁止连接外网或者私自安装某些工具，比如 yum install expect 或者 pip install paramiko 等，这种情况下该如何操作呢？解决方式：因博主的操作环境基本为CentOS7，基于CentOS7自带python2.7，所以我们可以使用python的默认模块subprocess来实现，话不多说，直
2020-09-21 15:47:36
6995
3
原创 RabbitMQ连接报错：connect to mq failed, Exception (403) Reason: “no access to this vhost“
问题描述：今天协助硬件部兄弟重装Linux系统及内部应用服务，为方便快速部署，直接将之前配置好的系统打包成镜像部署到新机器上，其他服务都正常启动了，只有俩服务模块怎么着都不启动，debug发现连接RabbitMQ报错：2020/09/19 11:07:16 connect to mq failed, Exception (403) Reason: "no access to this vhost"解决思路：开始先去网上搜索，发现都说是“因为没有配置该用户的访问权限”，让配置权限，配置之后还是
2020-09-19 11:27:56
3424
原创 Telport连接报错[E] [rdp] real host need Enhanced RDP Security (CredSSP)
问题描述：Telport堡垒机登录Windows Server 2012,点击RDP，弹出连接信息后窗口消失。查看日志文件，报错信息如下：[2020-09-18 14:01:11] [E] [rdp] real host need Enhanced RDP Security (CredSSP).[2020-09-18 14:01:11] [E] [rdp] invalid server connect confirm PDU问题查找：初始怀疑服务器远程桌面连接服务有问题，于是开通.
2020-09-18 16:32:03
958
1
CDH6.3.2离线部署资源文件005
2023-05-22
CDH6.3.2离线部署资源文件004
2023-05-22
CDH6.3.2离线部署资源文件003
2023-05-22
CDH6.3.2离线部署资源文件[002]
2023-05-22
CDH6.3.2离线部署资源文件001
2023-05-22
server-status.rules
2021-01-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人