devops
文章平均质量分 64
devops
笑起来贼好看
歲月匆忙,偷得浮生半日閑。
展开
-
【Devops运维】Docker搭建jenkins自动化编译hadoop/spark/flink/hive/kyuubi/trino大数据组件
DevOps 一词的来自于 Development 和 Operations 的组合,突出重视软件开发人员和运维人员的沟通合作,通过自动化流程来使得软件构建、测试、发布更加快捷、频繁和可靠。本文是 通过 docker 制作 jenkins 镜像,部署 jenkins 容器,配置 spark / hadoop 编译任务原创 2023-05-22 13:27:39 · 784 阅读 · 0 评论 -
【大数据】HDFS调试命令行(Debug Commands)详细使用说明
HDFS命令行使用说明文档,比如常见的 bin/hdfs dfs -ls /; bin/hdfs dfs -rm ; bin/hdfs fsck等等命令详解本章节主要讲述 bin/hdfs debug原创 2023-03-08 07:49:13 · 499 阅读 · 0 评论 -
【大数据】HDFS用户客户端命令行(User Client Commands)详细使用说明
HDFS命令行使用说明文档,比如常见的 bin/hdfs dfs -ls /; bin/hdfs dfs -rm ; bin/hdfs fsck等等命令详解原创 2023-03-08 07:47:36 · 1639 阅读 · 0 评论 -
【云原生】Kubernetes(k8s)最新版本详细保姆级安装教程
Kubernetes简称k8s,是一个开源的,用于管理云平台中多个主机上的容器化的应用,k8s目标是让部署容器化的应用简单并且高效,k8s提供了应用部署,规划,更新,维护的一种机制。本文是总结了在安装k8s过程中详细步骤。K8s最新版本详细安装教程原创 2023-02-13 10:24:21 · 2290 阅读 · 0 评论 -
【云原生】细数 k8s支持的4种类型的container
如果您有一个初始化容器和一个应用程序容器,并且将初始化容器的资源和限制设置为高于应用程序容器的资源和限制,那么只有在有一个可用节点满足初始化的情况下,才调度整个Pod容器要求。从1.18版本开始,K8S内置的Sidecar功能将确保Sidecar容器在正常业务流程开始之前就启动并运行,即通过更改pod的启动生命周期,在init容器完成后启动sidecar容器,在sidecar容器就绪后启动业务容器,从启动流程上保证顺序性。与常规容器一样,将临时容器添加到 Pod 后,将不能更改或删除临时容器。原创 2023-02-11 10:14:31 · 1831 阅读 · 0 评论 -
【云原生】解读Kubernetes三层网络方案
由于 Calico 没有使用 CNI 的网桥模式,Calico 的 CNI 插件还需要在宿主机上为每个容器的 Veth Pair 设备配置一条路由规则,用于接收传入的 IP 包。可以看到,尽管这条规则的下一跳地址仍然是 Node 2 的 IP 地址,但这一次,要负责将 IP 包发出去的设备,变成了 tunl0。一旦配置了下一跳地址,那么接下来,当 IP 包从网络层进入链路层封装成帧的时候,eth0 设备就会使用下一跳地址对应的 MAC 地址,作为该数据帧的目的 MAC 地址。原创 2023-02-11 10:11:36 · 507 阅读 · 0 评论 -
【大数据】谈谈Service与Ingress
Ingress 实际上就是 Kubernetes 对“反向代理”的抽象。目前,Ingress 只能工作在七层,而 Service 只能工作在四层。所以当你想要在 Kubernetes 里为应用进行 TLS 配置等 HTTP 相关的操作时,都必须通过 Ingress 来进行。原创 2023-02-11 10:06:30 · 403 阅读 · 0 评论 -
【大数据】kubernetes(k8s)calico跨节点网络不通的问题及排错过程
kubernetes在使用过程中,网络插件calico问题。原创 2023-02-11 10:03:18 · 5873 阅读 · 0 评论 -
【云原生】kubernetes离线安装
【代码】【云原生】kubernetes1.19.2离线安装部署原创 2023-02-11 10:00:48 · 249 阅读 · 0 评论 -
【云原生】kubernetes常见组件安装,持续更新中...
通过helm来安装部署各种组件superset,mysql,redis,flink,spark。其中的参数都需要根据实际情况自行修改。spark on k8sflink on k8s mysql on k8s原创 2023-02-11 09:57:13 · 265 阅读 · 0 评论 -
【数据库】Mysql-5.7.X 最详细部署教程(linux/macos),真的很详细,一篇文章你就会了
MYSQL社区版LINUX/MACOS操作系统安装及常见问题答疑教程原创 2023-01-19 20:16:19 · 1509 阅读 · 0 评论 -
【Ambari】ambari-2.7.5.0集群保姆级安装教程
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。原创 2023-01-28 10:18:31 · 1279 阅读 · 0 评论 -
【性能压测】Jmeter工具使用
10个线程,同时启动,循环一次。虚拟用户增长时长。比如你测试的是一个考勤系统,那么实际用户登录使用考勤系统的时候并不是大家喊1、2、3 - 走起,然后一起登录。实际使用场景可能是9点钟上班,那么从8:30开始,考勤系统会陆陆续续有人开始登录,直到9:10左右,那么如果完全按照用户的使用场景,设计该测试的时候此处应输入40(分钟)* 60(秒)= 2400。但是实际测试一般不会设置如此长的Ramp-Up时间,原因嘛,难道你做一次测试要先等上40分钟做登录操作?原创 2023-01-27 19:59:09 · 89 阅读 · 0 评论 -
【服务器运维】查看linux系统硬件信息
物理CPU个数,cpu查看方式,内存查看方式,cpu的资源信息原创 2023-01-19 20:32:25 · 74 阅读 · 0 评论 -
【开发工具】Mac电脑彻底删除Idea(卸载)
mac电脑book清理idea,卸载idea,删除idea。原创 2023-01-19 20:23:36 · 3613 阅读 · 1 评论 -
keepalived教程
keepalived是一款可以实现高可靠的软件,通常部署在2台同网段的服务器上,分为一主一备。Keepalived可以对本机上的进程进行检测,一旦Master检测出某个进程出现问题,将自己切换成Backup状态,然后通知另外一个节点切换成Master状态。HA(High Available), 高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。-C 可以指定解压的路径,这里是/usr/local/src。在两台机器上启动keepalived即可。原创 2023-01-19 20:20:55 · 1065 阅读 · 0 评论 -
【Ambari】2.5.1.0.0汉化、构建和安装
环境准备 我使用的Centos7环境(其他的环境ubuntu,debian可能不太一样),在Centos7上安装依赖的软件包。 首先下载maven3.5,jdk8,python2.6并配置好环境变量yum install -y git svn node python-devel rpm-build gcc-c++下载源码 首先从Ambari下载页面选择适合的镜像下载源码包。也可以直接执原创 2017-08-21 17:44:59 · 5449 阅读 · 2 评论 -
【版本控制库】Git安装与使用
一:Git介绍:Git是一款免费、开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目二:Git安装:Git下载地址:http://git-scm.com/download/Git安装详细说明 打开你下载的exe文件选择需要安装的组件: 注:如若后续只使用第三方 git 可视化工具(例如 eclipse git 插件等),不再使用 git 命令行工具的话,此处可都不勾选。配原创 2015-06-05 15:57:17 · 815 阅读 · 0 评论 -
【MAVEN】配置私服Nexus
<repositories> <repository> <id>Nexus</id> <name>Nexus Repository</name> <url>http://127.0.0.1:port/nexus/....</url> <layout>default</layout> <snapshots>原创 2016-07-15 18:01:29 · 349 阅读 · 0 评论 -
【MAVEN】项目管理插件maven-plugins
maven插件使用介绍原创 2016-07-20 13:51:58 · 3723 阅读 · 0 评论