- 博客(90)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【2023年最新版考试真题分享】 Apsara Clouder云计算专项技能认证：云服务器ECS入门【已通过】
阿里云ECS云服务器认证考试
2023-02-27 15:30:39
1931
1
原创 k8s证书过期---手动更新
背景：执行命令发现报错：Unable to connect to the server: x509: certificate has expired or is not yet valid这就是k8s的证书过期了k8s解决证书过期官方文档：https://kubernetes.io/zh/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/查看是k8s master 节点证书过期了，登录master服务器，进入 /etc/kubernetes/
2022-03-17 11:21:51
5704
原创 Linux上配置Jupyter Notebook远程访问
1、安装本次使用的python版本为python3.9.1pip3 install jupyter2、生成配置文件jupyter notebook --generate-config3、生成密码root@hadoop:~$ ipython3 Python 3.9.1 (default, Jan 12 2021, 19:48:30) Type 'copyright', 'credits' or 'license' for more information IPython 8.1.1
2022-03-16 11:30:55
942
原创 Ambari Metrics监控界面不显示问题
解决方案一：修改配置中的参数->在configs中(亲测有效)#修改下面的valueMetrics Service operation mode = embeddedhbase.cluster.distributed=false#更改为：hbase.cluster.distributed=trueMetrics Service operation mode = distributed按推荐值保存后：->重启Ambari Metrics组件解决方案二：删除（删除重启后自动生成
2020-10-14 18:36:13
1082
原创 Jenkins使用秘钥登录
1、首先要创建所用用户的公钥和私钥，例如用户bbb：ssh-keygen -t rsa2、将bbb用户的公钥加入到authorized_keys文件中，即：cp id_rsa.pub authorized_keys这样就基本上可以了，接下来在Jenkins中操作就好3、在 Private key 一栏中添加 bbb 用户的 id_rsa中的内容即可。点击测试，显示success...
2020-10-14 11:59:21
1004
原创 MariaDB不支持emoji表情
项目需求，数据库中引入带有emoji数据，引入后报错：分析是数据库字符集的问题，需要将字符集修改为utf8mb4。因此按照这个方向去排查：1、首先确定下MariaDB对应的MySQL版本：MariaDB 5.5 对应 Mysql 5.55.5以下的版本都是上述对应关系MariaDB 10.0 对应 Mysql 5.6MariaDB 10.1 对应 Mysql 5.7mysql5.5.3以上才支持utf8mb4因此，可以看出我们的版本是支持的：2、既然这样，那修改字符集就可以了，下面是
2020-10-13 16:23:42
558
原创 Linux下修改mysql的root密码方法（亲测有效）
1、mysqladmin修改root密码:1)新数据库,从未设置过root密码,可以使用下面命令：# mysqladmin -u root password "newpass" #新密码为“newpass”2)已经设置过root密码,想使用mysqladmin修改,使用下面命令：[root@localhost ~]# mysqladmin -u root -p root password "redhat" #旧密码为root 新密码为“redhat”2、使用set passwo
2020-10-10 15:14:51
6410
原创 服务端 TCP 连接的 TIME_WAIT 问题分析与解决
听到运维同学提到 TIME_WAIT 状态的 TCP 连接过多的问题，但是当时没有去细琢磨；最近又听人说起，是一个新手进行压测过程中，遇到的问题，因此，花点时间，细深究一下。问题描述模拟高并发的场景，会出现批量的 TIME_WAIT 的 TCP 连接：短时间后，所有的 TIME_WAIT 全都消失，被回收，端口包括服务，均正常。即，在高并发的场景下，TIME_WAIT 连接存在，属于正常现象。线上场景中，持续的高并发场景：一部分 TIME_WAIT 连接被回收，但新的 TIME_WAIT 连接产
2020-08-18 11:54:59
1848
原创 ceph部署手册
本手册详解讲解部署、运维和使用 Ceph 的过程。部署：涉及 Ceph 资源规划、组件安装&配置、状态检查等，提供一个高性能、高可靠性、多功能的存储集群；运维：扩容、下线节点、常见问题和故障、Troubleshooting 等；应用：详细演示 磁盘快、对象、文件系统 的使用方式，以及作为 K8S 持久化存储的使用方式(PV PVC StorageClass) 等；一、部署本手册讲解使用 ceph-deploy 工具部署 luminous 版本 Ceph 集群的步骤。主机规划如下：
2020-08-18 11:53:06
1611
原创 yarn集群调优
一、概述每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。1、CPU资源调度目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 其他机器的计算能力的2倍，然后可以通过多配置几个虚拟内存弥补差异。在yarn中，cpu的相关配置如下。yarn.nodemanager.resource.cpu-vcores表示该节点服务器上yarn可以使用的虚拟的CPU个数，
2020-08-18 11:48:12
1191
原创 yarn集群三种调度
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairScheduler。1、FIFO-先进先出
2020-08-18 11:44:56
2408
原创 yarn集群ui界面详解
1、UI界面详解我们安装完Yarn后，可以在浏览器中通过http://master:8088来访问Yarn的WEB UI，如下图：我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息对上面7个字段信息进行解释：1.Active Nodes：表示Yarn集群管理的节点的个数，其实就是NodeManager的个数，我们集群有2个NodeManager从配置中可以看到每一个NodeManager管理的内存大小是1630MB，那么整个Yarn集群管理的内
2020-08-18 11:43:41
13200
原创 k8s集群节点对接集群后iptables限制端口
测试目的：先知381对接FI-C80，验证哪些Hadoop端口会对先知造成影响测试环境：先知381对接CDH测试步骤：1、先知更换对接Hadoop集群2、先知节点关闭访问的Hadoop集群所有端口（阻止IP访问）3、先知节点上一一开通Hadoop集群的端口4、验证先知流程环境：先知节点：172.27.231.103配置集群节点：172.27.234.31 qa-fic80-hdp01172.27.234.43 qa-fic80-hdp02172.27.234.51 qa-fic80-
2020-08-18 11:00:32
2740
原创 Linux6版本跟7版本之间防火墙对比
Linux6版本跟7版本之间防火墙变化比较大Centos 7 firewall ：1、firewalld的基本使用启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld开机禁用 ： systemctl disable firewalld开机启用 ： systemctl enable firewalld2.systemctl是CentOS7的服务管理工具中主要的工具，
2020-08-17 00:14:30
286
原创 k8s修改pod固化方案
方案思路：先在docker 容器级别将所需改动完成，然后commit该容器为一个新的镜像到仓库，最后在k8s ds中启用该镜像。操作流程：一、定位到apigateway后台docker容器，并进入[root@hdp1 shanghaibank-hotfix]# docker ps |grep apigateway923002acb833 63f4ed014d9b
2020-08-17 00:11:48
1699
原创 集群迁移方案整理
附录A： HDP集群间Distcp方案：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_administration/content/distcp_and_security_settings.html CDH集群间Distcp方案：https://www.cloudera.com/documentation/enterprise/5-11-x/topics/cdh_admin_distcp_data_cluster_m
2020-08-16 18:27:07
1143
原创 k8s节点出现内存溢出导致监控告警（解答版）
疑问：背景是有台物理机因为内存溢出 然后告警了 告警规则是 检测 message中out of memroy 字段，而且物理机是k8s的节点，这样 k8s的pod 如果出现out of memory 的话 会写入到 message中去么？答案：会的！内存溢出是系统判断的话就可以看到日志疑问：如果pod因为内存溢出导致pod重启的话，pod的日志也会进入到 /va/log/message 中？答案：不是pod日志 是系统识别某个进程内存溢出了 会显示到message里，因为pod 你可以当做一个进程在
2020-08-16 18:19:22
3381
原创 k8s以及docker的命令
一、k8s命令kubelet用k来代替1、获取集群中有多少节点k get nodes2、查看所有命名空间下的pod列表信息k get pods --all-namespaces3、查看prophet命名空间下的pod列表信息k get pods -n prophet -o wide4、查看prophet命名空间下的pod 详细信息k describe pod telamon-5d49cf95fb-zn2x8 -n prophet5、查看namespace信息k get namespac
2020-08-16 18:16:47
1606
原创 k8s集成prometheus报错：err=“log series: open /prometheus/wal: no such file or directory“
问题排查：分别查看pod日志：prometheus-k8s-0以及prometheus-operator-78bd98fc99-bmkbq经查：prometheus-k8s-0日志显示 err=“log series: open /prometheus/wal: no such file or directory”k logs prometheus-k8s-0 -n monitoring -c prometheus -f查看 journalctl -f -u kubelet 日志报错：remov
2020-08-16 17:49:28
1469
原创 hive准备测试数据
1、数据准备：#创建测试hive数据库create database hive_test; #创建hive数据表，指定一个分区CREATE TABLE testa ( id INT, name string, area string ) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;2、准备数据，复制数
2020-08-16 17:37:07
1827
原创 Kubernetes Pod的5个故障处理方法
在很多情况下，你可能会发现Kubernetes中的应用程序没有正确地部署，或者没有正常地工作。今天这篇文章就提供了如何去快速解决这类故障以及一些技巧。在阅读了这篇文章之后，你还将深入了解Kubernetes的内部机制，另外，我还将与大家分享一些关于自己操作Kubernetes的一些非常有用的技巧。那么，我们开始吧！首先，Pod失败的原因一般有两个： Kubernetes资源配置中的错误，例如在部署（Deployment）和服务（Service）里。 代码中的问题。 在第一种情
2020-08-16 17:28:31
1127
原创 界面上问题排查思路
1、从前端页面开始排查页面通过F12检查：对比URL：Rquest URL: http://172.27.129.229/resource-manager/v1/resources/k8s/prophet-resource-test1?_t=1589255553935Request Method: GETRequest URL: http://172.27.129.229/resource-manager/v1/resources/k8s?size=15&page=1&filt
2020-08-16 17:21:11
256
原创 不知道啥时候就能用到的命令
mysql#mysql查找数据库中是否已经存在某张表select count(*) from information_schema.TABLES t where t.TABLE_SCHEMA ="数据库名" and t.TABLE_NAME ="数据库表名";GPU# 找哪个pod占用了gpu，后面的grep可以自己换k get pod --all-namespaces -o custom-columns=NAMESPACES:.metadata.namespace,NAME:.metadata
2020-08-16 17:16:18
123
原创 keepalive的vip不能ping通mysql
现象：双主双从的mysql，2台keepalive节点，vip不能telnet到mysql的3306端口lvs算法和模式导致，关闭即可：参考：https://blog.csdn.net/weixin_34185320/article/details/93018301
2020-08-16 17:10:12
517
原创 kinit: Included profile directory could not be read while initializing Kerberos 5 library
1、查看/etc/krb5.conf下的includedir是否存在2、查看includedir对应的路径是否正确如图：此时includedir中的路径下为空，因此读取不到Kerberos的配置，会报标题中的错误解决：注释includedir即可
2020-06-23 12:01:52
3754
1
转载 Linux下md5sum用法 (查看文件或字符串的md5值)--留存
MD5算法常常被用来验证网络文件传输的完整性，防止文件被人篡改。MD5 全称是报文摘要算法（Message-Digest Algorithm 5），此算法对任意长度的信息逐位进行计算，产生一个二进制长度为128位（十六进制长度就是32位）的“指纹”（或称“报文摘要”），不同的文件产生相同的报文摘要的可能性是非常非常之小的。md5sum命令采用MD5报文摘要算法（128位）计算和检查文件的校验和。...
2020-04-15 16:31:17
639
原创 留存--MAC--安装mysql及可视化工具 Navicat Premiun
转载：https://blog.csdn.net/jor_ivy/article/details/81323199百度云直达链接：https://pan.baidu.com/s/1lqbH06hRZyQnO2IvQ1eByQ密码: 7kcf
2020-04-15 16:15:13
253
转载 如何利用Excel公式制作日历
转自百度：https://jingyan.baidu.com/article/a681b0de4f76cf3b184346cc.html 1 首先，在单元格C2/E2分别输入文本【年】、【月】；B4:H4区域输入星期一至星期日的英文缩写【Mon/Tues/Wed/Thur/Fri/Sat/Sun】 2 插入两个两个表单控件【数值调节钮】，步骤如图【开发工具】，【插入...
2020-03-11 17:15:09
3736
原创 Jenkins批量复制旧视图的job到新视图
Jenkins新建视图后需要一个个重复复制旧视图中的job比较麻烦，找了一个脚本，尝试后会报异常，因此修改了下代码，如下：import hudson.model.* //源view def str_view = "test-sextant-dev" //目标view def str_new_view = "test" //源job名称(模糊匹配) def str_search = "......
2020-03-04 13:10:48
5365
转载 我是一个线程（很生动，理解的很彻底）
我是一个线程， 我一出生就被编了个号： 0x3704, 然后被领到一个昏暗的屋子里， 这里我发现了很多和我一模一样的同伴。我身边的同伴0x6900 待的时间比较长， 他带着沧桑的口气对我说：我们线程的宿命就是处理包裹。 把包裹处理完以后还得马上回到这里，否则可能永远回不来了。我一脸懵懂，包裹，什么包裹？”不要着急，马上你就会明白了， 我们这里是不养闲人的。“果然，没多久，屋子的门开了， ...
2020-02-18 17:52:24
313
转载 linux sshfs挂载命令使用
在服务器上经常有要直接操作另一个台服务器的某一些资源文件的情况，例如有一台程序服务器，一台资源服务器，程序服务器就可以直接挂载资源服务器的某一个目录，然后直接上传文件到资源服务器上了。虽然以前也使用过该命令，但一直没有进行总结整理，一点小经验，希望对大家有帮忙。下面看一下如何使用sshfs安装sshfs首先，我们需要安装sshfs软件。sshfs是一个基于SSH文件传输协议的文件系统客户端，...
2020-02-17 11:21:34
871
转载 报错kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 26s
近期在服务器跑大量高负载程序，造成cpu soft lockup。如果确认不是软件的问题。解决办法:#追加到配置文件中echo 30 > /proc/sys/kernel/watchdog_thresh#查看[root@git-node1 data]# tail -1 /proc/sys/kernel/watchdog_thresh30#临时生效sysctl -w kerne...
2020-02-12 16:28:45
1103
原创 解决Jenkins时间与系统时间不一致
点击【系统设置】—>【脚本命令行】，输入：![System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai')](https://img-blog.csdnimg.cn/20200207123045763.png?x-oss-process=image/watermark,type_ZmFuZ...
2020-02-07 12:38:50
3364
转载 linux杀死僵尸进程命令
命令行的学习捷径Linux 命令有许多强大的功能：从简单的磁盘操作、文件存取，到进行复杂的多媒体图像和流媒体文件的制作，都离不开命令行。在 Linux 的学习中，新手都会遇到这么一个问题：自己对系统的每个命令都很熟悉，但是在系统出现故障的时候，就无从下手了。说到底，就是学习的理论知识没有很好地与系统实际操作相结合。五大系统运维状态对运维来说，查看系统运行状态是最基础的工作之一。要...
2020-01-17 16:19:55
1437
转载 Hive常用命令
quit和exit命令[root@bd2 bin]# hiveWARNING: Use "yarn jar" to launch YARN applications.hive> quit;[root@bd2 bin]# hiveWARNING: Use "yarn jar" to launch YARN applications.hive> exit;reset命令重...
2020-01-17 11:12:37
344
原创 Linux下区分物理CPU、逻辑CPU、CPU核数、线程数以及查看命令
概念① 物理CPU实际服务器中插槽上的CPU个数是指物理上，也就是硬件上存在着几颗物理cpu,指的是真实存在是cpu处理器的个数，1个代表一颗，2个代表2颗cpu处理器。物理cpu数量，可以数不重复的 physical id 有几个② 逻辑CPULinux用户对 /proc/cpuinfo 这个文件肯定不陌生. 它是用来存储cpu硬件信息的信息内容分别列出了processor 0 –......
2020-01-16 18:29:02
2889
原创 cpu使用率低负载高，原因分析-----举例命令排查过程
原因总结产生的原因一句话总结就是：等待磁盘I/O完成的进程过多，导致进程队列长度过大，但是cpu运行的进程却很少，这样就体现到负载过大了，cpu使用率低。下面内容是具体的原理分析：在分析负载为什么高之前先介绍下什么是负载、多任务操作系统、进程调度等相关概念。什么是负载什么是负载：负载就是cpu在一段时间内正在处理以及等待cpu处理的进程数之和的统计信息，也就是cpu使用队列的长度统计.........
2020-01-16 14:52:30
11333
3
oracle12c利用shell脚本一键自动化安装
2023-08-23
mysql-connector-java-5.1.40-bin.jar.tar.gz
2020-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人