- 博客(147)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 filebeat 7.5.x数据入库
一: 数据建模 PUT airquality?include_type_name=true { "mappings": { "doc": { "dynamic": false, "properties": { "@timestamp": { "type": "date" }, "city": { ...
2021-03-17 23:05:34
376
原创 时序数据库批量创建文档和查询
POST _bulk {"index":{"_index":"test_index","_type":"doc","_id":"3"}} {"username":"alfred","age":100} {"delete":{"_index":"test_index","_type":"doc","_id":"1"}} {"update":{"_id":"2","_index":"test_index","_type":"doc"}} {"doc":{"age"...
2021-02-21 13:48:09
134
原创 Kibana server is not ready yet 处理办法
问题: Kibana 部署好运行正常， 突然有一天不能登陆，显示 Kibana server is not ready yet 解决办法: [root@node-001 ~]# [root@node-001 ~]# curl -XDELETE http://10.0.0.100:14106/.kibana {"acknowledged":true} [root@node-001 ~]# [...
2021-02-20 12:03:43
825
原创 时序数据库-分词检索
首先需要改template配置，分词器才有效，可以改具体的某个metric相关的template，也可以改默认的那个。 创建索引 PUT test_ik_aldata_v11/_doc/1 { "settings": { "number_of_shards": 3, "number_of_replicas": 1 }, "mappings": { ...
2021-02-18 22:55:05
259
原创 时序数据库-下架和销毁机器
##############################################################################一：删除实例curl 10.0.0.100:5100/cluster/destroy -d '{ "cluster_name": "cs-2021", "operator": "operator",}'curl 10.0.0.100:5100/cluster/destroy -d '{ "cluster_name"...
2021-02-18 22:35:37
145
原创 ceph错误提示:application not enabled on 1 pool(s) 解决办法！
问题: ceph 出现 如下的错误提示: [root@node-10 /]# ceph -s cluster: id: e7a3be6e-2e30-49fd-99c0-dbb304ae1a82 health: HEALTH_WARN application not enabled on 1 pool(s) ------------------------------------...
2020-07-23 12:28:32
5345
1
原创 ceph提示: non-power-of-two pg_num解决办法
问题: [root@cluster]# ceph -s cluster: id: e7a3be6e-2e30-49fd-99c0-dbb304ae1a82 health: HEALTH_WARN 1 pool(s) have non-power-of-two pg_num 解决办法 增加OSD , ceph 空间资源不足，所致！ ...
2020-07-22 15:09:18
1991
2
原创 ceph的weight和reweight的理解
通过ceph osd tree 可以查看到 weight 和reweight的值 weight的权重和磁盘的容量有关系： 一般定义1TB为1.0 ；500G为0.5 可以通过如下的命令修改: #ceph osd_id crush reweight 在这种状态下 如果直接stop掉 某个节点; 会影响到pg的数据重新分配 ;所以pg的分配取决于weigh值; reweigh...
2020-07-17 10:13:31
4541
原创 Netapp 存储文件共享-Linux 主机应用
Linux /UNIX 访问存储是通过NFS 协议，进行读写数据的！ 创建一个Linux卷 fas8020-1> fas8020-1> fas8020-1> fas8020-1> vol create linux aggr0 100m Creation of volume 'linux' with size 100m on containing aggregate 'aggr0' has completed.
2020-07-01 17:08:30
629
原创 配置Nginx 反向代理-通过Nginx 访问tomcat网站
需要实现： 通过配置nginx的反向代理，使访问nginx 服务器（100.100.100.5），自动跳转到tomcat 网站（100.100.100.8），tomcat 网站IP（100.100.100.8）不直接对外暴露! 1：部署java环境 #tar xf jdk-8u77-linux-x64.tar.gz -C /usr/local/ #ln -s /usr/local/jdk1.8.0_77/ /usr/local/java 2:部署tom..
2020-06-23 15:48:18
550
原创 Jenkins+k8s部署Jenkins slave
一.构建镜像 下载基础镜像，这里使用openvz的包,下载centos7的镜像 1.1 下载镜像后导入到本地 JENKINS VERSION为: 2.222.4 --------------------------------------- [root@node-1jenkins]# ls centos-7-x86_64.tar.gz jenkinsci.tar jenkins-slave [root@node-16...
2020-06-16 10:17:12
1777
原创 kubernetes pipeline
一: Kubernetes安装pipeline插件Jenkins 在kubernetes 平台完成pinpeline ，必须先安装Pipeline等插件！ 选择manager Plugins 安装pinline插件 创建一个job 显示有一个流水线，说明,pipeline 已成功安装 ...
2020-06-15 13:50:00
762
原创 Kubernetes 部署 Jenkins
一: 环境准备 1:系统环境 # uname -a Linux node-16 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux # cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core) # kubectl get nodes.
2020-06-10 13:23:49
545
原创 微服务链路监控-pinpoint 实践案例
链路的跟踪系统的目的是：记录微服务组件的状态，为了快速的定位一个问题 ，排查问题，快速的定位问题，提升用户的体验！全链路监控的系统比较多，主流的是 zipkin ,skywalking ,pinpoint ;链路监控需要考虑的问题:1：全链路监控系统的探针性能消耗2：必须和开发确认代码的侵入性3：监控统度，分析的颗粒度越小越好,能暴露多更多的指标出来4:扩展性 一: 部署 pinpoint # git clone https://github.com..
2020-06-04 21:01:39
1339
1
原创 在K8S平台部署Spring cloud微服务项目
一: 传统部署和K8S部署的区别 传统部署-整体框架 K8S部署-整体框架 二: 安装Maria db并导入数据库 安装Maria db # yum install mariadb-server mariadb -y # systemctl start mariadb # systemctl enable mariadb # ps -ef|grep mariadb mysql.
2020-06-03 14:26:24
1451
1
原创 连接远程mysql数据库失败提示: 数据接口请求异常:error
微服务前端平台访问前端接口时提示如下的错误提示: 解决办法 1:mysql库授权 # mysql -uroot -p Enter password: Welcome to the MariaDB monitor. Commands end with ; or \g. Your MariaDB connection id is 57 Server version: 5.5.65-MariaDB MariaDB Server ..
2020-06-03 11:12:16
5185
原创 存储IP网络三种类型对接网络交换机的配置差异
LACP - Dynamic MultiMode VIF备注:需要交换机支持LACP 拓扑 Cisco 交换机配置 !!!!!! The following interface is a virtual interface for the etherchannel. This interface must be referenced !!!!!! on the physical int...
2020-06-02 09:22:08
407
原创 Netapp ISCSI存储 for Linux 实践案例
Linux端配置步骤 l 确定当前的Linux版本 # cat /etc/redhat-release #uname -a l 检查当前的系统是否有安装iscsi软件包 # rpm –qa|grep iscsi #iscsi-iname l 如果当前没有安装iscsi软件包， 则需要安装，如果已安装了则跳过这一步 # yum check-update #yum
2020-06-01 09:06:50
515
原创 jenkins CI/CD 角本案例-Tomcat 自动发布
#!/bin/bash #Stoptomcat. sshwww@10.10.0.10 '/app/tomcat8080/bin/./shutdown.sh'&>/dev/null sleep15 #Checkthestopissuccessfulornot.Ifuntilnot,killthetomcatprocess. ifsshroot@10.10.0.10 'ps-ef|grep8080 |grep-v"g...
2020-05-30 16:37:39
149
原创 ceph 容灾实践
rbd mirror就是集群间数据块设备之间的备份。这个功能可以实现集群级别的备份，跨地理位置的数据备份,实现数据安全的容灾一: 架构 二:灾备实践 SETUP SITE1 SITE2 1:ceph.conf 配置 分别在两Site服务器上的/etc/ceph/ceph.conf加入字段rbd_default_features=125 RBD默...
2020-05-28 12:45:48
1065
2
原创 kubernetes 数据持久化 使用ceph存储-cephfs
PersistentVolume持久化卷(即PV)是Kubernetes对存储的抽象，PV可以是网络存储，不属于任何Node，但可以在每个Node上访问。PV有以下三种访问模式(Access Mode)：ReadWriteOnce：只可被一个Node挂载，这个Node对PV拥有读写权限 ReadOnlyMany: 可以被多个Node挂载，这些Node对PV只有只读权限 ReadWriteMany: 可以被多个Node挂载，这些Node对PV拥有读写权限我们之前使用Ceph RBD作为Kuberne
2020-05-25 17:27:42
1055
原创 kubernetes 数据持久化 使用ceph存储-RBD
一: PV、PVC概述PersistentVolume（PV）是集群中已由管理员配置的一段网络存储。集群中的资源就像一个节点是一个集群资源。 PV是诸如卷之类的卷插件，但是具有独立于使用PV的任何单个pod的生命周期。 该API对象包含存储的实现细节，即NFS，iSCSI或云提供商特定的存储系统。 PersistentVolumeClaim（PVC）是用户存储的请求 。 可以请求特定的大小和访问模式。虽然PersistentVolumeClaims允许用户使用抽象存储资源，但是常见的是，用.
2020-05-22 10:11:17
668
原创 使用prometheus+grafana监控ceph
下载Prometheus安装包，下载地址 https://prometheus.io/download/ ]# wget https://github.com/prometheus/prometheus/releases/download/v2.18.1/prometheus-2.18.1.linux-amd64.tar.gz 解压压缩包 # tar -zvxf prometheus-2.18.1.li...
2020-05-21 13:35:32
434
原创 Ceph fs MDS 状态报错的解决办法
错误状态信息 [root@node-10 /]# ceph fs status Error EINVAL: Traceback (most recent call last): File "/usr/share/ceph/mgr/mgr_module.py", line 974, in _handle_command return self.handle_command(inbuf, cmd) File "/usr/share/...
2020-05-20 10:16:29
3338
原创 ceph osd down 的处理办法及新增加OSD
1: OSD 状态 有二个OSD down [root@node-11 ~]# [root@node-11 ~]# [root@node-11 ~]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -10 0 IDC rack01 ...
2020-05-19 17:31:21
4021
1
原创 增加虚拟化主机连接共享存储资源案例
增加二台虚拟化主机加入到虚拟化集群，同时访问存储资源!二台虚拟化主机连接到存储的zone配置 ################################################################################ a交换机 alicreate "vmware07_fc1","21:00:00:xx:xx:xx:xx:01" alicreate "vmware08_fc1","21:00:00:xx:xx:xx:xx:02" zone
2020-05-19 11:35:23
230
原创 概述Ceph FileStore与 BlueStore二种逻辑架构的对比
ceph后端支持多种存储引擎，以插件化的形式来进行管理使用，目前支持filestore，kvstore，memstore以及bluestore，默认使用的是filestore，但是目前bluestore也可以上生产。一：Filestore 1.1： Filestore存在的问题是 • 在写数据前需要先写journal，会有一倍的写放大； • 若是另外配备SSD盘给journal使用又增加额外的成本； filestore一开始只是对于SATA/SAS这一类机械盘进行..
2020-05-19 09:36:24
930
原创 ceph RBD 应用总结
CEPH RBD 使用场景： • 云平台（OpenStack做为云的存储后端提供镜像存储） • K8s容器 • map成块设备直接使用 • ISCIS，安装Ceph客户端 RBD常用命令: rbd create 创建块设备映像 rbd ls 列出 rbd 存储池中的块设备 rbd info 看块设备信息 rbd diff 可以统计 rbd 使用量 rbd map 映射块设备 rb...
2020-05-18 17:39:17
357
原创 ceph RGW 部署测试
一: RGW部署 [root@node-10 cluster]# ceph-deploy install --rgw node-10 ----------------------- [node-10][DEBUG ] Package matching 2:ceph-radosgw-13.2.8-0.el7.x86_64 already installed. Checking for update. [node-10][DEBUG ] Nothing to do...
2020-05-18 17:06:29
598
原创 HDS 高端存储TC原理和配置总结
一. TC配置要求 1)P和S位于不同的存储 2)P和S要以block为单位大小相等 3)P和S都要求被Mapping 4)创建从P到S的路径 5)确认从S到P的路径并保留端口TC link的需求 A：存储映射到主机使用的端口（端口类型为：Target） B：TC配置需要的端口，根据2个存储的卷在TC中不同定位，端口类型设定不同： 源卷所在存储的端口类型：Initiator ...
2020-05-18 11:50:40
978
原创 Netapp存储 硬盘显示bad label的解决办法
一: 问题: 硬盘故障，更换故障硬盘后，出下的错误提示！ FAS8020A> sysconfig -r Aggregate aggr0 (online, raid_dp) (block checksums) Plex /aggr0/plex0 (online, normal, active) RAID group /aggr0/plex0/rg0 (normal, block checksums) ...
2020-05-17 17:26:22
1828
原创 HDS VSP高端存储虚拟化UVM案列总结
案例架构图: 说明: l 本地存储VSP/HUSVM 4个FC端口直连或通过交换机连接到外部主机的4个FC端口 l 外部存储A控制器ownership 10个LUN: lun1….lun10 l 外部存储B控制器 ownership 10个LUN: lun1…lun10 创建几个path group的依据是: port数量/外部存储控制器数/LUN数量, 目的确保每个port都有数据流，另外某一个path group的 port使用优先级别最高; UVM 的..
2020-05-17 16:31:12
864
原创 python环境变量设置
存储初始化 安装存储管理软件 当存储物理安装完毕后，需要线安装存储管理软件: (Dell Storage manager Client windows) 过程如下: 按默认方式进行安装 根据提示选next完成安装 SCV3020初始化过程 运行软件 运行 Del...
2022-05-14 07:43:07
4250
1
原创 AWS、Azure、谷歌云、阿里云最新全方位比较
Gartner预测，到2022年底，全球云计算支出将达到4820亿美元，比2021增长21.7%。随着云计算成为大多数企业的优先事项，了解市场上顶级基础设施即服务（IaaS）提供商之间的差异也变得越来越重要。在云迁移方面，成本、可扩展性和数据安全是最大的挑战和担忧，因此，在比较顶级云提供商时，要记住这些重要的差异化因素。 AWS：最佳可用性 AWS多年来一直引领着云IaaS市场，原因很容易理解。AWS提供的服务和功能比任何其他云服务提供商都多，而且它提供的可用性比...
2022-01-04 22:47:40
6362
原创 Netapp存储性能调优
一： Volume参数调整 nas> vol options vol_name nosnap=on, nosnapdir=on, minra=off, no_atime_update=on, nvfail=off, snapmirrored=off, create_ucode=on, convert_ucode=on, maxdirsize=10470, fs_size_fixed=off, guarantee=volume, svo_enable=...
2021-08-20 08:44:26
780
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人