那些年匆匆

原创 Elasticsearch数据迁移

近期在搞ES集群的迁移，以及日常ES运维中也涉及到同集群内索引的重命名、迁移等实际场景。就考虑把实际场景模拟一下，侧重不同集群间的数据迁移，对比观察一下目前主流的数据迁移方式的优点和缺点。为之后真实迁移场景提供参考。原生的reindex使用快照第三方：elsaticdump第三方：logstash先上结果吧！

原创 Elasticsearch的快照

snapshot是一个ES集群或者某个指定索引的备份，快照一般用在

原创 Elasticsearch分片的主动迁移

分片主动迁移，es提供api实现人为主动操作分片在节点上的分配。

原创 Elasticsearch中任务管理怎么做？

一个ES集群研发在清理数据时使用了delete_by_query，导致集群性能严重受影响，影响了正常的业务。为了快速恢复集群正常状态，考虑把还在进行的delete_by_query任务清除掉。

原创 elasticsearch中模板的创建和使用

template是es集群内快速生成批量索引的一种快捷方式。官方解释： 模板是一种在索引创建时配置索引的方法。7.x之后ES支持两种模板创建方式，一种是传统的或者叫普通的创建方式，即在一次请求中指定 mappings, settings, and aliases等模板的内容；另一种component类型，可以以模板式分多次配置mappings, settings, and aliases等内容，且一个模块可被多个索引模板引用。这里主要为探究模板是如果发生作用的，使用传统模式创建索引模板。

原创 helm简介

列出仓库内可用的包helm search repo gzk #支持模糊匹配安装一个包。

原创 从头开始搭建一套Elasticsearch集群

刚开始使用ES接触的就是rpm或者是云上提供的ES服务，基本上开箱即用。特别是云上的ES服务，开局就是集群版本，提供的是优化后的参数配置、开箱即匹配访问鉴权及常用插件，如无特殊需要基本上屏蔽了所有细节，直接可投入生产使用。现在遇到一个问题，验证一下远程集群的配置和使用，在没有多套集群的情况下，想在本地模拟两套ES集群，不得不从头走一遍ES集群从下载、自定义配置到启动kibana可使用的这一套流程。简单记录一下ES维护最原始的状态。task启动一个单节点的ES服务ES开启鉴权创建用户。

原创 Jenkins权限控制与job编排

当要围绕jenkins的功能来具体实现一个小团队的ci&cd系统时，需要从整体需求来设计这一套系统要实现的功能以及具体的实现形式。 首先考虑用户，系统给谁用，权限需不需要控制，权限如何隔离； 其次会涉及多少个环境，环境间如何隔离，不同环境间的信息如何同步；综上，这里会介绍jenkins中两块内容，一是用户及权限的配置，另外一块与权限紧密联系的jenkins任务的组织方式，比如文件夹类型的任务。 这里选择用户系统，jenkins支持ldap用户认证，可以跟既有的用户体系打通方便进行统一管理。授权策

原创 jenkins基础使用

构建： 指jenkins任务的执行或运行 编译： 软件代码从源代码生成二进制可执行文件的过程 另： 本文中job与任务代表同样意义。

原创 jenkins远程触发

{"parameter": [{"name": "package", "file": "file0"}, {"name": "hosts", "value": "192.168.1.141:192.168.1.82"}, {"name": "proname", "value": "portal/packages/abc"}], "statusCode": "303", "redirectTo": ".", "Jenkins-Crumb": ["931f889ad5c5ef028fbb9005f5dbb3b6

原创 建立docker私服

本文涉及3部分：1. 安装docker的yum源私有化实现2. docker私服仓库之docker-register3. docker很私服仓库之harbor

原创 docker-compose介绍

docker技术很早就开始接触，最开始偷懒的想法是起一个标准的容器，在容器内安装完自己的定制需求然后再把容器转存成一个镜像。可最终开始应用的还是得乖乖的去学习dockerfile的规范，根据自己的情况写自己的dockerfile。再后来工作中使用就是kubernetes了，不过一直没有魄力上生产；docker-compose只闻其名，没有真正的使用过。很多时间工作需要才是技术研究的动力，近期工作中开始应用docker-compose，提升不少效率；但受限于docker-compose的单机特性，无.

原创 pinpoint安装过程

pinpoint开源的APM性能监控工具，支持最好的应该还是java程序，通过外挂java agent的方式采集java进程的性能数据，不侵入程序代码。版本1.8.51. pinpoint使用hbase做为数据存储，在启用前，需要提前准备好hbase环境，这里先不涉及hbase安装部署。初始化pinpoint的库文件在hbase服务器上执行$HBASE_HOME/bin/hba...

原创 redis知识点

原创 一次数据库恢复操作

手贱加眼斜不小心把正在使用的一个库的表给覆盖了而且是非常干净那种。值得庆幸的是有备份，于是开始恢复！xtrabackup备份的，更幸运的是今天正好有一份全量的备份，凌晨刚备的，所以省的再准备增量文件了。记录过程如下：停mysql进程mv data databak #把现有数据目录备份mkdir data #创建一个新的数据目录准备全量文件/usr/...

原创 kvm动态增加网卡

现已有一台服务器做为kvm宿主机，上运行一台虚拟机；目前只配了一个网卡，宿主机和虚拟机都是。要实现的功能，在不关机的情况下给虚拟机增加一个虚拟网卡，与已有网段不同。物理局域网已配置好，现将操作步骤记录如下：PS：宿主机ubuntu,虚拟机centos71.宿主机配置新连接的网卡vi/etc/network/interfacesauto em2iface em2 inet...

原创 centos7 用户相关操作

所有命令基于centos7系统1.新建用户#useradd testa2.指定用户家目录# useradd test2 -d /tmp/3.指定用户shell[root@localhost ~]# useradd test3 -d /tmp/...[root@localhost ~]# id test3uid=1004(test3) gid=1004(tes...

原创 keepalived双机双vip测试

实现功能:A B 双机， 正常情况下A绑定vip1, B绑定vip2；顶层通过dns解析将不同的域名分别指向其中一个vip, 以充分利用服务器资源；在发生故障时，A或B上同时绑定两个VIP。在大流量的情况下不建议这么用，如果AB 都接近满载，一旦发生故障，其中一台的流量全部导到另一台，可能很快将另一台服务器也压崩。仅作测试及小流量情况又不想浪费备机资源的情况下使用。sever:...

原创 TCP协议三次握手的理解

TCP可靠的传输协议，建立连接时的三次握手，终止连接时的四次挥手，在离开大学之后，很快就只记住一个名字，具体过程记不清楚了。重新拾起来，再过一遍有不少恍然大悟的地方，当然也可能是大学时就没学磁实！然后把自己的理解记录一下，自己能表述出来才算是理解了！以下只是对标准的TCP连接过程，不涉及半连接，同时打开，同时关闭等情况下的连接。tcp三次握手第一次握手，发送一个syn段指明客户打算连接...

原创 Chrome更新tls1.3无法打开网站解决办法

早上突然发现chrome无法打开大部分网站，经验证发现部分https协议的网站无法打开，http的不受影响。网上各种搜索后终于找到原因，因为chrome自动更新，开启了TLS1.3.  而tls1.3只有在浏览器端和服务器同时支持的时候才能正常访问。前面部分网站打不开是因为服务端不支持tls1.3的原因。谷歌官方给出的解决办法是先关闭浏览器的tls 1.3版本的支持：...

原创 xfs文件系统在lvm下的扩容操作

lvm(Logical Volume Manager) 逻辑卷管理， 可以满足linux系统动态调整各分区大小，满足服务器在不同的运行时期的需求。lvm格式下的扩容遵循下列步骤：1. vg 扩容将新的硬盘或者新的分区加入到一个已经存在的vg中,以/dev/sdb为例pvcreate /dev/sdb  #格式化硬盘vgextend vgroup1  /dev/sdb   #sd...

原创 linux系统修改默认时区

centos6 修改时间tzselect 命令按提示操作即可。 centos7 两种方式centos7.0之后增加了timedatectl 命令。timedatectl set-timezone "Asia/Shanghai" 还有一种方法：ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime...

转载 mysql定时任务

业务： 定时处理已过期的凭证 #查看当前是否已开启事件调度器show variables like 'event_scheduler';#要想保证能够执行event事件，就必须保证定时器是开启状态，默认为关闭状态set global event_scheduler =1;#或者set GLOBAL event_scheduler = ON;# 选择库use TRAVEL_...

原创 国内常用dns服务器

北京联通        202.106.0.20   202.106.196.115阿里                223.5.5.5  223.6.6.6114                114.114.114.114南方电信        180.153.225.136百度                180.76.76.76360                  101.226....

原创 lvs+keepalived实现

系统版本：centos7.x测试环境：lvs1 192.168.60.151lvs2 192.168.60.152rs1 192.168.60.161rs2 192.168.60.162目的：测试lvs负载均衡功能，DR模式。DR模式原理简介：dr模式中，负载调度器只负责调试请求，而真实服务器响应请求并将响应直接返回给客户，不再经由负载调度器。dr模式中要求调度器和服务器必须在物理上有一个网卡...

原创 xtrabackup数据库备份恢复测试

1.下载二进制版本wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.11/binary/tarball/percona-xtrabackup-2.4.11-Linux-x86_64.libgcrypt145.tar.gz解压缩tar xzf percona-xtrabackup-2.4.11-Linux...

原创 elasticsearch 5.6 head插件安装

今天在配置elasticsearch 5.6的时候出的问题：可以看到正常的head界面，但是显示集群未连接。原因是我访问head的时候用的公网的IP，但如图中箭头的地址配置的是内网的地址，而且我本地对该内网地址可不达，所以不管怎么调整es跟head的配置都不济于事。主要是head这个插件只是运行的远程服务器上的一个客户端，而不是一个服务端，相当于你通过9100端口打开了一个web的client软件...

原创 git client源码安装

centos6上yum安装的git版本低，无法配合内网的gitlab服务器，只能是编译安装较新版本的。1.下载wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.9.5.tar.xz2. 确认系统中有xz命令，没有的话安装yum install -y xz解压包：xz -d git-2.9.5.tar.xztar xf g...

转载 用helm管理kubernetes应用

注：从kubetnetes中文社区转裁而来，经过安装测试，按文档可顺利完成安装。过程中报下图错误，在master及node上安装socat后解决！目前我们的一个产品共有4套环境:dev环境、test环境、staging环境、production环境。 其中dev, test, staging环境在一个Kubernetes集群上以不同namespace部署，production环境部署在另一个Kub...

转载 linux exec 和 重定向

Linux中exec命令相关:exec和source都属于bash内部命令(builtins commands)，在bash下输入man exec或man source可以查看所有的内部命令信息。　　bash shell的命令分为两类：外部命令和内部命令。外部命令是通过系统调用或独立的程序实现的，如sed、awk等等。内部命令是由特殊的文件格式(.def)所实现，如cd、history、exec等...

原创 top命令解析

top linux系统下一个系统信息统计展示的工具，可以实时显示系统运行状态。1.输出信息说明头部信息第一行显示：系统时间、系统自上次重启已运行时间总和、当前用户数据量以及平均负载值（同uptime输出)第二行显示进程统计信息：进程总数、睡眠、运行中、僵尸以及已停止的进程数量第三行显示CPU统计信息：用户进程、系统进程、niced进程以及空闲进程所占用的cpu时间百分比第四行显示内存信息：总量、已...

原创 docker+pipework配置容器网络（三）

第三部分：　脚本化上述操作#!/bin/bash# 创建一个容器并通过pipework指定一个与宿主处于同一物理网段的IP。##powered by kevin3101#define bridge namebr_name="br0"#check pipework and docker weather installedcheck_deps() { which pipework &amp...

原创 docker+pipework配置容器网络（二）

第二部分： 使用pipework为容器配置宿主机物理网络的地址1. 安装pipeworkyum install git -ygit clone https://github.com/jpetazzo/pipeworkcd pipeworkcp pipework /usr/bin/2.pipework介绍pipework是一个软件定义网络的工具，用来在任何复杂的场景下连接到容器。pipework基...

原创 docker+pipework配置容器网络(一)

目的：将docker配置成轻量化的虚拟机，启动的容器本身具有与宿主同一网段的IP地址。系统： centos7最小化安装系统，然后升级到最新版本：yum update -y第一部分： 安装docker-ce到系统中1.如果有旧版本docker存在，先清除旧版本文件yum remove docker docker-client docker-client-latest docker-common do...

原创 lvm逻辑卷分区

LVM 是逻辑卷管理（ Logical Volume Manager ）的简称，它是建立在物理存储设备之上的一个抽象层，允许你生成逻辑存储卷 , 与直接使用物理存储在管理上相比 , 提供了更好灵活性。 准备一个分区（或硬盘）以一块8T的硬盘为例。 确定系统中是否安装了lvm工具rpm -qa | grep lvm A： lvm分区创建1.创建pvpvcreate /dev/sdb2.创建vgvgr...

转载 Linux Web服务器网站故障分析常用的命令

Linux Web服务器网站故障分析常用的命令系统连接状态篇：1.查看TCP连接状态netstat -nat |awk ‘{print $6}’|sort|uniq -c|sort -rnnetstat -n | awk ‘/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}’ 或netstat -n | awk ‘/^tcp/ {++state[$N...

原创 yum源汇总

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup163wget  http://mirrors.163.com/.help/CentOS7-Base-163.repo   -O  CentOS-Base.repowget  http://mirrors.163.com/.help/CentOS...

转载 {#｝ 字符串切割

假设我们定义了一个变量为：file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：${file#*/}：删掉第一个/ 及其左边的字符串：dir1/dir2/dir3/my.file.txt${file##*/}：删掉最后一个/  及其左边的字符串：my.file.txt${file#*.}：删掉第一个.  及其左边的字符串：file.txt${file#...

原创 nginx yum源

[nginx]name=nginx repobaseurl=<a href=""http://nginx.org/packages/mainline/OS/OSRELEASE/$basearch/">http://nginx.org/packages/mainline/centos/7/$basearch/gpgcheck=0enabled=1cat >> /etc/yum...

转载 nginx location规则

语法规则： location [=|~|~*|^~] /uri/ { … }= 开头表示精确匹配^~ 开头表示uri以某个常规字符串开头，理解为匹配 url路径即可。nginx不对url做编码，因此请求为/static/20%/aa，可以被规则^~ /static/ /aa匹配到（注意是空格）。~ 开头表示区分大小写的正则匹配~*  开头表示不区分大小写的正则匹配!~和!~*分别为区分大小写不匹配...