2017年12月_wyl9527

12月 11月 10月 09月 08月 07月 06月 05月

原创 mysql的主从复制和延迟复制

1、安装需求：操作系统：centos6两台虚拟机：bfd01 192.168.55.100 (主)bfd02 192.168.55.101 (从)mysql：mysql-5.7.20-linux-glibc2.12-x86_642、master端配置修改及操作2.1、修改主服务master:#[必须]服务器唯一ID，默认是1，一般取IP最后一...

2017-12-18 05:52:50 769

原创自动化部署postgresql脚本

[root@bfd01 shell]# cat install_postgresql.sh #!/bin/bash#postgresql安装包名POSTGRESQL_VERSION='postgresql-9.6.3'#postgresql安装的位置POSTGRESQL_INSTALL_PATH='/opt/postgresql'#存放二进制包的路径SOFTWARE_PATH=...

2017-12-17 03:15:26 2092

原创自动化部署mysql5.6版本

#!/bin/bash#系统版本号RELEASE=''#mysql安装包名MYSQL_VERSION='mysql-5.6.39-linux-glibc2.12-x86_64'#mysql安装的位置MYSQL_INSTALL_PATH='/usr/local'#存放二进制包的路径SOFTWARE_PATH='/opt/software'#获取操作系统的版本号RELEA...

2017-12-16 05:56:11 508

原创自动化shell脚本部署elasticsearch

这里将繁琐的if判断给去掉了。适合快速部署测试环境。线上环境还是根据实际情况定。#启动es的用户和密码,如果之前部署其他大数据组件已经创建了某个用户,则这里不需要再创建。USER='hadoop'PASSWORD='hadoop'#es安装的集群机器主机名host_name=(wyl01wyl02wyl03)#es安装的集群机器iphost_ip=(10.10....

2017-12-28 00:45:28 1540

原创项目自动化部署

1、这里是编译后python，直接解压设置软连接即可。也可以源码包编译安装，自行添加指令进去就可以。#!/bin/bashhost_name=(wyl01wyl02wyl03)host_ip=(10.10.252.151 10.10.252.112 10.10.252.127)#python部分信息PYTHON_VERSION='python-2.7.8' ...

2017-12-28 00:45:12 538

原创自动创建用户并免秘钥登录

#!/bin/bash host_name=(wyl01wyl02wyl03)host_ip=(10.10.252.151 10.10.251.101 10.10.252.117)#1 步骤输出紫色#2 正确输出绿色#3 错误输出红色#4 提示输出蓝色#5 警告输出黄色function echo_fun(){ if [ $# -ge 2 ];th...

2017-12-28 00:44:51 275

原创 ambari的安装

一、准备工作1、机器信息 ip地址机器名 172.18.1.22 bgsbtsp0006-dqf 172.18.1.23 bgsbtsp0007-dqf 172.18.1.24 bgsbtsp0008-dqf 172.18.1.25 bgsbtsp0009-dqf 172.18.1.26 bgsbtsp0010

2017-12-25 04:22:29 694

原创搭建本地yum源

1、将需要制作的源下载到本地，比如zabbix源。 http://repo.zabbix.com/zabbix/3.0/rhel/6/x86_64/ [root@hadoop1 wyl]# wget -c -r -np http://repo.zabbix.com/zabbix/3.0/rhel/6/x86_64/下载下来后如下图所示: 看到的目录结构和在官网上看到的目录结构是一样的。

2017-12-23 03:23:29 671 1

原创 zabbix监控检测hbase的region一致性

一、背景环境1、http://localhost:16010/master-status查看hbase环境发现是正常的。 2、zabbix监控hbase的hmaster和hregion也是正常的但是有时候会出现region的不一致性问题，这个我们也需要进行监控。二、监控方案shell脚本获取status的值，如果是OK则表示region是一一致性，如果是INCONSISTENT，表示有不一致

2017-12-20 00:04:42 1695

原创 linux绑定静态ip

1、背景情况vmware创建的虚拟机在使用过程中，ip地址发生了改变，现在想再改回到原先的ip.2、解决方案[root@hadoop1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0HWADDR=00:0C:29:A8:B6:6BTYPE=EthernetUUID=93d47beb-ad61-4286-8e63-66

2017-12-19 05:21:39 2582

1.Redis存活监控redis存活监控 (redis_alive):redis本地监控agent使用ping，如果指定时间返回PONG表示存活，否则redis不能响应请求，可能阻塞或死亡。当返回值不为1时，redis挂了，告警，我们以阿里机器上的redis为例（集群部署）：[root@bfd-ango-01 zabbix_agentd.d]# redis-cli -h 47.105.115....

2017-12-18 05:52:32 351

原创 centos7上安装mysql-5.7.20版本

一、背景环境[root@node1 log]# cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) mysql的官网下载地址二、安装步骤1、添加mysql组和mysql用户，用于设置mysql安装目录文件所有者和所属组。#这里会自动创建用户和用户组。[root@node1 opt]

2017-12-18 05:52:14 1145

原创 ntp时间服务器

一．环境准备两台虚拟机192.168.30.139 # 服务端192.168.30.143 # 客户端二．服务端配置：1、安装ntp 服务# 192.168.30.139 [root@hadoop1 opt]# yum install -y ntp# 192.168.30.143[root@hadoop2 opt]# yum ins

2017-12-17 03:42:24 630

原创自动化部署node.js脚本

[root@bfd01 shell]# cat install_node.sh #!/bin/bash#ndoe.js安装包名NODE_VERSION='node-v8.9.0-linux-x64'#mysql安装的位置NODE_INSTALL_PATH='/opt'#存放二进制包的路径SOFTWARE_PATH='/opt/software'#1 步骤输出紫色#2 ...

2017-12-16 05:57:04 525

原创 Shell 基础知识梳理三

Shell 流程控制if else ifif conditionthen command1 command2 ... commandN fiif else-if elseif conditionthen command1 command2 ... commandNelse commandfifor 循环for循环

2017-12-16 05:55:52 246

原创 shell基础知识梳理二

Shell echo命令1.显示普通字符串:echo "hello world"2.显示转义字符echo "\"It is a test\""3.变量使用echo "$name It is a test"4、显示变量#!/bin/bashread name echo "$name ni hao"5.显示换行#!/bin/bashecho -e "hello!\n" # -e 开启转义e

2017-12-15 05:09:32 284

原创 shell基础知识梳理一

1、使用变量，2种形式。定义变量时，变量名不加美元符号$，变量名和等号之间不能有空格 ● 首个字符必须为字母（a-z，A-Z）。 ● 中间不能有空格，可以使用下划线（_）。 ● 不能使用标点符号。 ● 不能使用bash里的关键字（可用help命令查看保留关键字）#!/bin/bashname="wyl"echo $nameecho ${name}使用 unset 命令可

2017-12-14 05:01:18 415

原创 vnc远程工具的使用教程

1、选择使用vnc的背景：teamview免费版的在使用的时候如果断开连接会有一个提示，工作要求是这个不美观影响了，然后用windows自带的远程桌面，但是windows是不支持多用户登录的（有解决方案），但是我们要的效果是我远程登录你的电脑，你的屏幕不会锁屏，依然可以看见我的操作。2、在vnc官网上下载server服务端和agent客户端安装方法就是一直点下一步，最后会有一个填写用户名和密码的

2017-12-13 23:59:30 79393

原创 logstash与filebeat收集日志

1、背景介绍日志收集，采用的是 ELK 框架，即 elasticsearch，logstash，kibana，另外还有 filebeat 组件，其中 filebeat 用于扫描日志文件，将日志发送到 logstash 服务，logstash 服务则完成将日志切分，发送到 elasticsearch 服务。2、filebeat的部署步骤(日志 -&gt; logstash)下载安装包，并解压。创建xxx

2017-12-13 04:16:35 3791 1

转载大数据量Elastic数据迁移方法及注意事项

一、需求1 需求ES集群Cluster_A里的数据（某个索引或某几个索引），需要迁移到另外一个ES集群Cluster_B中。ES集群的索引有大有小，个别索引达到5T磁盘空间占用。2 环境Linux：Centos7 / Centos6.5/ Centos6.4Elastic：2.2.03 总结的方法1）查询并导出数据2）拷贝ES物理目录/文件3）ES快照数据备份和恢复二、迁移方法分别进行以上方法的详细

2017-12-13 03:31:33 2364

原创 PostgreSQL 的基本操作

1、查看数据库登录到postgresql数据库[postgres@kafzook3 ~]$ psql -Upostgres -W提示输入密码：密码输入正确则进入到postgresql数据库。#类似mysql中的show dabtabases；postgres=# \l2、查看表，注意先切换到某个数据库下，用\c database,用\dt指令获取数据库下所有的表3、查看某个数据库的大小

2017-12-12 05:29:21 404

原创 es配置项解释以及脑裂问题

1、elasticsearch重要配置项解释：集群的名字cluster.name: elasticsearch-wyl配置当前节点的名字,每个节点的名字都应该是唯一的node.name: "node1"es存储数据的地方path.data: "/opt/elasticsearch/data"es存储日志的地方path.logs: "/opt/elasticsearch/logs"这

2017-12-12 05:04:32 969

原创 Elasticsearch使用过程中的问题总结

1、es脑裂问题由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况成为集群脑裂（split-brain）现象。这个问题非常危险，因为两个新形成的集群会同时索引和修改集群的数据。正常情况下，集群中的所有的节点，应该对集群中master的选择是一致的，这样获得的状态信息也应该是一致的，不一致的状态信息，说明不同的节点对master节点的选择出现了异常——也就是所谓的

2017-12-12 04:44:54 2061

原创 navicat premium出现PostgreSQL: column “rolcatupdate” does not exist error?

1、背景描述在navicat上创建数据库报下面的错误： **ERROR: column “rolcatupdate” does not exist at character 67 STATEMENT: SELECT rolname, rolsuper, rolinherit, rolcreaterole, rolcreatedb, rolcatupdate, rolcanlogin, rol

2017-12-11 04:02:22 15211 1

原创 zabbix监控top下的某个进程的%cpu值。

1、背景描述这几天发现es的服务占用的cpu资源比较高，经常出现瞬间彪高的现象，对分析原因的产生所以我们需要知道该进程的%cpu变化值，但是我们总不能一直盯着屏幕看，所以用zabbix进行监控。比如top查看下面的值：2、解决思路写python脚本获取当前你要的进程的%cpu的值其次在zabbix-agentd.d目录中添加.conf结尾的文件，具体之前zabbix自定义监控时有描述。在z

2017-12-08 04:59:10 4102 5

原创搭建dns服务器-域名解析

1、背景描述部署的服务，需要用域名访问，在host文件中配置是没有问题，但是如果要是多台电脑去访问，则需要手动去修改所有的host文件，如果哪一天要是添加一个域名，则又需要手动去修改所有的host文件。2、搭建dns服务解决上面的最好的问题是搭建一个dns服务器，进行域名解析，这样做的好处是即使修改域名了，也不用去修改host文件，更不用每台去操作了。3、步骤yum安装yum install

2017-12-06 05:36:16 1373

原创 python练习模仿购物车功能

#!/usr/bin/python#coding=utf-8shopping_mail=[('iphone',5888),('apple',18),('coffee',30),('pencel',20),('car',150000),('bike',900),]salary=input("请输入你的薪水:")if salary.isdigit(): salary=int(

2017-12-01 02:09:21 676

原创 python生成验证码

#!/usr/bin/python#coding=utf-8#引入模块import randomtemp=''count=0#循环6次，每次生成一个字符for i in range(6): #这里的随机数和下面进行对比，如果对比成功则生成一个数字，这样数字就是随机出现。 r=random.randrange(1, 6) if r==2 or r==4:

2017-12-01 01:25:53 281