2017年03月_LifeSecret

原创 openfalcon - 累赘的数据造成访问慢

由于部署了多套私有云，所以想着法的减少时间，把falcon的包括文件和db数据全部还原，但是最近一次在部署的时候，发现部署完成后，访问速度有点慢，cpu mem也都正常，这是啥原因来。经过一番仔细调查，发现可能跟过去的endpoint没有清理有关系，查看当前有多少endpoint counteruse graph;select count(*) from endpoint_counter;足足有5

2017-03-31 22:09:12 1178

原创 falcon - 清除数据

有的时候会有用处，我们需要清理当前falcon的数据，直接数据库操作:use dashboard;delete from dashboard_graph;delete from dashboard_screen;delete from tmp_graph;use falcon_portal;delete from action;delete from cluster;delete fr

2017-03-31 09:10:40 2477

原创 fastdfs - 数据迁移

storage 目录下 00-FF文件夹覆盖，其余的文件删掉，pid这种：cd /opt/machtalk/fastdfs/data/fastdfs_storage/data && rm -rf *.pid storage_stat.dat sync

2017-03-30 21:42:55 1591

原创 mysql - 一般参数调整

参数默认值调整 long_query_time engine-default 3 lower_case_table_names engine-default 1 max_connections {DBInstanceClassMemory/12582880} 100000 slow_query_log engine-default 1

2017-03-30 20:53:02 860

原创 arp - arp scan

yum install -y arp-scanarp-scan --interface=wlan0 --localnet

2017-03-30 18:17:42 1514

原创 caddy - upload file

下载文件http://ojv12llai.bkt.clouddn.com/uploads/20170328135542.gz如果从官网下载，地址 https://caddyserver.com/download, 可以选择不同的插件，插件越多，功能也会越多，但是文件体积也会越大。配置文件/etc/caddy.conf:2016 { root /opt/caddy upload /u

2017-03-28 14:01:19 2307

原创语音通知API - onealert的语音通告替代调研

服务名称站点位置 nexmo https://dashboard.nexmo.com 国外 ucpaas http://www.ucpaas.com/ 国内 oneyun https://www.oneyun.com/ 国内注册阶段服务名称站点注册 nexmo https://dashboard.nexmo.com 直接开通

2017-03-27 18:06:51 1669

原创 nexmo - 当晚售前打电话

晚上突然接到一个广东的手机号，还以为是啥来，原来是nexmo的售前工程师，询问了一些相关问题，我给对方解释道我们只是因为onealert停止免费版本中的电话告警，所以我们需要找个备用方案，对方还是蛮客气的，是个女哒，哈哈。nexmo 棒棒哒～

2017-03-24 22:12:26 1578

原创语音通知 - ucpass测试 - 2

溜达了一圈，找到了错误码大全 http://docs.ucpaas.com/doku.php?id=rest_error ，发现原来是sig校验错误，一查才知道，原来sig最后还要全部切环成大写， code如下：#!/bin/bashsid="a2e9b9ba6f9daddcca0e5532e277306e"token="9881df2dd7add68507543c4bc7e6434a"tim

2017-03-24 17:17:12 933

原创语音通知 - unpass小测记录 - 1

刚刚测试了下ucpass的语音通知功能，记录如下。注册注册的时候，需要手持身份证哦，呵呵。提交后， 10分钟会审核通过。建立应用，申请上线建立应用还是比较快，参考api文档，写了个sh的脚本用于测试:#!/bin/bashsid="123"token="123"timeNow=`date +%Y%m%d%H%M%S`echo $timeNowsig=`echo -n "$sid$toke

2017-03-24 17:06:21 1080

原创 falcon - 批量更新模板里面的call url

这两天还是由于onealert取消了电话通知，所以我们需要找电话报警的替代方案，上午的时候已经基本锁定了nexmo作为tts api厂商。选定了api，就要配置到openfalcon里面去了，但是call url是基于模板的，如何批量进行修改呢？巴拉巴拉，在数据库 falcon_portal里面找到了，几条命令批量修改之。use falcon_portal;select * from acti

2017-03-24 14:57:48 1451

原创 nexmo - 电话报警Alert

最近onealert出了一个新政策，会在稍后取消电话告警，好吧，这个功能对于小公司但是业务十分关键的情况下还是相当重要的，无奈，只能找替代方案了。测试到最后，发现nexmo这个还算合适。 1. 注册账号，送你2欧元 2. 充值10欧元激活其他功能 3. 测试tts报警sudo apt-get install php-curl php5-curl<?php$params = [

2017-03-24 14:34:14 2866

原创 esxi - create mf file commands

# for 20gopenssl dgst -sha1 2.2.20.ovf > 2.2.20.mfopenssl dgst -sha1 20.vmdk >> 2.2.20.mf# for 50gopenssl dgst -sha1 1.2.50.ovf > 1.2.50.mfopenssl dgst -sha1 50.vmdk >> 1.2.50.mfopenssl dgst -sha1

2017-03-23 19:46:02 597

原创 justplay - 网页直接提交打印

howtoto be continue

2017-03-23 19:44:29 512

原创 esxi - 3台ESXI部署30+ 虚机半自动化

准备OVF模板准备安装 centos 6.8初始化部署vmware tools部署一台虚拟机作为中转资料打过去dnsmasq服务器在中转机器上执行OVF部署操作批量部署脚本部署完成后，获取mac地址ip地址列表#!/bin/shecho '' > /tmp/dhcp.txtvim-cmd vmsvc/getallvms | grep vmx > /tmp/vmx.txtc

2017-03-23 17:00:44 1675

原创 esxi - 原来esxi安全策略默认不可以从外面wget东西的哦

esxcli network firewall get esxcli network firewall unload

2017-03-23 14:12:03 2829

原创 esxi - use ovf to deploy vm instance

http://www.virtuallyghetto.com/2012/05/how-to-deploy-ovfova-in-esxi-shell.html http://www.virtuallyghetto.com/2012/03/how-to-deploy-ovf-located-on-esxi.html http://www.virtuallyghetto.com/2012/02/una

2017-03-22 20:49:29 699

原创 esxi - 标准生成的vmx文件

生成了一个标准的vmx，回头可以参考其中的参数。.encoding = "UTF-8"config.version = "8"virtualHW.version = "11"nvram = "server2.nvram"pciBridge0.present = "TRUE"svga.present = "TRUE"pciBridge4.present = "TRUE"pciBrid

2017-03-22 15:58:41 2468

原创 esxi - thin模式新建的磁盘也是足足够够的

尝试在esxi里面建立虚拟机，结果还是一样，发现生成的还是带有flat的文件，足足够够的20GB，好吧。

2017-03-22 15:57:15 942

原创 esxi - 使用名行生成虚拟机 - 1

接下来会有一个非常棘手的任务，需要在esxi大概是3台，里面部署大概30几台虚拟机的样子，这个任务还不要了老命了，于是开始尝试使用命令行制作虚拟机。这次的测试使用代码如下：@task@roles("test")def vm_putfile(): #put(env.local_softdir+"50g.vmdk.tar.gz","/vmfs/volumes/datastore1/serve

2017-03-22 15:21:14 864

原创 ESXI 使用命令行创建虚机

vmx文件估计下面这几行就够了.encoding = "UTF-8"config.version = "8"virtualHW.version = "11"nvram = "iiot-test-server1.nvram"numvcpus = "8"memSize = "64512"displayName = "abc"guestOS = "centos-64"ethernet0.vi

2017-03-21 21:05:43 4955

原创 cdh hbase 异常常用处理办法 +1G java heap 内存

最近遇到的cdh hbase异常情况，第一次增加了 java heap size +1GB，可是第二天依旧异常，目前处理故障只是知道增加内存，增加到3GB的时候，今天凌晨的时候就没有爆掉，哈哈。

2017-03-21 08:41:22 1932 1

原创 aws - The parameter groupName cannot be used with the parameter subnet

如果在aws的某一个zone里面，删掉默认的vpc，然后自己新建，那么当使用脚本去，例如boto，创建instance以及security groups的时候，会遇到：

2017-03-20 13:11:46 745

原创 aws - 中小型集群搭建过程

目标：搭建redis mongo等相关基础设施。实施过程建设vpc10:18 完成建立instances11:20 遇到了问题，instance无法完成。本地使用key，siga也在使用key，导致aws认为是key丢失，临时调整了key，待会继续测试。 13:10 终于解决了一个问题， The parameter groupName cannot be used with the par

2017-03-20 13:11:01 1377

原创私有集群部署 - 基础设施访问方式 - 案例1

在部署集群的时候，一般是远程的方式，但是对方提供的远程方式有时候会带来一些麻烦。比如，在正式上线前，对方只是给了一个vpn账户，连上去之后，看到一些个虚机，不能上网，而且vpn账户只是支持windows，这样，我们有很多的脚本其实是发挥不出来相应的作用的。为了解决这种问题，经过一段时间的磨合，图片中展示的就是最新的运行维护架构图。在该图片中： 1. 本地所有工作用系统全是linux，在其中一台

2017-03-20 09:29:36 416

原创 cdh - 常用处理技巧增加heap内存数量和扩容磁盘

cdh安装和使用都非常方便，不过随着业务的增加，日常维护中如何消除critical的报警，大致有两个： 1. 增加服务的java heap size， 1GB为单位向上增加 2. 磁盘，如果使用的是aws的gp2，可以在关机，做镜像，然后扩容磁盘后，再用无缝脚本扩容磁盘。

2017-03-19 10:51:57 3216

原创 globalops brief

采用rslsync进行的globalops看起来是可行的。继续测试中。

2017-03-17 10:35:29 600

原创 aws 远程数据投送 10分钟3GB

oneasiahost的网络性能实在是高。投送到aws俄勒冈虚机达到50Mbps的速度。

2017-03-17 09:48:46 722

原创 aws 远距离投送数据测试40分钟3GB

远距离投送，采用新加坡节点，投送到美国俄勒冈aws可用区，速度1.5MB/s，投送3.7GB数据大概1个小时左右，这还包括一开始新加坡节点在同大陆进行数据同步没有工作的时间。采用的软件是rslsync，看起来还是不错的哦，起码比从大陆传过去几十k的速度好多了。END

2017-03-17 09:07:33 1167

原创 fabric - centos7安装fabric

yum install -y python-devel python-pip openssl-develpip install fabric

2017-03-16 21:17:37 2671

原创 rslsync 200Kbps uses 1.7% cpu and 12.4% mem

现在经常会遇到Global OPS的问题，而且在opsing中，主要有两条链路，一条控制链路，一条数据链路。控制链路可以通过微林这种服务+海外服务解决，一般这种是延迟小，但是按照流量收费。数据链路，这个对延迟没有啥要求，但是确实有些问题的。如果数据链路在传输中没有找到一个好的方法，那么在opsing中问题是比较大的。rsysync是解决的方式之一，还在测试中。由于hk 的机器带宽限制在2M

2017-03-16 20:26:41 920

原创 justplay - 大批量传输文件

http://ojv12llai.bkt.clouddn.com/uploads/20170316191929.rslsync

2017-03-16 19:20:22 637

原创 linux - top 那么多进程中如何查看一个进程的情况

ps aux | grep xx 找到进程号top -p pid

2017-03-16 15:16:51 5157 3

原创端口转发和端口映射

两者是不一样的东西。映射，简单，来了数据包之后，由于是路由器接收到的流量，把DST IP改成后端内网地址，内网服务器在相同的端口收到数据包后返回，路由器把SRC IP改成路由器的IP，完成。转发，先收再转，一般来说是服务器，收到数据包后，转发给后端，后端不会直接看到SRC IP是远端，而是转发服务器的IP地址请求。一般家用路由器带有的都是映射。特别要注意，一般情况下，纯内网的机器网关要指向转发服务

2017-03-16 15:14:27 4772 1

原创 python 一堆业务需要消耗资源（vm），一批硬件服务器，应该如何安排资源建设?

现在的甲方是越来越有意思了，我们第三方要给他们部署业务，对方提供了资源，可是虚拟机要让我们去新建，擦来。详细点说，我们在AWS里面有集群，配置大致如下：service1,t2.micro,30,us-west-2,ami-0dde2e6d,zzlyzq,1,22_10060_10055,publicservice2,t2.micro,30,us-west-2,ami-1712d877,zzlyz

2017-03-16 13:50:35 814

原创 aws 一个完整的互联网项目实践过程

简介一个完整的互联网项目，包括前端和后端，前端： 1. 大多使用AWS的LB服务，tcp http https协议都是支持的 2. public subnet。由于需要被internet直接访问，所以需要进入public subnet。加装公网地址是为了可以访问internet；进入pulibc subnet是为了LB internet facing可以与其进行配合。后端： 1. 负载

2017-03-16 09:52:19 2904

原创 aws 噼里啪啦做了一天测试花了4$

早晨到了公司，看了看AWS的账单，发现昨天原来花了4美金，擦来，好多呀，顶我几顿饭了，看看，亚哈，怎么还有预期来。赶紧着了找，原来Loadbalance有两个没有删除，想必是昨天晚上没有删除吧，赶紧删掉，要知道1个LB要足足100~200大洋.

2017-03-16 08:24:51 904

原创 aws 网络的问题

重点， AWS的网络有公有子网和私有子网。公有子网： 1. 可以被internet facing load balance 调用 2. 如果想上网，必须有公网地址私有子网： 1. 可以被internel load balacing 调用 2. 要想上网，需要使用nat gateway

2017-03-15 23:24:27 843

原创 aws 批量创建instance并绑定security groups

#coding:utf-8import boto.ec2import boto3import reimport jsonimport time# 读取变量## boto2conn = boto.ec2.connect_to_region("us-west-2",aws_access_key_id='123',aws_secret_access_key='123/123')# 主力函数，用于

2017-03-15 15:01:12 1536

原创明日计划 - 2017.03.15

aws 使用api操作instance配置aws 使用api操作lb配置aws使用api操作 public ip配置aws 使用api操作security groups和instance结合aws使用api操作lb和instance结合aws使用api操作public ip和instance配置

2017-03-14 22:27:22 765

deploying_the_vmware_infrastructure

rufus-2.2（Windows 10安装U盘创建工具）

空空如也