- 博客(52)
- 收藏
- 关注
RSS订阅转载 logstash自动根据预定义template生成elasticsearch日志索引相关问题
0：版本Logstash：官方logstash:5镜像Elasticsearch：5.4.11：配置logstash.confInput plugin使用tcp，配置信息如下：input { tcp { port => 7777 mode => server }} 2：日志记录组件使用...
2018-10-24 16:16:00
668
转载 分布式环境下的一种配置信息集中化方案
源码地址：https://github.com/cerasumat/Configuration开发工具：vs2017依赖：json.net(版本无强制要求)，.net framework 4.6.1转载于:https://www.cnblogs.com/you-you-111/p/9223982.html...
2018-06-25 13:49:00
224
转载 Redis-Cluster搭建笔记
集群节点分配原理Redis Cluster可靠集群至少需要3个节点，6个Redis实例（3M3S），每个节点上保存1M1S实例且不能互为主从，当然这些Redis Cluster会自动分配。该情况下，集群的16384个slot会被分配至3个Master节点上，分别为：M1：0 - 5460M2：5461 - 10922M3：10923 - 16383集群的HAS...
2018-03-27 14:48:00
228
转载 实际项目中前后端传输字符串URL编解码过程中遇到的一些问题
线上版本（包括12.2，12.3版本）中，参照过滤条件在传输过程中经过了URL编码及解码过程，前后端使用的API之间的差异导致一些问题，现记录如下：前端URL编码APIencodeURIComponent使用UTF-8编码格式对字符串进行URL编码；后端URL解码API：目前代码中存在以下三种解码方式：System.Web.UI.Server.UrlDe...
2018-03-17 16:57:00
522
转载 在WebApi的ActionFilter中读取ResponseContent内容遇到的问题
最近用ActionFilter给REST Api加入本地缓存功能，在OnActionExecutedAsync重写中，需要将缓存对象的内容以byte[]的形式存入缓存，并缓存Etag、ContentType信息。而在该方法中以var content = await responseContent.ReadAsByteArrayAsync().ConfigureAwait(fa...
2017-12-05 15:30:00
901
转载 逆波兰表达式算法原理记录
原始逆波兰式算法（未考虑负数、函数调用情况）1、从左至右扫描一中缀表达式。2、若读取的是操作数，则判断该操作数的类型，并将该操作数存入操作数堆栈3、若读取的是运算符 (1) 该运算符为左括号"("，则直接存入运算符堆栈。 (2) 该运算符为右括号")"，则输出运算符堆栈中的运算符到操作数堆栈，直到遇到左括号为止，此时抛弃该左括号。 (3) 该运算符为非括...
2017-09-22 12:19:00
300
转载 SourceTree整合JIRA
SourceTree与JIRA的链接在SourceTree 1.3版本后加入，可以在SourceTree的提交信息中加入JIRA的问题链接。经测试：功能仅限于在commit信息中关联JIRA问题，并不能将提交信息同步到JIRA。具体配置方式如下（以SourceTree 1.9为例）：1：在SourceTree仓储工具栏最右方的“设置”：2：在“高...
2017-05-19 10:09:00
392
转载 [笔记]intellij IDEA 添加plugin repository
新本子安装IDEA后无法找到go plugin，解决方法：1）File->Settings中点击Browse repositories...2）点击Manage repositories...3）输入jetbrain的plugin repository地址：https://plugins.jetbrains.com/plugins/alpha/50...
2017-01-17 10:47:00
5794
转载 Linux安装配置rabbitmq
gitlab上的安装笔记没有备份，悲剧...重新安装一次，简要记录：Step1:安装erlang1）下载erlangwget http://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el7.centos.x86_64.rpm2）安装erlangrpm -ihv erlang-19.0.4-1.e...
2017-01-12 16:47:00
77
转载 linux下交叉编译go项目
1：下载go源码,以1.7.1版本为例：wget https://storage.googleapis.com/golang/go1.7.1.linux-amd64.tar.gz2：解压源码tar -zxvf go1.7.1.linux-amd64.tar.gz -C /opt/go3：新建GOPAHT目录mkdir -p /opt/go/GoPa...
2017-01-06 17:38:00
299
转载 Rabbitmq集群升级方案
升级Rabbitmq 3.6.3版本至3.6.6版本，升级过程中的一些关键步骤记录Step 1: 顺序关闭集群所有节点，这里注意最后一个关闭的节点必须保证为硬盘节点，而非RAM节点； centOS 7.x+可使用systemctl工具关闭；Step 2： 备份mnesia数据库，数据库路径如下： /var/lib/rabbitmq/mnesia...
2016-12-13 14:37:00
456
转载 以.net core重构原有.net framework过程中的一些API变更记录（持续更新）
1）Type.IsGenericType类似属性变更以下是.net framework 4.5中Type抽象类中泛型类型的几个个属性，用于泛型类型的相关信息判断：以下是.net core(netstandard1.5)中Type抽象类中泛型类型的属性：可见Type类型中的IsGenericType()，IsGenericTypeDefinition()都被取消了...
2016-12-07 14:18:00
186
转载 Elasticsearch索引自动套用模板
公司ELK系统目前的设置是每月自动将日志信息记录至新的索引中，将日志数据按月分索引保存，在扩展的ELK架构中，利Logstash对接rabbitmq，获取日志消息，自动持久化至Elasticsearch。而Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定，最常见的问题就是，某个字段我们并不希望ES对其进行分词，但如果使用自动模板创建索引，那么默认是所有string...
2016-12-05 16:25:00
183
转载 一次xbuild编译失败的排查
今天一个待上线服务测试完毕，需要构建CI，按照模板配置好包还原，xbuild编译，报错，错误信息如下： EtcdRegister.cs(8,15): error CS0234: The type or namespace name `LawDissector' does not exist in the namespace `Gridsum'. Are you missin...
2016-11-28 16:48:00
406
转载 基于Visual Studio Code搭建Golang开发调试环境【非转载】
由于对Docker+kubernetes的使用及持续关注，要理解这个平台的原理，势必需要对golang有一定的理解，基于此开始利用业余时间学习go，基础语法看完之后，搭建开发环境肯定是第一步，虽然能g到一大把，go中文社区也有相关帖子很多，但这里还是记录一下方便查找，同时在搭建过程中也遇到两个g出来的帖子没提到的问题，一并记录。Step1：准备各种安装包1: Visua...
2016-11-25 16:42:00
318
转载 一次kibana服务失败的排查过程
公司在kubernetes集群上稳定运行数月的kibana服务于昨天下午突然无法正常提供服务，访问kibana地址后提示如下信息：排查过程：看到提示后，第一反应肯定是检查elasticsearch集群，碰巧昨天下午公司VPN奇慢，频繁连接不上亦庄机房，因此问题排查一度集中在elasticsearch服务上，另一方面也是因为kibana服务由docker镜像提供...
2016-11-17 14:25:00
500
转载 .net的一致性哈希实现
最近在项目的微服务架构推进过程中，一个新的服务需要动态伸缩的弹性部署，所有容器化示例组成一个大的工作集群，以分布式处理的方式来完成一项工作，在集群中所有节点的任务分配过程中，由于集群工作节点需要动态增减，因此需要利用etcd(或zk)来管理集群，同时用一致性哈希算法来定位每个工作项的具体工作节点，一致性哈希算法的实现（.NET）为如下地址：https://github.com/cer...
2016-11-16 11:49:00
166
转载 一次基于etcd的分布式锁自动延时失败问题的排查
今天在测试基于etcd的分布式锁过程中，在测试获取锁后，释放之前超出TTL时长的情况下自动延长TTL这部分功能，在延长指定key的TTL时总是返回404错误信息，在对目标KEY更新TTL时目标KEY已不存在。最终问题排查为ETCD集群3个节点之间的系统时间不一致，因为TTL延长是在KEY创建后单独一个监听线程中进行，在TTL过半之后会更新TTL，因此可能出现更新TTL之前，由于...
2016-11-08 18:03:00
234
转载 一次kubernetes资源文件创建失败的排查
今天在jenkins中创建kubernetes的rc时，检查目标yaml文件时报出如下错误：+ /opt/jenkins/kube/kubectl -s http://10.xx.xx.xx:8080 create -f ./WebSituationAnalysis2.0/src/WebSituationAnalysis/rc.yamlerror validating "./...
2016-11-03 17:48:00
336
转载 一次kibana小问题排查的过程记录
起因中午业务组同事报告说kibana服务不能正常使用，登录kibana前端查看，网站能够访问，但是页面显示仅有title部分而无内容部分。排查首先确认kibana服务是否正常，登录kubernetes管理节点，查看kibana服务，确认正常，由于重启成本很小所以杀死了原容器，自动重启了一个新容器。但问题依旧。联想浏览器访问kibana前端服务，能...
2016-10-21 14:36:00
267
转载 现阶段Mono版本下的WebAPI开发中存在的一些问题
背景由于公司积极推动各业务产品服务化，得益于容器化技术的不断发展及普及，项目组的服务也更多地基于Mono，Jexus，Docker，Kubernetes等类库、容器、管理工具运行于Linux系统上。业务服务中基于WebApi方式的服务必不可少，本文主要记录在ms的Webapi2框架下，以mono+jexus作为编译、运行框架在linux环境下提供服务这个过程中存在的一些坑。...
2016-10-18 11:32:00
134
转载 基于CentOS-7.2.15的Mono+jexus镜像
公司开发及测试的linux环境为CentOS-7.X，因此以CentOS-7.2.15作为基础镜像，镜像尺寸确实比较大，最终Mono-4.6.0.125+Jexus-5.8.1.10镜像尺寸已将近1G（900+M）；Mono镜像Mono镜像制作基本按照手动安装Mono的步骤即可，但需要注意以下4点：1）除mono依赖的各种组件需要安装外，还需要安装...
2016-10-14 17:10:00
273
转载 使用StackExchange.Redis客户端进行Redis访问出现的Timeout异常排查
问题产生这两天业务系统在redis的使用过程中，当并行客户端数量达到200+之后，产生了大量timeout异常，典型的异常信息如下：Timeout performing HVALS Parser2#Hash#VersionState, inst: 1, mgr: ExecuteSelect, err: never, queue: 2, qu: 0, qs: 2,...
2016-10-10 13:57:00
3992
转载 ansible的SSH连接问题
问题描述：在ansible安装完毕后一般需要以SSH的方式连接到需要进行管理的目标主机，一开始遇到了如下问题：# ansible -m ping all10.200.xx.xx | UNREACHABLE! => { "changed": false, "msg": "Failed to connect to the host via ssh.",...
2016-09-14 16:28:00
1477
转载 .net项目在linux平台的CI流程（基于Jenkins+mono+jexus）
内容较多，主要分为以下4方面内容：Jenkins的安装部署(centos 7+).net在linux平台CI流程所需的插件管理&配置Jenkins配置连接Gitlab(也可使用对应插件连接SVN,TFS作为源码仓库)基于Jenkins的CI流程构建Jenkins安装部署下载[Jenkins最新版]；在服务器上jenki...
2016-09-14 10:30:00
198
转载 正确遍历ElasticSearch索引
1：ElasticSearch的查询过程2：由ES查询模式引起的深度分页问题3：如何正确遍历索引中的数据ElasticSearch的查询过程es的数据查询分两步：第一步是的结果是获取满足查询条件的，分布于各个shard上的_doc_id及对应_score；第二步是根据第一步获取的所有的_doc_id，去各个shard上获取数据明细，合并返回客户端。...
2016-09-07 16:27:00
519
转载 CentOS 7.2 安装配置mysql主从服务器
MySQL官方压缩包安装：1：下载mysql官方版本，此处以目前最新版本5.7.14为例，下载的64位版本文件为：mysql-5.7.14-linux-glibc2.5-x86_64.tar2：解压文件mv mysql-5.7.14-linux-glibc2.5-x86_64.tar /opt/mysql-5.7.14-linux-glibc2.5-x...
2016-09-05 17:25:00
96
转载 基于NFS的分布式持久化
基于容器的微服务架构中，分布式持久化方案并没有一个默认的最好方案，这里使用NFS来作为容器持久化方案。NFS服务需要在服务器及需要挂载的客户端上分别安装配置。nfs-utils包含服务：rpcbind: The rpcbind server converts RPC program numbers into universal addresses.nfs-serve...
2016-08-24 16:58:00
248
转载 Centos7安装Mono(以4.6.0）为例
本文记录mono安装的必须步骤，由于只是一个记录因此操作系统及mono版本都以当前环境为准。1：环境依赖操作系统为CentOS7.0，先安装mono依赖的各种组件：yum -y install gcc gcc-c++ bison pkgconfig glib2-devel gettext make libpng-devel libjpeg-devel lib...
2016-08-17 11:51:00
280
转载 Elasticsearch 1.X 版本Java插件开发
接上一篇《Elasticsearch 2.X 版本Java插件开发简述》开发1.X版本elasticsearch java插件与2.X版本有一些不同，同时在安装部署上也有些不同，主要区别如下：1：插件入口plugin区别与2.X版本，改为继承org.elasticsearch.plugins.AbstractPlugin，而Plugin作为一个接口被AbstractPlug...
2016-08-09 15:51:00
100
转载 Elasticsearch 2.X 版本Java插件开发简述
1：elasticsearch插件分类简述2：Java插件开发要点3：如何针对不同版本elasticsearch提供多版本的插件4：插件具有外部依赖时遇到的一些问题（2016-09-07更新）elasticsearch插件分类简述 elasticsearch插件分为Site插件及Java插件，前者比如使用最广泛的head插件，而后者比如elastic...
2016-08-04 15:19:00
120
转载 Redis必须注意的慢查询问题
今天解析服务在查询Redis的Set数据过程中抛出timeout exception，产生异常的方法是：db.SetMembers(key);这个API返回结果是指定set内的所有kv对象； 解决这个问题的方法仅仅是使用另一个api：db.SetScan(key);这个API也是返回set内所有的kv对象。 从功能上来说这2个API是一样的，但是其返回对象，前者是Redi...
2016-07-29 18:09:00
160
转载 使用kuernetes提供高可用的logstash服务
在kubernetes集群中部署logstash步骤如下：1：logstash安装文件（目前最新版本2.3.4）；2：编写Dockerfile及执行点脚本文件run.sh，并且修改logstash conf文件，配置为消费指定rabbitmq queue，并持久化消息至目标elasticsearch集群，制作logstash镜像；3：推送镜像至某个Docker源，可以是公网的...
2016-07-12 15:49:00
215
转载 使用kuernetes提供高可用的kibana服务
在kubernetes集群中部署kibana步骤如下：1：kibana安装文件（目前最新版本4.5.1）；2：编写Dockerfile及执行点脚本文件run.sh，制作Kibana镜像；3：推送镜像至某个Docker源，可以是公网的源，也可以是公司内部源；4：在kubernetes主节点编写kibana镜像对应的RC文件，service文件；5：在kubernetes...
2016-07-12 15:02:00
307
转载 Docker指定multiple Insecure registry的方法
Docker如果需要从非SSL源管理镜像，需要配置Docker配置文件的insecury-registry参数，一般在如下位置修改其配置文件：* /etc/sysconfig/docker* /etc/init.d/docker默认情况下，INSECURE_REGISTRY参数被注释不产生作用，可以根据实际需要配置该参数为目标非SSL加密的Docker Registry，例如...
2016-07-06 14:05:00
1279
转载 ELK系统中kibana展示数据的时区问题
在采用ELK记录系统日志时，日志存入elasticsearch时，一般是以本地时区存入（如北京东8区）在elasticsearch中直接查询时也没有任何问题，但是kibana在做日志展示时，对日志时间类型会进行一次格式化，如下说明：dateFormat:tz(Default:Browser)Which timezone should be used. "Browser" w...
2016-06-29 17:35:00
1070
转载 ElasticSearch快照备份及恢复
工作步骤：1：建立备份快照数据挂载点，即共享文件目录(Shared Filesystem)；2：建立快照仓储repository；3：建立snapshot快照备份；4：恢复snapshot快照数据；1：建立数据挂载点1）ES所有节点安装sshfs，可通过yum源安装，依赖epel；2）安装sshfs后，规划共享目录挂载点，并确定目标挂载点，注意...
2016-06-28 16:10:00
264
转载 离线安装redis集群
Step0:redis集群组件需求Step1:离线安装rubyStep2:离线安装rubygemsStep3:安装rubygems的 redis apiStep4:离线安装tcl 8.6Step5:离线安装redisStep6:启动redis守护进程及配置主从复制Step7:测试redis集群Step0:redis集群需要安装如下组件...
2016-06-13 14:42:00
103
转载 Elasticsearch静态集群配置
这两天需要将ELK中的单节点运行的ES扩展为双节点，查询了下集群配置，百度搜索结果还是一如既往的坑，基本都是各种转帖，以下记录配置静态集群的步骤：* * *<pre><code>sudo vim /etc/elasticsearch/elasticsearch.yml</code></pre> 1. cluster.n...
2016-06-12 15:26:00
100
转载 RSA数字证书管理
RSA数字证书管理分为以下几个部分：1：在存储区内创建数字证书；2：导出数字证书私钥；3：导出数字证书公钥；4：导入数字证书;5：读取数字证书。1：在.net开发环境中，在证书存储区内创建数字证书数字证书生成，需要指定证书主题，以及本机makecert.exe程序路径，因为证书制作实际上还是用makecert.exe来生成的。生成数字证书代码 如下：...
2015-12-03 11:51:00
198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人