- 博客(158)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
原创 elasticsearch数据迁移
reindex官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docs-reindex.html_reindex API支持以某个索引为数据源构建一个新的索引。如果elasticsearch的版本小于5.0,_reindex API只支持集群内部的索引重构迁移。如果elasticsearch的版本为5.0及以...
2018-12-19 12:00:40
2950
原创 elasticsearch6.4.2线上使用配置
系统参数:# 修改linux内核内存分配策略sysctl vm.overcommit_memory=1# 尽可能少的使用swap sysctl vm.swappiness=0# 修改tcp-backlog(socket监听队列的值)sysctl net.core.somaxconn=1024# 修改mmap计数sysctl vm.max_map_count=262144v...
2018-12-14 09:53:04
1920
原创 centos7修改hostname
hostname取值逻辑如果存在/etc/hostname文件,读取其内容为localhost。hostname的配置文件为/etc/sysconfig/networkhostname为linux系统内核参数,保存在/proc/sys/kernel/hostname其值是linux启动时从rc.sysinit读取的。如果存在/etc/hostname,其内容为localhost,...
2018-12-13 11:25:04
1156
原创 java socket的正确关闭姿势
java socket对应的是网络协议中的tcp,tcp的三次握手、四次挥手、11中状态什么的这里就不说了,不知道大家平常使用socket的时候如果不注意的情况下,会不会遇到各种异常报错。例如:java.net.SocketException:socket is closed错误提示的出现场景:自己主动关闭了socket,但是之后还从里面读写数据Software caused conn...
2018-11-17 19:15:12
48409
18
原创 elasticsearch分片移动操作
分片移动触发条件创建/删除一个Index;加入/离开一个Node;手动执行了Reroute命令;修改了Replica设置;Allocate策略,明确指定是否允许分片分配到指定Node上,分为index级别和cluster级别https://www.elastic.co/guide/en/elasticsearch/reference/master/allocation-filter...
2018-11-08 18:09:59
5687
原创 redis线上配置
基础部分redis.conf(修改部分)bing ipprotected-mode no # 不建议 应该使用密码daemonize yespidfile /home/redis/pids/redis_6379.pidlogfile "/home/redis/logs/redis_6379.log"databases 256dir /home/redis/data/slave-p...
2018-11-08 09:31:43
1091
原创 io.undertow.servlet包NullPointerException问题
错误提示:2018-11-07 14:52:37.350 ERROR 4004 — [ XNIO-1 task-5] io.undertow.request : UT005022: Exception generating error page /errororg.springframework.web.util.NestedServletExcept...
2018-11-07 15:11:44
10091
原创 springboot排除数据库以及mongo的自动配置
测试某个功能时,新建了一个项目,因为要保证依赖相同,所以直接把依赖pom文件直接复制过来,但是依赖中有mongo的依赖,导致了springboot自动配置了mongo,但是并没有配置mongo的信息,导致初始化的连接报错,解决办法,直接排除mongo的自动配置。数据库的DataSource同理,错误提示为:Description:Cannot determine embedded datab...
2018-11-07 12:06:28
6396
4
原创 Caused by: java.lang.NoClassDefFoundError: org/hibernate/validator/internal/engine/DefaultParameterN
Caused by: java.lang.NoClassDefFoundError: org/hibernate/validator/internal/engine/DefaultParameterNameProviderat org.hibernate.validator.internal.engine.ConfigurationImpl.(ConfigurationImpl.java:128...
2018-11-07 11:50:45
7231
原创 elasticsearch2.x升级到6.x 完成数据迁移
官方文档方法描述:https://www.elastic.co/guide/en/elasticsearch/reference/current/reindex-upgrade-remote.html官方对于版本升级的规则描述:https://www.elastic.co/guide/en/elasticsearch/reference/current/rolling-upgrades.html...
2018-11-06 18:37:47
4937
1
原创 elasticsearch集群参数修改
elasticsearch.yml中尽量只写必备的参数,其他可以通过api动态设置的参数都通过api来设定动态设定的参数有transient和persistent两种设置,前者在集群重启后会丢失,后者不会,但两种设定都会覆盖elasticsearch.yml中的配置。PUT /_cluster/settings{ "persistent": { "discovery.zen.mi...
2018-11-06 18:21:50
1426
原创 logstash安装使用及使用filter处理日志示例
下载logstash(最好下载与es相同的版本,这里为了测试下载的低版本)wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz解压tar -zxvf logstash-2.3.4.tar.gz运行测试# 使用标准输入输出./logstash-2.3.4/bin/logstash -e 'in...
2018-11-01 11:40:05
2898
原创 通过nginx代理无密码访问开启了x-pack验证的elasticsearch
在有些工具中,并没有提供elasticsearch的用户名密码接口,而如果elasticsearch开启了x-pack验证,用户名密码又是必须参数。如果去修改工具实现,代价又太大,所以我们可以选择使用nginx反向代理,使用nginx为请求增加验证,达到无密码访问兼容老工具的目的。首先,elasticsearch中配置允许通过请求头来验证:http.cors.allow-headers: Au...
2018-10-30 15:54:07
1586
2
原创 elasticsearch x-pack启用及破解
声明:此教程只用于学习,如有商业用途请购买收费版。elasticsearch版本6.4.2启用x-apck安装elasticsearch后启动服务。[2018-10-29T19:07:09,614][INFO ][o.e.t.TransportService ] [es-wk-node-1] publish_address {127.0.0.1:19300}, bound_addres...
2018-10-30 11:25:10
18690
7
原创 crontab任务堆积导致启动大量进程的处理(flock)
crontab在执行任务过程中,可能由于任务执行错误或者在下一个任务开始前,前一个任务没有执行完成,导致大量的进程产生,最后导致死机等。可以使用flock来加锁防止启动大量进程:flock [-sxon][-w #] file [-c] command-s, --shared: 获得一个共享锁-x, --exclusive: 获得一个独占锁-u, --unlock: 移除一...
2018-10-24 15:27:30
3979
原创 crontab执行任务时命令无法查到到命令
crontab在运行时,环境和用户环境并不相同,可能会出现有些命令无法查找到的情况,这时候在脚本中将命令的路径引入即可,例如加入以下语句:PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin...
2018-10-24 15:21:43
4941
原创 linux ssh免密登录(scp免密操作)
使用ssh相关命令,如scp等的时候,输入密码是很麻烦的事,而且有时候需要做自动化操作,这个时候还要人手动输入密码就没法玩了,我们可以通过配置rsa私钥和公钥的方式来免密ssh登录。假设有两台机器,实现A到B的免密登录:hostA:192.168.11.1hostB:192.168.11.21、在主机A生成秘钥对ssh-keygen -t rsa一路回车,最后会生成秘钥对:You...
2018-10-09 16:18:52
13606
3
原创 Dynomite入门指南
dynomite原理简介项目地址:https://github.com/Netflix/dynomite文档地址:https://github.com/Netflix/dynomite/wikiredis命令支持情况:https://github.com/Netflix/dynomite/blob/dev/notes/redis.md下载地址:https://github.com/...
2018-09-29 17:21:06
5323
8
原创 twemproxy安装访问及同机部署多实例
twemproxy是干啥的网上讲的很多,这里就不提了。项目github地址:https://github.com/twitter/twemproxy/releasestwemproxy不支持事务操作twemproxy支持的命令情况:https://github.com/twitter/twemproxy/blob/master/notes/redis.md首先安装配置redis,此处略过。...
2018-09-28 15:11:07
859
原创 redis sentinel的脚本机制及实现twemproxy主从自动切换
redis sentinel 脚本机制1).sentinel notification-script 通知型脚本:当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,一个是事件的类型,一个是事件的描述。如果...
2018-09-28 14:46:14
1248
原创 redis监控工具
redis-monitor项目github地址:https://github.com/NetEaseGame/redis-monitor (看作者名称,应该是华科的)# 安装 pip install redis-monitor#初始化 redis-monitor init#启动nohup redis-monitor start > redis-monitor.log &a
2018-09-28 14:07:33
2260
3
原创 python 脚本工具
python ssh连接远程操作# coding=utf-8import paramiko# 创建ssh对象ssh = paramiko.SSHClient()# 把要连接的机器添加到known_hosts文件中ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())# 连接服务器ssh.connect(hostname...
2018-09-28 14:06:26
844
2
原创 redis-sentinel 常用命令
# 重置名字匹配正则表达式的所有master状态信息,清除之前存储的状态信息和slaves信息。PS:节点只要加入过sentinel,信息就会保存而不会自动清除 sentinel reset <pattern># 用于改变关于master的配置,例如 sentinel set mymaster down-after-milliseconds 1000 ,此命令修改了当节点第一次...
2018-09-28 14:05:25
16891
原创 java 线程分析 jps jstack 分析死锁
jstack可以导出线程信息在启动java项目时,会打印对应的端口信息,通过端口我们可以查询到对应的进程idlinux下:netstat -tunlp | grep [port]windows下:netstat -ano | findstr [port]然后使用jstack就可以导出对应的线程信息:jstack [进程id] &gt; [导出文件存储的位置]测试代码如下:p...
2018-09-24 16:19:03
809
原创 npm WARN deprecated bfj-node4@5.3.1: Switch to the `bfj` package for fixes and new features
npm install 报错npm WARN deprecated bfj-node4@5.3.1: Switch to the bfj package for fixes and new features!npm ERR! Unexpected end of JSON input while parsing near ‘…alse,“deprecated”:"Br’npm ERR! A c...
2018-09-22 13:27:31
5417
原创 docker基本使用
命令# 查看本机docker运行的实例情况docker ps# 查看本地的镜像docker images# 获取新的镜像docker pull reposity_name# 查找镜像docker search reposity_name# 和容器进行交互 # docker run是允许容器 # -i 允许标准输入# -t 在容器内指定终端# -d 后台运行...
2018-09-20 15:22:14
194
原创 docker安装
centos安装# 安装系统工具yum install -y yum-utils device-mapper-persistent-data lvm2# 添加软件园信息yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 更新yum缓存yum ma...
2018-09-20 12:29:28
198
转载 Gossip 数据传输协议
Hyperledger Fabric通过在交易执行(endorsement和committing)peer节点和交易ordering节点之间划分工作负载来优化块链网络性能,安全性和可扩展性。网络操作的这种解耦需要一个安全,可信的和可扩展的数据传播协议,以确保数据的完整性和一致性。为了满足这些要求,Hyperledger Fabric实现了Gossip数据传播协议。Gossip协议Peer利用g...
2018-09-20 10:08:29
689
原创 dubbo2.6.3 依赖冲突异常解决过程
首先按照官网的示例,只加入了以下依赖: <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2.6.3</versio...
2018-09-17 19:12:53
2549
1
原创 spring-cloud 组件简单使用
本文主要简单讲述了spring cloud组件简单集成的配置及代码(只有简单使用方法,没有原理之类的讲解)。代码github地址:https://github.com/wkcaeser/spring-cloud-demo/tree/masterNetflix-eurekaeureka servereureka server主要提供服务注册和发现的功能 依赖: ...
2018-09-16 19:03:58
659
1
原创 redis哨兵集群配置
redis master参数配置: redis.conf#无变化 需要注意的是host# redis中默认的启动了保护模式,如果没使用密码,且ip不是127.0.0.1的话,需要关闭保护模式protect-mode:no# 其他节点也一样#host 需要填写client可以访问的ip# 例如client和实例在一个机器上,可以使用127.0.0.1# 如果client...
2018-09-02 21:02:34
647
原创 elasticsearch的rack_id和zone的使用来实现es的定向请求和有意识的分区备份
在使用es时,我们有时候希望分片分布在特地的机器上,或者希望请求在某些机器上执行,es为我们提供了Shard Allocation Awareness的概念,即通过用户对集群节点的标识,es集群会自动的去为节点划分区间,然后根据节点所处区间,为节点分配primary shard和replica。 其主要通过rack_id和zone来实现。 官方文档实例有两个标记选项:rack_id和zon...
2018-09-02 20:36:13
2358
原创 各版本lettuce sentinel spring集成流程(连接池、哨兵配置)
spring-data-2与其上一个版本1.8是一个分水岭,2.0用的是io.lettuce:lettuce-core,2.0之前的spring-data用的是biz.paluch.redis:lettucespring-data-2.0以上版本配置spring-data-redis版本2.0.9.RELEASE io.lettuce:lettuce-core版本5.0.4.RELE...
2018-08-30 18:53:42
5111
1
原创 elasticsearch本地集群搭建及远程服务器搭建注意事项及kibana配置
首先下载解压elasticsearch压缩包,我使用的版本为elasticsearch-6.3.2-2,解压后的路径为E:\elasticsearch-6.3.2-2。在解压目录下有config文件夹,里面有elasticsearch.yml文件,这个即为我们需要修改的配置文件。修改以下配置# 这个参数必须设置 此参数是用来允许单机允许多个实例,默认不允许node.max_lo...
2018-08-15 15:18:08
3681
原创 IDEA2018版本插件无法安装,连接超时问题
因为IDEA使用了HTTPS的原因,在配置里面去掉HTTP的勾选即可。如下图所示:还一种方式就是在显示连接超时时,会提示下载的地址,将下载地址复制到游览器然后下载,下载完后选择从磁盘安装即可。...
2018-08-08 10:28:51
3434
原创 springmvc的路径参数中存在小数点导致数据被截断的问题
在使用restful风格编写接口时,路径参数是很常见的,有时候路径参数中会有小数,例如http://localhost/xxx/{xxx}/{yyyy}http://localhost/test/pathVal1/xx1.11这时候会发现第二个路径参数接收到的实际值为xx1,后面的.11被截断了。这是由于springmvc的路径后缀匹配模式导致的。解决办法,关闭路径后缀匹配...
2018-07-31 17:46:56
1470
原创 java.lang.RuntimeException: can not run elasticsearch as root
elaticsearch默认不能用root用户启动,所以会报java.lang.RuntimeException: can not run elasticsearch as root异常。解决方法有两类: 1、修改elaticsearch配置,使其可以允许root用户启动(不建议)#在执行elasticSearch时加上参数-Des.insecure.allow.root=true,完整...
2018-07-30 15:13:15
19999
3
原创 linux创建新用户并将为其赋予权限
以下命令都在root用户下操作 创建新用户es:adduser es为es用户设置密码passwd es#后面会让输入两次密码将为es用户赋予某个文件夹权限:#文件夹归属组 #chown -R [用户]:[所属组] 目录 chown -R es:es elasticsearch-6.3.2/ #修改文件夹权限 chmod 770 elasticsearch...
2018-07-30 15:07:24
18265
1
转载 elaticsearch入门教程
全文搜索属于最常见的需求,开源的 Elasticsearch (以下简称 Elastic)是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。Elastic 的底层是开源库 Lucene。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装,提供了 REST AP...
2018-07-30 11:09:19
2504
原创 Jenkins安装及拉取远程项目并打包生成
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。 使用Jenkins可以自动进行项目的打包发布等工作,这里讲下Jenkins
2018-07-28 11:57:54
2840
springboot-helloworld
2017-12-11
springmvc与apache tiles整合demo
2017-11-30
java 自定义注解如果自动调用
2018-04-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人