- 博客(52)
- 收藏
- 关注
RSS订阅原创 Solr集群自带的prometheus监控部署（Solrcloud与Master/Slave）
一、新增集群监控-Solrcloud模式第一步：找到集群所在的master节点，集群模式只需在master节点启动一个监控进程即可 第二步：cd /$Solr安装目录/contrib/prometheus-exporter 第三步：nohup./bin/solr-exporter -p9854-z localhost:2181/solr-f ./conf/solr-exporter-config.xml -n16& 第四步：修改普罗米修斯配置文件：cd /home/es/pro...
2021-03-10 16:57:42
681
1
转载 Elasticsearch:failed to send join request to master，新增节点无法加入到集群connect_timeout
新搭了一个ES节点，启动之后一直无法加入到集群，用telnet、ping都没问题，网上找了很多可能的原因，试过了也不行，最终发现以下解决办法～转载自：https://blog.csdn.net/qq_39291028/article/details/83343946网上查到的没有主机路由问题提到的大多是防火墙问题：查看防火墙状态：firewall-cmd --state 关闭防火墙：systemctl stop firewalld.service然而问题还是没有解决，最终发现了一个新问题：SE
2020-11-23 15:45:42
598
原创 记一次Nginx偶现502的问题分析解决
Nginx错误日志：no live upstreams while connecting to upstream xxx;问题和现象： 近期有业务方反馈业务接口请求偶尔会返回502现象； 查看access.log日志中502请求个数： 全部接口统计过去一天502请求个数：7692，请求总数：376,178,782，502概率：0.002%； 查看nginx中的错误日志：nginx_log/error.log搜关键词“no live upstreams” 发现类似报错：no li.
2020-08-26 19:08:14
3238
1
原创 Elasticsearch 常见运维问题
集群中无法加入新节点，问题关键字：[xxx]failed to send join request to master [xxx]； nested: IOException[No route to host]； ConnectTransportException[xxx] connect_timeout [30s]]；问题原因：新节点防火墙未关闭；问题解决：systemctl stop firewalld 关闭防火墙，重启解决；...
2020-08-24 20:01:58
510
1
原创 Jetty、Solr、SolrCloud 出现414 URI Too Long 问题解决方案
找到solr安装目录下的etc文件夹；进入后找到jetty.xml，设置requestHeaderSize 即可；
2019-05-15 17:50:06
1753
原创 Elasticsearch-7.0.0与Kibana7.0.0集群环境搭建
Elasticsearch-7.0.0集群环境搭建前置条件：在机器上新建es用户目录，给所有es需要操作的目录设为该用户组； 下载安装包wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz； 解压：tar zxvf elasticsearch-7.0...
2019-05-05 14:17:23
2398
转载 （转）Mysql数据导入ES（全量+增量）
下载安装包时注意下载到指定文件夹 这里我放在OPT文件夹下一：安装logstash进入到opt文件夹打开终端 执行以下命令wget -c https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.zip加上-c支持断点续传二：解压logstashunzip logstash-6.4.0.zip三：进入到logst...
2019-04-02 13:59:14
7187
2
转载 pip install 安装指定版本的包
要用pip安装指定版本的 Python 包，只需通过==操作符 指定pip install robotframework==2.8.7将安装robotframework2.8.7 版本。
2019-03-23 16:58:14
2742
转载 【转载】solr高级使用之group
https://blog.csdn.net/lyf_ldh/article/details/82707401
2018-12-13 17:08:21
217
原创 Solr Schema Java Api
import java.io.IOException;import java.nio.file.Paths;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry;import org.ap...
2018-12-11 17:15:13
386
转载 【转载】Solr5 Schema API
Solr5 Schema APIhttps://blog.csdn.net/lzx1104/article/details/514382231. Schema APISchema API提供了对每个collection的schema的读写访问。对所有schema元素的读访问都支持。字段(Fields), dynamic fields, field types 和 copyField ...
2018-12-11 17:13:57
141
原创 linux 创建用户操作，为用户配置独立的jdk
添加用户，用户组：useradd -d /home/用户名 -m 用户名；设置密码：passwd 用户名，回车，输入密码，确认，完成； 1、在用户组目录下在jdk1.8;wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oracleli...
2018-11-29 15:31:28
1733
原创 访问带x-pack的ES集群
curl -u 用户名:密码 'http://地址:9200/索引collection/_search{ "query": { "match": { "字段":"字段值" } }}' es配置问题解决：#切换到root用户修改vim /etc/security/limits.conf# 在最后面追加下面内容*** hard nofil...
2018-11-13 15:16:50
401
转载 【转载】HTTP方法操作es集群
原文：https://blog.csdn.net/ctwy291314/article/details/81202386 1.检查es版本信息http://IP:9200curl 'IP:9200 2.查看集群是否健康http://IP:9200/_cat/health?vcurl 'IP:9200/_cat/health?v'3.查看节点列表http://IP:9...
2018-11-06 17:48:09
1366
原创 常用linux命令
生成软链：ln -fs 目标目录 软链目录；日志查看：grep -F -C 2 info test.log；不分词匹配关键词；Linux下批量修改文件及文件夹所有者及权限需要使用到两个命令，chmod以及chown例:对/opt/Oracle/目录下的所有文件与子目录执行相同的权限变更：chmod -R 700 /opt/oracle/-R参数是递归 处理目录下的所有文件以及子...
2018-10-10 09:26:33
141
原创 用IBM HeapAnalyzer分析二进制dump文件
附上Eclipse Mat分析dump文件方法：https://www.cnblogs.com/liangzs/p/8489321.html执行命令：./ParseHeapDump.sh xx org.eclipse.mat.api:suspects org.eclipse.mat.api:overview org.eclipse.mat.api:top_components环境：li...
2018-09-30 14:48:26
9165
原创 JVM指令集合
jstack：查看线程运行情况用法：jstack pid；jstat：查看堆内存各部分的使用量，以及加载类的数量参考文档：https://www.cnblogs.com/lizhonghua34/p/7307139.html用法：jstat [-命令选项] [pid] [间隔时间/毫秒] [查询次数];jstat -class pid;类加载信息：Loaded:加载cla...
2018-09-30 11:34:14
172
原创 solrcloud分布式索引与搜索
分布式索引参考：https://www.cnblogs.com/rcfeng/p/4082568.html为了解决单个core索引过大的问题，从而设计了分片，将分片和备份分散到多台机器；过程：1.给一个32位地址散列，将散列位平均分配给多个分片；2.在批量提交索引时，根据murmurHash算法算出docId的一个hash散列值，散列值分布在哪个散列区间，存储在对应的分片上，这里提交上去...
2018-09-30 11:26:09
279
原创 solr，facet与group使用
facet：统计某字段在整个索引中出现的次数，可以是单值和多值字段参数：facet=true&facet.field=field1&facet.limit=1 group：按某个字段分组得到结果，只能是单值参数：group=true&group.field=type&group.limit=3 solr调试分析：可以解析返回doc打分详情...
2018-09-30 11:24:37
320
原创 Es常用http操作
修改分页最大上限：curl -XPUT http://xx.36:9200/indexName/_settings -d '{ "index" : { "max_result_window" : 1000000}}' mapping 字段中加入：omit_norms=true 减少索引时加权http://xx:9200/_cat/segments/index?v&h=shard...
2018-09-28 14:59:05
2997
原创 用Mat分析内存快照
1.下载Mat工具安装；2.用jmap命令dump下内存快照，也可以在jvm启动参数中加参数，当OOM时，自动生成dump文件；3.在mat中打开dump文件，查看对象占用内存情况；...
2018-08-31 10:59:49
863
原创 es版基于地理位置搜索
1.构建schema.startObject("location").field("type", "geo_point").endObject()2.构建索引.field("location", geoMap.get("lat") + "," + geoMap.get("lon"))3.搜索apiTransportClient client = ESCli
2018-08-30 23:46:56
862
原创 Es环境搭建
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.0.tar.gztar -xvf elasticsearch-5.2.0.tar.gzvim /etc/security/limits.conf添加如下内容:* soft nofile 65536* hard nofile...
2018-08-30 23:46:19
1912
原创 基于PowerMokito的单测
1.接入pom <!--测试包--> <dependency> <groupId>org.mockito</groupId> <artifactId>mockito-core</artifactId> <version&g
2018-08-30 23:41:52
284
原创 kafka 生产者与消费者 0.10版本
生产者：public static void main(String[] args) throws Exception{Properties properties = new Properties();properties.setProperty("bootstrapServers","192.168.201.46:19092");MqContext mqCtx = MqFacto...
2018-08-30 23:39:00
645
原创 技术方案设计
概要设计文档-技术方案：1.由原始需求逐步拆分，深入；后期迭代增加；2.数据流图，整体流程+每一条数据流链路，便于查问题节点；3.不仅给技术开发看，面向产品和测试，对测试的输出和产品的输出；4.写出支撑功能点，前端对接的数据结构；流程：需求评审--设计方案评审（数据链路，需求拆分）--技术方案评审（实现方案合理性，性能，复杂度）--开发--测试--上线--维护架子：目录...
2018-08-30 23:37:44
8720
1
原创 maven调试
mvn -X dependency:tree debug模式mvn -X dependency:tree>dep.txtmvn dependency:tree给外部用的model和api，显式声明version
2018-08-30 23:33:16
353
原创 mybatis接入
1.引入配置：zzzz.jdbc.url=jdbc:mysql://192.168.101.31:3306/zzzz?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=truezzzz.jdbc.username=xxxzzzz.jdbc.password=xxxzzzz.jdbc.driverclass...
2018-08-30 23:30:31
356
原创 spring-boot+mybatis
spring-boot+mybatis接入:引包 <!-- mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId></dependency>&
2018-08-30 23:28:42
120
原创 Mac将命令移动到全局可用
alias redis-cli=/usr/local/redis/src/redis-clialias redis-server=/usr/local/redis/src/redis-server
2018-08-27 14:47:01
2630
原创 索引原则
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※方案：1.全量索引在晚上进行，不给线上业务库造成压力；2.全量索引在定时任务周期内跑不完时，通过MapReduce方式进行，查到最大id...
2018-08-24 17:39:30
397
原创 搜索原则
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※优化点：0.硬件提升，采用SSD，大内存，多核CPU的机器；1.不要返回较大数据集，按一页100条的标准，分页深度不要大于100，分页总...
2018-08-24 17:38:58
393
转载 如何合理分配Elasticsearch的分片和副本
转载自 ： https://blog.csdn.net/alan_liuyue/article/details/79585345 大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片?在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读.为什么要考虑分片数分片分配是...
2018-08-24 14:21:38
26443
1
转载 ES索引段合并策略
《深入理解ElasticSearch》——3.6 控制索引合并华章计算机 2017-05-02 16:08:00 浏览2068 评论0线程 配置 索引 Elasticsearch index 存储摘要： 本节书摘来自华章计算机《深入理解ElasticSearch》一书中的第3章，第3.6节,作者：[美] 拉斐尔·酷奇（Rafa Ku） 马雷克·罗戈...
2018-08-16 19:38:29
13291
1
原创 记一次Elasticsearch查询性能优化
背景：在数据和服务都准备完成的情况下，打开页面，发现请求需要要几秒才返回；思路：1.查看搜索接口请求本身耗时情况，排除网络抖动因素，发现搜索接口请求到ES返回结果本身耗时较高；2.检查每次请求到ES的入参，并在原有参数中加入"profile": true，查看ES处理搜索请求的耗时分布情况；入参：返回：发现只是一个简单的termQuery耗时818ms，然后查看是...
2018-08-15 23:00:48
24520
11
原创 ThreadLocal维持线程封闭
线程封闭作用： 当访问共享的可变数据时，通常需要使用同步。一种避免使用同步的方式就是不共享数据。如果仅在单线程内访问数据，就不需要同步。这种技术被称为线程封闭，它是实现线程安全性的最简单方式之一。当某个对象封闭在一个线程中时，这种用法将自动实现线程安全性，即使被封闭的对象本身不是线程安全的。 维持线程封闭性的一种更规范方法是使用ThreadLocal，这个类能使线...
2018-08-07 23:08:43
347
转载 堆外内存使用分析【转】
原文：https://www.jianshu.com/p/35cf0f348275堆外内存JVM启动时分配的内存，称为堆内存，与之相对的，在代码中还可以使用堆外内存，比如Netty，广泛使用了堆外内存，但是这部分的内存并不归JVM管理，GC算法并不会对它们进行回收，所以在使用堆外内存时，要格外小心，防止内存一直得不到释放，造成线上故障。堆外内存的申请和释放JDK的ByteBuffe...
2018-08-07 22:46:41
408
原创 ES的一些使用经验
1.索引数据时，默认会将大写转小写形成term,但查询时不一定用同一个分词器形成term，导致用大写输入查询不出结果； 解决：需要将查询query手动lowcase再做匹配；2.字符串字段用于排序； 解决：低版本是用 index:not_analyzed来标示字段，再用于查询时排序；高版本是用type:keyword标示该字段不能分词，从而用于查询时排序；...
2018-06-27 09:52:54
775
转载 分库分表经验【转】
原文连接：https://www.cnblogs.com/xiaohanlin/p/7499601.html前言 目前所在的的项目组，由于项目正在处于一个业务爆发期，每天数据的增长量已经给我们数据库乃至系统造成了很多不确定的因数，前期依靠优化业务和SQL等方式暂时还能够支撑住。但是最近发现某些表数据达到500W+以后查询统计性能严重下降，高峰时段出现了很多SQL阻塞的情况例如: 这种阻塞带来的...
2018-06-21 19:56:12
392
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人