- 博客(16)
- 资源 (8)
- 收藏
- 关注
原创 高并发压力测试工具Locust(蝗虫)
What is Locust?Locust is an easy-to-use, distributed, user load testing tool. It is intended for load-testing web sites (or other systems) and figuring out how many concurrent users a system can h
2017-10-31 16:12:14 5051
原创 Linux使用jstat命令查看jvm的GC情况
Linux使用jstat命令查看jvm的GC情况Options,选项,我们一般使用 -gcutil 查看gc情况 vmid,VM的进程号,即当前运行的java进程号 interval,间隔时间,单位为秒或者毫秒 count,打印次数,如果缺省则打印无数次通常运行命令如下:jstat -gc 12538 5000即会每5秒一次显示进程号为12
2017-10-31 15:36:24 6103 1
转载 EsRejectedExecutionException排错与线程池类型
1、EsRejectedExecutionException异常示例java.util.concurrent.ExecutionException: RemoteTransportException[[node-client10][10.93.21.21:9300][indices:data/write/update]]; nested: RemoteTransportException[
2017-10-31 09:46:59 4598
转载 同步mysql数据到ElasticSearch的最佳实践
Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳
2017-10-24 16:13:00 2109 1
转载 elasticsearch5.3.0 bulk index 性能调优实践
导语: 腾讯云CDN上每天产生大量回源日志,回源日志通常用在问题定位的时候比较有用。这里使用filebeat+logstash+elasticsearch的方案收集、存储日志数据并提供查询。当前的使用场景里,每天有70亿条日志需要存储,属于写多读少的场景。本文整理了在搭建elasticsearch集群的时候需要注意的配置项,通过对这些配置项的调整,期望提高elasticsearch写入的性能。
2017-10-23 17:19:50 9604 1
转载 Elasticsearch 数据搜索篇·【入门级干货】
ES即简单又复杂,你可以快速的实现全文检索,又需要了解复杂的REST API。本篇就通过一些简单的搜索命令,帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计,但是可以帮助你理解ES,探寻更多的特性。样例数据为了更好的使用和理解ES,没有点样例数据还是不好模拟的。这里提供了一份官网上的数据,accounts.json。如果需要的话,也可以去这个网址玩玩,它可以帮助你自
2017-10-23 11:51:30 267
原创 Elasticsearch入门介绍
要了解ES首先就要弄清楚下面的几个概念,这样也不会对ES产生一些误解:1 近实时ES并不是一个标准的数据库,它不像MongoDB,它侧重于对存储的数据进行搜索。因此要注意到它不是实时读写的,这也就意味着,刚刚存储的数据,并不能马上查询到。当然这里还要区分查询的方式,ES也有数据的查询以及搜索,这里的近实时强调的是搜索....2 集群在ES中,对用户来说集群是很透明的。你只需要指定一个集群的名字。
2017-10-23 11:24:00 254
原创 elasticsearch的准实时(near real-time)查询
elasticsearch是基于lucene的,lucene是可以做到实时的,就是创建索引之后,立即能查询到。但是这样,要么是牺牲索引的效率,每次都索引之后都刷新,要么就是牺牲查询的效率每次查询之前都进行刷新。索引之后进行刷新是通过:elasticClient.prepareIndex("indexName", "Person") .se
2017-10-23 10:56:32 5358 1
原创 常用正则表达式
很多不太懂正则的朋友,在遇到需要用正则校验数据时,往往是在网上去找很久,结果找来的还是不很符合要求。所以我最近把开发中常用的一些正则表达式整理了一下,在这里分享一下。给自己留个底,也给朋友们做个参考。一、校验数字的表达式 1 数字:^[0-9]*$ 2 n位的数字:^\d{n}$ 3 至少n位的数字:^\d{n,}$ 4 m-n位的数字:^\d{m,n}$ 5 零和非零开头的数
2017-10-20 18:58:35 189
原创 ElasticSearch5.X 增删改查
Delete API删除API,可以根据特定的ID删除文档。$ curl -XDELETE 'http://localhost:9200/twitter/tweet/1'会返回下面的消息:{ "_shards" : { "total" : 10, "failed" : 0, "successful" : 10
2017-10-18 14:22:22 1741
转载 Elasticsearch索引mapping的写入、查看与修改
mapping的写入与查看首先创建一个索引:curl -XPUT "http://127.0.0.1:9200/productindex"{"acknowledged":true} 现在只创建了一个索引,并没有设置mapping,查看一下索引mapping的内容:curl -XGET "http://127.0.0.1:9200/productindex/_mapping?pretty" {...
2017-10-18 09:58:05 2019
转载 Elasticsearch5.3.1 IK分词,同义词/联想搜索设置
本文主要是记录Elasticsearch5.3.1 IK分词,同义词/联想搜索设置,本来是要写fscrawler的多种格式(html,pdf,word...)数据导入的,但是IK分词和同义词配置还是折腾了两天,没有很详细的内容,这里决定还是记录下来。IK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始, IKAnalyzer已经推出了
2017-10-17 14:07:04 2654
原创 Spring @PostConstruct 和 @PreDestroy
关于在spring 容器初始化 bean 和销毁前所做的操作定义方式有三种:第一种:通过@PostConstruct 和 @PreDestroy 方法 实现初始化和销毁bean之前进行的操作第二种是:通过 在xml中定义init-method 和 destory-method方法第三种是: 通过bean实现InitializingBean和 Disposab
2017-10-17 12:06:49 625
原创 Elasticsearch5.x安装IK分词器以及使用
Elasticsearch中,内置了很多分词器(analyzers),例如standard (标准分词器)、english (英文分词)和chinese (中文分词)。其中standard 就是无脑的一个一个词(汉字)切分,所以适用范围广,但是精准度低;english 对英文更加智能,可以识别单数负数,大小写,过滤stopwords(例如“the”这个词)等;chinese 效果很差;1、el...
2017-10-17 11:08:39 6620
原创 logback实现每个用户一个独立的日志文件
本文介绍如何使用logback的Mapped Diagnostic Context (MDC)和SiftingAppender实现每个线程一个独立的日志文件。MDC 参考手册http://logback.qos.ch/manual/mdc.html1、logback.xml配置文件示例 ${SERIOUS_PATTERN}
2017-10-12 14:26:55 4792
原创 logback mdc
logback内置的日志字段还是比较少,如果我们需要打印有关业务的更多的内容,包括自定义的一些数据,需要借助logback MDC机制,MDC为“Mapped Diagnostic Context”(映射诊断上下文),即将一些运行时的上下文数据通过logback打印出来;此时我们需要借助org.sl4j.MDC类。 MDC类基本原理其实非常简单,其内部持有一个InheritableT
2017-10-12 10:21:12 709
企业TT架构转型之道:阿里巴巴中台战略思想与架构实战
2024-08-08
修复版ajaxfileupload
2017-08-09
tomcat+redis实现session共享
2015-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人