2017年10月_东境物语

12月 11月 10月 09月 08月 07月 06月 05月 03月 01月

原创高并发压力测试工具Locust（蝗虫）

What is Locust?Locust is an easy-to-use, distributed, user load testing tool. It is intended for load-testing web sites (or other systems) and figuring out how many concurrent users a system can h

2017-10-31 16:12:14 5049

原创 Linux使用jstat命令查看jvm的GC情况

Linux使用jstat命令查看jvm的GC情况Options，选项，我们一般使用 -gcutil 查看gc情况 vmid，VM的进程号，即当前运行的java进程号 interval，间隔时间，单位为秒或者毫秒 count，打印次数，如果缺省则打印无数次通常运行命令如下：jstat -gc 12538 5000即会每5秒一次显示进程号为12

2017-10-31 15:36:24 6101 1

转载 EsRejectedExecutionException排错与线程池类型

1、EsRejectedExecutionException异常示例java.util.concurrent.ExecutionException: RemoteTransportException[[node-client10][10.93.21.21:9300][indices:data/write/update]]; nested: RemoteTransportException[

2017-10-31 09:46:59 4592

转载同步mysql数据到ElasticSearch的最佳实践

Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳

2017-10-24 16:13:00 2109 1

转载 elasticsearch5.3.0 bulk index 性能调优实践

导语：腾讯云CDN上每天产生大量回源日志，回源日志通常用在问题定位的时候比较有用。这里使用filebeat+logstash+elasticsearch的方案收集、存储日志数据并提供查询。当前的使用场景里，每天有70亿条日志需要存储，属于写多读少的场景。本文整理了在搭建elasticsearch集群的时候需要注意的配置项，通过对这些配置项的调整，期望提高elasticsearch写入的性能。

2017-10-23 17:19:50 9603 1

转载 Elasticsearch 数据搜索篇·【入门级干货】

ES即简单又复杂，你可以快速的实现全文检索，又需要了解复杂的REST API。本篇就通过一些简单的搜索命令，帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计，但是可以帮助你理解ES，探寻更多的特性。样例数据为了更好的使用和理解ES，没有点样例数据还是不好模拟的。这里提供了一份官网上的数据，accounts.json。如果需要的话，也可以去这个网址玩玩，它可以帮助你自

2017-10-23 11:51:30 266

原创 Elasticsearch入门介绍

要了解ES首先就要弄清楚下面的几个概念，这样也不会对ES产生一些误解：1 近实时ES并不是一个标准的数据库，它不像MongoDB，它侧重于对存储的数据进行搜索。因此要注意到它不是实时读写的，这也就意味着，刚刚存储的数据，并不能马上查询到。当然这里还要区分查询的方式，ES也有数据的查询以及搜索，这里的近实时强调的是搜索....2 集群在ES中，对用户来说集群是很透明的。你只需要指定一个集群的名字。

2017-10-23 11:24:00 253

原创 elasticsearch的准实时(near real-time)查询

elasticsearch是基于lucene的，lucene是可以做到实时的，就是创建索引之后，立即能查询到。但是这样，要么是牺牲索引的效率，每次都索引之后都刷新，要么就是牺牲查询的效率每次查询之前都进行刷新。索引之后进行刷新是通过：elasticClient.prepareIndex("indexName", "Person") .se

2017-10-23 10:56:32 5355 1

原创常用正则表达式

很多不太懂正则的朋友，在遇到需要用正则校验数据时，往往是在网上去找很久，结果找来的还是不很符合要求。所以我最近把开发中常用的一些正则表达式整理了一下，在这里分享一下。给自己留个底，也给朋友们做个参考。一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^\d{n}$ 3 至少n位的数字：^\d{n,}$ 4 m-n位的数字：^\d{m,n}$ 5 零和非零开头的数

2017-10-20 18:58:35 187

原创 ElasticSearch5.X 增删改查

Delete API删除API，可以根据特定的ID删除文档。$ curl -XDELETE 'http://localhost:9200/twitter/tweet/1'会返回下面的消息：{ "_shards" : { "total" : 10, "failed" : 0, "successful" : 10

2017-10-18 14:22:22 1740

转载 Elasticsearch索引mapping的写入、查看与修改

mapping的写入与查看首先创建一个索引：curl -XPUT "http://127.0.0.1:9200/productindex"{"acknowledged":true} 现在只创建了一个索引，并没有设置mapping，查看一下索引mapping的内容：curl -XGET "http://127.0.0.1:9200/productindex/_mapping?pretty" {...

2017-10-18 09:58:05 2019

转载 Elasticsearch5.3.1 IK分词，同义词/联想搜索设置

本文主要是记录Elasticsearch5.3.1 IK分词，同义词/联想搜索设置，本来是要写fscrawler的多种格式（html,pdf,word...）数据导入的，但是IK分词和同义词配置还是折腾了两天，没有很详细的内容，这里决定还是记录下来。IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了

2017-10-17 14:07:04 2653

原创 Spring @PostConstruct 和 @PreDestroy

关于在spring 容器初始化 bean 和销毁前所做的操作定义方式有三种：第一种：通过@PostConstruct 和 @PreDestroy 方法实现初始化和销毁bean之前进行的操作第二种是：通过在xml中定义init-method 和 destory-method方法第三种是：通过bean实现InitializingBean和 Disposab

2017-10-17 12:06:49 624

原创 Elasticsearch5.x安装IK分词器以及使用

Elasticsearch中，内置了很多分词器（analyzers），例如standard （标准分词器）、english （英文分词）和chinese （中文分词）。其中standard 就是无脑的一个一个词（汉字）切分，所以适用范围广，但是精准度低；english 对英文更加智能，可以识别单数负数，大小写，过滤stopwords（例如“the”这个词）等；chinese 效果很差;1、el...

2017-10-17 11:08:39 6617

原创 logback实现每个用户一个独立的日志文件

本文介绍如何使用logback的Mapped Diagnostic Context (MDC)和SiftingAppender实现每个线程一个独立的日志文件。MDC 参考手册http://logback.qos.ch/manual/mdc.html1、logback.xml配置文件示例 ${SERIOUS_PATTERN}

2017-10-12 14:26:55 4786

原创 logback mdc

logback内置的日志字段还是比较少，如果我们需要打印有关业务的更多的内容，包括自定义的一些数据，需要借助logback MDC机制，MDC为“Mapped Diagnostic Context”（映射诊断上下文），即将一些运行时的上下文数据通过logback打印出来；此时我们需要借助org.sl4j.MDC类。 MDC类基本原理其实非常简单，其内部持有一个InheritableT

2017-10-12 10:21:12 708

企业TT架构转型之道：阿里巴巴中台战略思想与架构实战

本文以阿里巴巴为例，讲述了大型互联网应用的架构设计和演化。电子商务和支付等复杂商业系统在互联网上的运行，带来了高可用、海量、复杂三大挑战。阿里巴巴通过技术和组织架构的创新，成功应对了这些挑战。对于复杂业务系统的解耦，他们改进了传统技术，提出了一系列实用方案，既保证了解耦，又满足了高性能的需求。阿里巴巴的系统在全球分布式部署、99.999%以上的高可用、容灾等方面也进行了深入探索。他们不仅关注静态架构设计，还注重运行时的动态感知和管理能力，实现了业务的优雅降级和系统的高可用性。本文的价值在于它系统地总结了阿里巴巴的工程实践经验，并为未来的系统演进提供了参考。阿里巴巴的技术发展史是互联网技术架构实践与发展的缩影。从中可以学习到如何构建高效、可靠、安全和灵活的互联网应用。通过深入分析阿里巴巴的技术历程和解决方案，读者可以获得宝贵的见解，了解到在面对类似挑战时可能的路径和方法。总之，本文是一部值得推荐的著作，适合所有对大型互联网应用架构设计和演化感兴趣的读者。无论是技术人员还是管理者，都能从中获益。它不仅揭示了阿里巴巴的成功秘诀，也为整个行业的技术进步和创新提供了启示。

2024-08-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

东境物语