- 博客(21)
- 收藏
- 关注
RSS订阅原创 Spring AOP详解
一、概念AOP（Aspect Oriented Programming）：面向切面编程。面向切面编程（也叫面向方面编程），是目前软件开发中的一个热点，也是Spring框架中的一个重要内容。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性，同时提高了开发的效率。二、用途日志记录，性能统计，安全控制，权限管理，事务处理，异常处理，资...
2018-11-26 12:02:00
154
原创 Java自定义异常
什么是异常？我不知道大家都是怎么去理解的，我的理解很简单，那就是不正常的情况，比如我现在是个男的，但是我却有着女人所独有的东西，在我看来这尼玛肯定是种异常，简直不能忍。就拿上面的异常图片来说，你应该是有小弟弟的，但你却没有小弟弟，这就是不正常的情况了，所以Java这个妹子会告诉你，你应该有小弟弟的才能办事，或者你没小弟弟就别来办事，你没小弟弟也要强上别人，那也没法玩啊是吧?常说我们人的祖宗...
2018-11-26 11:12:13
691
原创 CentOS7下安装部署ES及head插件安装
1．新建一个用户elasticsearch,当然也可以不创建用户,直接用系统用户来安装和运行elasticserach[root@localhost ~]#useradd elasticsearch接下来修改系统配置,这里不修改的话es运行会报错:max file descriptors [4096] for elasticsearch process is too low, inc...
2018-11-24 11:07:55
821
原创 使用Logstash来实时同步MySQL数据到ES
本篇我们来实战从MYSQL里直接同步数据一、首先下载和你的ES对应的logstash版本，本篇我们使用的都是6.1.1 下载后使用logstash-plugin install logstash-input-jdbc 命令安装jdbc的数据连接插件 二、新增mysqltoes.conf文件，配置Input和output参数如下，连接jdbc按照规则同步指定的数据到es...
2018-11-22 17:39:42
4370
5
原创 mysql数据实时同步到Elasticsearch
业务需要把mysql的数据实时同步到ES，实现低延迟的检索到ES中的数据或者进行其它数据分析处理。本文给出以同步mysql binlog的方式实时同步数据到ES的思路, 实践并验证该方式的可行性，以供参考。mysql binlog日志mysql的binlog日志主要用于数据库的主从复制与数据恢复。binlog中记录了数据的增删改查操作，主从复制过程中，主库向从库同步binlog日志，从库对...
2018-11-22 16:44:01
2569
原创 [ElasticSearch]Java API 之 滚动搜索(Scroll API)
一般搜索请求都是返回一"页"数据，无论数据量多大都一起返回给用户，Scroll API可以允许我们检索大量数据（甚至全部数据）。Scroll API允许我们做一个初始阶段搜索并且持续批量从Elasticsearch里拉取结果直到没有结果剩下。这有点像传统数据库里的cursors（游标）。Scroll API的创建并不是为了实时的用户响应，而是为了处理大量的数据（Scrolling is not...
2018-11-22 12:20:03
2774
原创 ES如何指定返回的字段field
在elasticsearch 2.x版本中，如果我们想指定查询返回的字段，可以使用fields字段设置，代码如下： String index = xxx; String type = xxx; // 指定要返回的字段 String[] fields = new String[2]; fields[0] = "field1"; // 字段1名称...
2018-11-22 09:56:44
3032
原创 elasticsearch 查询优化建议
最近在做一些索引相关的优化测试，顺便记录一下测试以及效果1：优化mapping 主要包括 doc_values , index , norms ， type的keyword和text // 效果明显doc_values属性 用于把数据序列化到磁盘，使索引结构更紧密 默认为true，binary类型为false ...
2018-11-20 20:14:53
577
原创 Elasticsearch性能优化建议
之前公司项目中有使用Elasticsearch存储日志，当时使用的功能简单，并没有深入了解Elasticsearch，但是对于该支持文本搜索的存储架构还是很感兴趣，最近因为想在一个新项目中采用ELK（Elasticsearch+Logstash+Kibana）技术栈来存储系统日志，学习有关Elasticsearch的书籍（深入理解Elasticsearch，第二版），现在就书本的第八章——提高性能...
2018-11-20 17:04:01
888
原创 Elasticsearch批量索引和删除
批量索引和删除 Java代码 收藏代码BulkRequestBuilder bulkRequest = client.prepareBulk(); for(int i=500;i<1000;i++){ //业务对象 String json = ESUtils.toJson(new LogModel()); ...
2018-11-20 12:11:00
4355
原创 Elasticsearch的Bulk API使用
1、Elasticsearch的Bulk API允许批量提交index和delete请求。如：（1）用法1BulkRequestBuilder bulkRequest = client.prepareBulk();bulkRequest.add(client.prepareIndex("index1", "type1", "id1").setSource(source);bulkRequ...
2018-11-20 11:44:01
3271
原创 优化Elasticsearch查询性能
给文件系统缓存提供内存 Elasticsearch严重依赖于文件系统缓存，以便快速进行搜索。 通常应该确保至少有一半的可用内存进入文件系统缓存，以便Elasticsearch可以将索引的热区域保留在物理内存中。使用更快的硬件 如果搜索受I / O限制，应该调查为文件系统缓存提供更多内存（参见上文）或购买更快的驱动器。 特别是已知SSD驱动器比旋转磁盘性能更好。 始终使用本地存储，应...
2018-11-16 17:04:02
5171
原创 Java生成并导出Json文件
将一个list集合转换成json文件并导出： 数据集合： List<Object> agencyList = new ArrayList<Object>(); Map<String, Object> agencyMap = new HashMap<>(); agencyMap.put("ag...
2018-11-15 10:29:29
9506
3
原创 如何把数据快速批量添加到Elasticsearch中
问题来源最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在Elasticsearch中，也方便搜索，但这两个方案需要验证，到底哪个方案好，从存储速度，搜索响应，占用空间方面做对比，而我负责给出Elasticsearch的部分技术建议！...
2018-11-15 09:36:53
2728
1
原创 Kibana安装和使用
Kibana安装及使用说明 Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。 官方地址：https://www.elastic.co/cn/products/kibana一、Kibana安装1.环境准备 Kibana是ElasticSearch的可视化平台，依赖...
2018-11-13 16:27:07
163
原创 joda dateTime简单用法
我们在编写应用程序都需要处理时间问题。应用程序需要知道当前的时间点和下一个时间点，有时它们还必须计算这两个时间点之间的路径。使用 JDK 完成这项任务将非常痛苦和繁琐。joda-dateTime 可以解决1、DateTime 它以毫秒级的精度封装时间上的某个瞬间时刻。DateTime 始终与 DateTimeZone 相关，如果您不指定它的话，它将被默认设置为运行代码的机器所在的...
2018-11-08 10:57:57
1741
原创 fastjson java类、字符串、jsonObject之前的转换
一、1.类，json对象转成json字符串 JSONObject json = new JSONObject(); json.put("page",1); json.put("pageSize",10); json.toJSONString();还有Map集合在放进JSONObject，变成json字符串 Map<T,T> map =...
2018-11-06 11:23:30
613
原创 SpringBoot 整合 ElasticSearch 之 ElasticsearchRepository 的 CRUD、分页接口
一、前言这里写图片描述前面使用了 SpringBoot 整合了 Solr： [增删改查] SpringBoot 整合 Solr 实现 CRUD、分页接口、高亮显示眼下有一个比 Solr 还火热的 ElasticSearch，主要是用于大数据、分布式系统中，顺便使用 SpringBoot 来整合 Elasticsearch是一个基于Lucene的搜索服务器。 它提供了一个...
2018-11-06 10:39:49
808
原创 RocketMQ-消息重试，消息幂等去重，消息模式
消息重试Rocketmq提供了消息重试机制，这是一些其他消息队列没有的功能。我们可以依靠这个优秀的机制，而不用在开发中增加更多的业务代码去实现Consumer 消费消息失败后，要提供一种重试机制，令消息再消费一次。Consumer 消费消息失败通常可以认为有以下几种情况 由于消息本身的原因，例如反序列化失败，消息数据本身无法处理（例如话费充值，当前消息的手机号被注销，无法充值）等...
2018-11-02 19:26:59
2504
原创 ElasticSearch数据分片-数据路由
ElasticSearch(简称ES)：是一个基于Lucene构建的开源、分布式、RESTful的全文本搜索引擎；它还是一个分布式实时文档存储，其中每个field均是被索引的数据且可被搜索；也是一个带实时分析功能的分布式搜索引擎，并且能够扩展至数以百计的服务器存储及处理PB级的数据。 倒排索引：1、什么是nodeES集群中每一个节点就是一个node，或者一个Elasticsearch实...
2018-11-02 17:12:51
3008
原创 SpringBoot 整合 ElasticSearch 之 ElasticsearchRepository 的 CRUD、分页接口
一、前言这里写图片描述前面使用了 SpringBoot 整合了 Solr： [增删改查] SpringBoot 整合 Solr 实现 CRUD、分页接口、高亮显示眼下有一个比 Solr 还火热的 ElasticSearch，主要是用于大数据、分布式系统中，顺便使用 SpringBoot 来整合 Elasticsearch是一个基于Lucene的搜索服务器。 它提供了一个...
2018-11-02 16:45:18
1849
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人