小红_Su-CSDN博客

原创持续性集成——linux下jenkins的安装

1、环境要求：1.612版本以上要求jdk1.7以上2.54版本以上要求jsk1.8以上官方提供2.54 (2017-04) and newer: Java 8 1.612 (2015-05) and newer: Java 72、jdk8安装1）官网下载jdk压缩包https://www.oracle.com/technetwork/java/javase/downl...

2018-10-17 10:32:29 603

原创使用框架存MySQL数据库时，日期格式报错mybatis Data truncation: Incorrect datetime value: '' for column 'modify_time‘

网上的解答很多种1）、mySQL5.7版本处理日期时的缺陷（我直接把版本降到5.6，还是报错，排除）2）、mysql-connector-java.jar版本过低（本地jar包比网络推荐的版本还高，5.1.31版本的，排除）3）、直接在jdbc的url后面加上useOldAliasMetadataBehavior=true（根本没起任何作用）4）、同事说jdbc的url后面加zer...

2018-08-23 17:15:29 2877 1

原创 ELK结合Beats工具的搭建使用(Metricbeat、Filebeat、Topbeat)

ELK简介ELK，是ES官方提供的集群监控工具软件。ELK：Elasticsearch , Logstash, Kibana ，都是开源软件，并有一系列插件作为辅助，例如X-Pack用来监控ES本身的资源使用指标。ELK之间的合作机制：L（Logstash）作为信息收集者，主要是用来对日志的搜集、分析、过滤，支持大量的数据获取方式，一般工作方式为c/s架构，client端安装在需要...

2018-07-25 17:52:48 14075 7

转载 ES内部分片处理机制

逆向索引：与传统的数据库不同，在es中，每个字段里面的每个单词都是可以被搜索的。如hobby:"dance,sing,swim,run",我们在搜索关键字swim时，所有包含swim的文档都会被匹配到，es的这个特性也叫做全文搜索。为了支持这个特性，es中会维护一个叫做“invertedindex”（也叫逆向索引）的表，表内包含了所有文档中出现的所有单词，同时记录了这个单词在哪个文档中出现...

2018-07-19 17:33:25 520

原创 ES集群搭建设计建议

· marster节点，大于等于1，最好大于3，越多越好，防止集群marster在挂掉的时候出现脑裂。· data node，大于等于1，不建议只用一个节点做为数据节点，除非机器够强大，有足够的内存和存储空间。使用多台机器作为data node节点，记得设置cluster.routing.allocation.same_shard.host: true，防止同一个shard的primary...

2018-07-19 17:25:21 958

原创 ELK--XPack功能指标解释

集群级别：Uptime ：集群运行时间；节点级别：Disk Available：可用磁盘； JVM Heap： JVM 使用情况；索引级别：Indices：索引数量，相当于数据库数； Documents：文档数量，相当于记录数； Disk Usage：磁盘使用情况； Primary Shards：分片数； Replica Shards：冗余分片数；Overview...

2018-07-17 15:47:26 1221

原创如何利用kibana对Elasticsearch做性能监控（X-Pack）

使用x-pack插件可以对Elasticsearch做性能监控如何安装x-pack 1、kibana 安装 x-packbin/kibana-plugin install x-pack2、elasticsearch 安装 x-packbin/elasticsearch-plugin install x-pack！移除插件bin/kibana-plugin remo...

2018-07-17 14:55:21 6569

原创 java-mongo复杂管道聚合aggregate的填坑之路（分页、allowDiskUse、统计）

因项目需要，要对mongodb中的数据，做排序再做group还要做总数统计还要对结果筛选，而且数据量又是百万级别的，看了整整一天的spring-data-mongo的源码、mongo-driver的源码、还逛了大半天国外论坛，总算是把功能搞出来了，在此做一下笔记。一、遇到的坑1、对大数据量的东西，首先实现起来还要考虑性能考虑内存，这是坑一。2、项目选用了的框架，spring-data-mongo，...

2018-07-06 11:33:33 18051 6

原创大数据查重去重方案及性能优化

最近做针对百万级别的数据的去重工作，现抽空写下笔记。做这个去重，是基于前同事的基础上做改造，原来是用的simHash算法做文本相似计算，上网查了下，simHash算法是相对来说，在大数据领域比较受欢迎的查重算法，话不多说，来一步步说下我的设计之路。一、先简单介绍下simHash.传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。传统的ha...

2018-06-28 15:45:16 9646 2

原创 python入门之语法简介

一、程序输出，print 语句注：在python3中，print语句被修改为print()函数可以用 print 语句显示变量的字符串表示，或者仅使用变量名查看该变量的原始值 >>> myString = 'Hello World!' >>> print myString Hello World! >>> mySt...

2018-02-27 14:57:52 253

原创在静态方法中使用Spring注入的变量

Spring的核心，是IOC注入，但是静态方法，是在注入IOC之前执行，如果直接在静态方法中引用Spring IOC注入的变量，执行时会出现该变量为NULL；解决这个问题的方法有2种。方法一：使用this赋值的方法，在使用@PostConstruct修饰初始化类时，将当前类赋值给一个静态变量，在静态方法中调用该静态变量。使用@PostConstruct修饰初始化类。被@Po

2018-01-04 14:38:19 3216

转载 UML类图与类的关系详解

在画类图的时候，理清类和类之间的关系是重点。类的关系有泛化(Generalization)、实现（Realization）、依赖(Dependency)和关联(Association)。其中关联又分为一般关联关系和聚合关系(Aggregation)，合成关系(Composition)。下面我们结合实例理解这些关系。基本概念类图（Class Diagram）: 类图是面向对象系统建模中最常用

2017-07-20 09:50:58 252

原创 Java tif多页文件转jpg问题,Decoding of old style JPEG-in-TIFF data is not supported问题

Tiff文件转jpg图片有多种做法，网上大多数是采用java的JAI，其实还可以采用jdk自带的imageio进行解析转换。java的JAI暂时还不支持对旧式JPEG-in-TIFF数据的解码，也就是，部分tif文件执行此段代码进行解析时，会报异常：Decoding of old style JPEG-in-TIFF data is not supported，采用JDK自带的imageio对tif进行转换，此种方法不仅可以适应旧式JPEG-in-TIFF数据，还无需引入任何第三方jar包，实现方式也相对于

2017-05-16 14:19:06 6587 3

TA关注的人

u014773389的博客