2018年11月_老梁Java

原创 Spark从入门到精通（一）

什么是Spark大数据计算框架离线批处理大数据体系架构图（Spark）Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLib用于机器学习，Spark GraphX用于图计算Spark主要用于大数据的计算，而Hadoop以后主要用于大数据的存储（比如HDF...

2018-11-30 22:26:00 182

原创 rabbitmq系统学习（三）集群架构

RabbitMQ集群架构模式主备模式实现RabbitMQ的高可用集群，一般在并发和数据量不高的情况下，这种模型非常的好用且简单。主备模式也称为Warren模式HaProxy配置listen rabbitmq_clusterbind 0.0.0.0:5672 # 配置TCP模式mode tcp #简单的轮询balance roundrobin #主节点server bhz76 1...

2018-11-28 22:18:00 81

原创 rabbitmq系统学习（二）

Rabbitmq高级整合应用RabbitMq整合Spring AMQP实战RabbitAdmin使用RabbitTemplate的execute方法执行对应操作rabbitAdmin.declareExchange()//声明rabbitAdmin.declareQueue()rabbitAdmin.declareBinding()rabbitAdmin.declareBindi...

2018-11-27 22:17:00 118

原创 rabbitmq系统学习（一）

各种mqactivemq，kafka使用zookeeper做管理rocketmq自己实现nameserver broke管理AMQP核心概念高级消息队列协议publisher application->Server->Virtual host->Exchange->Message Queue->Consumer applicationServer:又...

2018-11-25 21:58:00 88

原创 itext实现pdf自动定位合同签订

需求需要实现如下效果（最终效果）思考需求方的要求就是实现签订合同，实现方法不限，但过程中又提出需要在签章的过程中把签订日期的文字也打上去，这就有点坑了~一开始的想法是想办法定位需要签名的位置，事实上同类app实现方式就是这样，在前端实现签名位置定位，把位置信息发给后端，后端就可以很方便把印章放上去。但现实是现在前端不靠谱，暂时不能提供这样的功能；而且日期信息的填写也需要定位，这怎...

2018-11-24 23:13:00 572

原创 itext7知识点研究（PDF编辑）

取出pdf文档文字String sourceFolder2 = "E:\\picture2\\租赁合同2.pdf";PdfDocument doc = new PdfDocument(new PdfReader(sourceFolder2));float height = doc.getPage(1).getPageSize().getHeight();float width = d...

2018-11-23 10:16:00 980 1

原创 itext实现合同尾部签章部分自动添加，定位签名

使用的pom<dependency> <groupId>com.itextpdf</groupId> <artifactId>itext-asian</artifactId> <version>5.2.0</version></d...

2018-11-21 16:53:00 426

原创 ELK实战（Springboot日志输出查找）

需求把分布式系统，集群日志集中处理快速查询搭建ELK并与springboot日志输出结合搭建ELK基于我前面的elasticsearch搭建博客文档docker-compose.yml基础上进行添加修改新建docker-compose.yml文件，内容如下version: '2'services: elasticsearch-central: image: el...

2018-11-19 14:30:00 742

原创 ElasticSearch权威指南学习（索引管理）

创建索引当我们需要确保索引被创建在适当数量的分片上，在索引数据之前设置好分析器和类型映射。手动创建索引，在请求中加入所有设置和类型映射，如下所示：PUT /my_index{ "settings": { ... any settings ... }, "mappings": { "type_one": { ... any mappings ... },...

2018-11-15 18:11:00 64

原创 ElasticSearch权威指南学习（分布式搜索）

查询阶段在初始化查询阶段（query phase），查询被向索引中的每个分片副本（原本或副本）广播。每个分片在本地执行搜索并且建立了匹配document的优先队列（priority queue）。优先队列一个优先队列（priority queue is）只是一个存有前n个（top-n）匹配document的有序列表。这个优先队列的大小由分页参数from和size决定。例如，下面这个例子...

2018-11-15 16:55:00 52

原创 ElasticSearch5.0之后的改变

ES5的变化search_type=count和scan都移除了count可以用size=0代替GET /my_index/_search{ "size": 0, "aggs": { "my_terms": { "terms": { "field": "foo" } } }}scan用下面的_doc代替,...

2018-11-15 16:53:00 75

原创 ElasticSearch权威指南学习（排序）

排序方式相关性排序默认情况下，结果集会按照相关性进行排序 -- 相关性越高，排名越靠前。相关性分值会用_score字段来给出一个浮点型的数值，所以默认情况下，结果集以_score进行倒序排列。字段值排序使用 sort 参数进行排序：GET /_search{ "query" : { "filtered" : { "filter...

2018-11-15 16:00:00 140

原创 ElasticSearch权威指南学习（结构化查询）

请求体查询简单查询语句(lite)是一种有效的命令行adhoc查询。但是，如果你想要善用搜索，你必须使用请求体查询(request body search)API。空查询我们以最简单的 search API开始，空查询将会返回索引中所有的文档。GET /_search{}同字符串查询一样，你可以查询一个，多个或_all索引(indices)或类型(types)：GET /i...

2018-11-15 15:18:00 48

原创 ElasticSearch权威指南学习（映射和分析）

概念映射(mapping)机制用于进行字段类型确认，将每个字段匹配为一种确定的数据类型(string, number, booleans, date等)。+分析(analysis)机制用于进行全文文本(Full Text)的分词，以建立供搜索用的反向索引。数据类型差异在索引中有12个tweets，只有一个包含日期2014-09-15，但是我们看看下面查询中的total hits。...

2018-11-15 11:39:00 103

原创 ElasticSearch权威指南学习（分布式文档存储）

路由文档到分片当你索引一个文档，它被存储在单独一个主分片上。Elasticsearch是如何知道文档属于哪个分片的呢？当你创建一个新文档，它是如何知道是应该存储在分片1还是分片2上的呢？进程不能是随机的，因为我们将来要检索文档。事实上，它根据一个简单的算法决定：shard = hash(routing) % number_of_primary_shardsrouting值是一个任意字...

2018-11-14 16:33:00 85

原创 ElasticSearch权威指南学习（文档）

什么是文档在Elasticsearch中，文档(document)这个术语有着特殊含义。它特指最顶层结构或者根对象(root object)序列化成的JSON数据（以唯一ID标识并存储于Elasticsearch中）文档元数据节点说明_index文档存储的地方_type文档代表的对象的类_id文档的唯一标识_index索引(index)类...

2018-11-13 17:42:00 68

原创 ElasticSearch权威指南学习（分布式集群）

空集群只有一个空节点的集群一个节点(node)就是一个Elasticsearch实例，而一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并平衡数据。集群中一个节点会被选举为主节点(master),它将临时管理集群级别的一些变更，例如新建或删除索引、增加或移除节点等。主节...

2018-11-13 16:27:00 65

原创 ElasticSearch核心知识总结（二）

如何超出扩容极限，以及如何提升容错性primary&replica自动负载均衡，6个shared，3个primary，3个replica，随着机器扩容，会被均衡分配到多台机器上6个shared，要扩容到9台机器，增加replica shared数量，primary shared数量是不能变得，只能增加replica，变成3个P，6个R，这样可以增加吞吐量若从两台服务器到3台服务器，...

2018-11-13 10:01:00 51

原创 ElasticSearch核心知识总结（一）es的六种搜索方式和数据分析

es的六种搜索方式query string searchGET /ecommerce/product/_search //查询所有数据{ "took": 4,//耗费几毫秒 "timed_out": false,//是否超时 "_shards": {//数据拆分成5个分片，对所有请求都会打到所有primary shared（或者是它的某个replica shared也可以）...

2018-11-13 09:52:00 658

原创 docker系统学习之docker界面管理

docker可视化界面dockerUI已废弃，转投Portainer项目Portainer，轻量级管理界面，基本满足中小单位需求官方Github https://github.com/portainer/portainerKitematic：这是个桌面应用，适用于mac，liunx和windowsShipyard：已废弃Rancher：可以管理多个Kubernetes集群的工具，...

2018-11-08 11:28:00 126

原创 ElasticSearch集群搭建

需求用docker搭建一个ElasticSearch一主一从的集群，加一个elasticsearch-head查看集群状态步骤在参考了一堆博客后，我写了个固定容器ip的docker-compose.ymles1.ymlnetwork.bind_host: 0.0.0.0cluster.name: es_clusternode.name: masternode.master:...

2018-11-07 17:09:00 57

原创零碎的java知识点记录（一）

小知识点Map有getOrDefault("1","0");取不到取默认值两个不同对象，属性相同进行赋值转换，使用modelMapper<dependency> <groupId>org.modelmapper</groupId> <artifactId>modelmapper</artifactId> ...

2018-11-07 12:08:00 67

原创 xml转json

需求第三方传回的报文格式是xml，需要转成json进行传输方案在尝试过xstream，org.json等包后，最后选择了json-libjson-lib的转换会默认把头结点去掉，对我目前的项目来讲反而有利，配合fastjson转对象也很方便步骤引入pom<dependency> <groupId>net.sf.json-lib</gr...

2018-11-07 11:14:00 117

原创 XStream进行xml和bean互转

加入pom<dependency> <groupId>com.thoughtworks.xstream</groupId> <artifactId>xstream</artifactId> <version>1.4.3</version></dependency>最...

2018-11-06 18:16:00 81

原创 springboot知识点补充（一）

测试配置@RunWith(SpringRunner.class)@SpringBootTest@Configuration@ActiveProfiles("test")public class ApplicationTests { @Test public void test() { }}测试类集成此类就可以实现读取测试的配置文件application-t...

2018-11-05 22:11:00 49

原创 consul初步学习

简介consul是一个服务发现框架类似的还有zookeeper，eureka，etcd等作用服务发现（service discovery）健康检查（health checking）配置存储管理（key/value storage）可支持任意数量的区域：multi-datacenteconsul与eureka比较最大的区别是Eureka保证AP, Consul为CPCo...

2018-11-02 16:54:00 60

原创阿里开源项目arthas在docker环境初始化

需求我前一篇是在window环境下做的测试，实际情况现在的生成环境程序都部署在了docker环境下，此环境对arthas可能会缺失很多必要组件目前的基础环境是在docker容器中，只存在基本的tomcat容器运行的必要环境步骤首先进入容器docker exec -it xxx bash我的tomcat目录在/usr/local/tomcat 因此我在/usr/local/tool建...

2018-11-01 10:21:00 446

tzxylao的博客