2021年02月_梦想画家

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Elasticsearch快速初始化数据

设置分片和刷新间隔参数实际应用中需要给Elasticsearch初始化数据，当数据量比较大时我们希望能够快速载入。可以给索引设置两个参数。index.refresh_interval : 多长时间执行一次刷新操作，即使索引最近的更改在搜索中可见。缺省为1s，设置为-1则禁用刷新。index.number_of_replicas : 每个主分片的副本数量，默认为1。可以设置为0，即没有副本。上面两个参数设置可以更快索引，但短时间如果任何分片丢失会导致数据丢失的风险。因此，一旦初始化数据完成即刻设置回默

2021-02-28 21:35:49 2351

原创释放Elasticsearch存储空间

Elasticsearch删除文档并没有真正删除，仅作了删除标记，从而不能再被搜索到。为了回收磁盘空间，需要_forcemergeAPI进行清理和优化。Force Merge API为了理解Force Merge API，我们需要大概了解Elasticsearch的底层架构Lucene。当往索引中插入文档时，文档被映射到一个或多个分片。每个分片有多个段组成，段可理解为针对特定数据集进行处理的迷你索引。Force Merge API通过合并段减少分片中段数量、删除冗余数据，优化Elasticsearch索

2021-02-27 16:34:22 3308

原创利用Elaticsearch实现相关性分析

Elasticsearch 5.x及以上版本提供了特殊模块aggs-matrix-stats，自动计算几个字段的高级分析。Matrix stats 聚集matrix_stats聚集是基于文档中一组数值型自己计算聚集，主要包括下面信息：计算项描述count每个计算字段的样本数量.mean每个字段的平均值.variance每个字段方差，即偏离样本平均值的度量.skewness偏度，以均值为中心不对称分布程度.正态分布的偏度为0，两侧尾部长度对称。若以bs表示偏

2021-02-27 15:54:58 485

原创 Elasticsearch使用误区——key-value数据存储

本文描述Elasticsearch的错误使用场景——作为key-value数据存储。问题描述关系型数据库有严格的schema，每个独立业务需要分别按表进行存储。有时为了检索或统计方便，我们会把数据汇聚至Elasticsearch单个索引中，利用动态mapping技术，定义主要字段，从而实现灵活检索和统计分析类应用。但是当汇聚各类表时会造成Elasticsearch中索引的字段数量不受控制。当mapping不断扩展时，每个分片及索引会占用大量内存资源。正确姿势因为Elasticsearch索引缺省字段

2021-02-27 15:12:24 1467

原创介绍Elasticsearch热点线程

有时Elasticsearch会由于cpu过度使用慢下来，我们需要检查原因。Elasticsearch提供监控热点线程的能力，可以方便查找问题具体与那些线程相关。热点线程(hot thread)java中定义热点线程为使用大量cpu并执行占用时间较长。我们可以Elasticsearch提供的api获取每个选择节点的热点线程。请求API地址：GET /_nodes/hot_threadsGET /_nodes/<node_id>/hot_threads该API在集群中每个选定节点上

2021-02-27 12:57:08 698

原创矩阵乘法Java实现

本文介绍几种方式实现矩阵相乘。矩阵概念一般语言没有提供，我们首先子句实现，同时也介绍一些现成库实现。1. 概念介绍首先通过示例介绍矩阵，首先定义第一个3x2的矩阵：我们再定义第二个2x3的矩阵：两个矩阵相乘，结果为3x4矩阵：计算公式为：第一个矩阵的列数要和第二个矩阵的行数相等，否则不能相乘。即从A矩阵的第一行开始依次和B矩阵的每列相乘，每行与列元素相乘的结果相加作为结果矩阵的一个元素。2. 矩阵乘法实现2.1 自己实现首先我们自己实现矩阵相乘，为了简单我们使用二维double类型

2021-02-18 15:39:02 6932

原创 Elasticsearch查询字符串语法教程

根据查询字符串进行查询，Elasticsearch使用严格语法进行解析。查询字符串基于操作符（如AND，OR)对提供的查询字符串进行分割、解析，接着对每一个分割文本进行分析，最后组合作为条件进行查询。1. 查询字符串介绍可以使用query_string查询创建复杂查询，包括通配符字符，跨多个字段查询等。功能非常强大，但如果提供的语法无效会返回错误。query_string示例如下：GET /_search{ "query": { "query_string": { "que

2021-02-13 22:21:20 2732

原创 PostgreSQL 表空间(TABLESPACE)

1. 表空间介绍表空间即PostgreSQL存储数据文件的位置，其中包括数据库对象。如，索引、表等。PostgreSQL使用表空间映射逻辑名称和磁盘物理位置。默认提供了两个表空间：pg_default 表空间存储用户数据.pg_global 表空间存储全局数据.利用表空间可以控制PostgreSQL的磁盘布局，它有两方面的优势：首先，如果集群中的某个分区超出初始空间，可以在另一个分区上创建新的表空间并使用。后期可以重新配置系统。其次，可以使用统计优化数据库性能。举例，可以把频繁访问的索引或

2021-02-10 17:34:53 12370 1

原创 Postgresql实现动态SQL语句

本文介绍Postgresql如何实现动态SQL语句。1. 动态SQL动态SQL在程序启动时会根据输入参数替换相应变量。使用动态SQL可以创建更强大和灵活的应用程序，但在编译时SQL语句的全文不确定，因此运行时编译会牺牲一些性能。动态SQL可以是代码或SQL语句的一部分，动态部分要么由开发人员输入，要么由程序本身创建。1.1 动态SQL使用场景在PL/pgSQL函数或过程中有时需要生成动态命令，因为命令涉及不同表或数据类型，仅在运行时才能确定具体对象或值。这时比较适合使用动态SQL。另外，在特定情况

2021-02-09 17:14:31 10840 1

原创修改Greenplum表存储和分布策略

修改Greenplum表存储和分布策略修改表是DBA最频繁的操作之一。Greenplum利用多种存储机制实现大数据量存储和处理，包括数据分布、分区、堆表、AO表、压缩、外部表等。本文介绍如何在创建表之后修改表存储和分布策略。修改表命令改变表的定义，使用ALTER TABLE改变表的属性，如列定义、分布策略，存储模式、分区结构。如增加列的非空约束。示例：ALTER TABLE sachi ALTER COLUMN name SET NOT NULL;1. 修改分布策略ALTER TABLE 提供选项

2021-02-05 15:51:33 2407

钻石示例数据，经典的机器学习示例数据，parquet格式、csv格式，方便用户下载学习

钻石示例数据，经典的机器学习示例数据，parquet格式、csv格式，方便用户下载学习。学习dbt资料，可参考系列博客：https://blog.csdn.net/neweastsun/category_12786252.html

2024-09-16

R实战综合指数评价法示例教程的示例数据

2022-01-08

Spring Cloud Spring Boot and Netflix OSS.pdf

2021-08-26

kafka学习资料合集

Apache Kafka Cookbook(PACKT,2015) kafka-definitive-guide-complete learning-apache-kafka-second-edition 学习kafka的最好资料，希望对你有用。

2020-09-22

嵌套聚集示例数据--nested-data.json

学习elasticsearch嵌套聚集所需的示例数据，方便学习者进行测试。关于城市宠物注册的web应用，系统包括下列一些实体： * City(city, type) * Citizen(occupation,age) * Pet(kind,name,age) city包括多个citizen，citizen包括多个注册pet。

2020-04-04

Elasticsearch Painless Script入门教程--示例数据-sat.json

Elasticsearch Painless Script入门教程--示例数据。自Elasticsearch 5.x 引入Painless，使得Elasticsearch拥有了安全、可靠、高性能脚本的解决方案。Painless是Elastic开发并做了专门的优化，相较之前的脚本更快、安全、易使用、可靠。 Painless脚本的目标是使编写脚本对用户来说无痛，特别是对于来自Java或Groovy环境的用户。可能你还不熟悉Elasticsearch脚本，让我们从基础开始。

2020-03-23

Elasticsearch Painless Script入门教程--示例数据-sat.json

2020-03-23

深入理解 significant terms 和 significant text 分组聚集代码 sports&news.json

深入理解 significant terms 和 significant text 分组聚集代码。地址：https://blog.csdn.net/neweastsun/article/details/104467440

2020-02-23

Elasticsearch聚合分析实战(2)-employees.json

Elasticsearch聚合分析实战(2) 博客地址：https://blog.csdn.net/neweastsun/article/details/104324747

2020-02-15

Effective Java 3rd Edition

Effective Java 3rd Edition,Effective Java 3rd EditionEffective Java 3rd EditionEffective Java 3rd EditionEffective Java 3rd EditionEffective Java 3rd Edition

2018-09-18

kettle生成xml示例

http://blog.csdn.net/neweastsun/article/details/52457290;文章的示例程序。

2016-09-07

YSJSW(Yet Another Java Service Wrapper)

YSJSW(Yet Another Java Service Wrapper) 可以配置java应用为windows服务。

2016-08-30

《在Tomcat上安装部署SAIKU》资源下载

Saiku是一个强大的独立工具，用于查询构建数据集市，如：即席查询报表、图表展示、导出报表成excel或csv格式等。Saiku是基于Mondrian OLAP引擎。本文主要是一步一步解释如何在tomcat下部署saiku，为了让你更好更快的使用。开始之前，假设你已经比较熟悉数据集市数据库，以及如何建立Mondrian Schema。

2015-02-10