ETL
文章平均质量分 78
wandy0211
这个作者很懒,什么都没留下…
展开
-
Elasticsearch mapping
mapping是定义文档及其包含的字段的存储和索引方式的过程。例如,使用mapping定义:哪些字符串字段应视为全文字段。 哪些字段包含数字,日期或地理位置。 日期值的格式。 自定义规则,用于控制动态添加字段的映射。mapping定义具有:Metadata fields元数据字段用于自定义如何处理文档的关联元数据。元数据字段的例子包括文档_index,_id和_source领域。Fields映射包含properties与文档有关的字段列表。每个字段都有其自己的数据...原创 2020-11-19 10:17:01 · 273 阅读 · 0 评论 -
Elasticsearch ILM
Elasticsearch ILM:您可以配置索引生命周期管理(ILM)策略,以根据您的性能,弹性和保留要求自动管理索引。例如,您可以使用ILM执行以下操作:当索引达到一定大小或文档数量时,启动新索引 每天,每周或每月创建一个新索引并存档先前的索引 删除陈旧索引以执行数据保留标准您可以通过Kibana Management或ILM API创建和管理索引生命周期策略index lifecycle:ILM定义了四个生命阶段:hot:索引正在被积极地更新和查询。warm:索引不..原创 2020-11-18 19:28:32 · 1019 阅读 · 1 评论 -
Elasticsearch index modules
index modules索引模块是按索引创建的模块,控制index相关的所有方面index settings:index级别的设置可以通过index前缀设置,设置大概分类两种:1. static:静态配置只能在创建index或者一个关闭的index配置2.dynamic: 动态配置可以通过update index api重置Static index settings:下面列举一些不和具体index绑定的static index setting:index.number_o.原创 2020-11-18 17:17:30 · 749 阅读 · 0 评论 -
Elasticsearch架构解读
Elasticsearch架构:1.gateway是es用来存储index的文件系统,文件系统支持多种类型:local filesystem、shared filesystem 共享文件系统、hdfs、s32. gateway的上一层是lucene框架,es底层api是由lucene提供的,每一个es节点上都有一个lucene引擎支持3. lucene上是es模块,包括index model、search model、mapping model等。river相当于第三方插件,用来导入第三方.原创 2020-11-18 15:55:55 · 436 阅读 · 1 评论 -
kettle
Data Integration (or Kettle) delivers powerful Extraction, Transformation, and Loading (ETL) capabilities, using a groundbreaking, metadata-driven approach.downloads:žhttp://kettle.pentaho.org/kettle入...原创 2017-11-20 09:57:37 · 707 阅读 · 0 评论 -
ETL工具比较
Kettle 与 Talend Open Studio 的 ETL 比较Pentaho Data Integration (Kettle)是Pentaho生态系统中默认的ETL工具。通过非常直观的图形化编辑器(Spoon),您可以定义以XML格式储存的流程。在Kettle运行过程中,这些流程会以不同的方法编译。用到的工具包括命令行工具(Pan),小型服务器(Carte),数据库存储库(re原创 2017-11-23 10:43:05 · 3140 阅读 · 0 评论