API
文章平均质量分 96
青山孤客
网易高级服务端开发工程师,软件设计师,信息系统项目管理师,杭州市E类人才。杭州电子科技大学工学硕士,曾访学圣彼得堡国立信息技术机械与光学大学(ITMO),在国际计算机软件和应用会议(COMPSAC)发表1篇学术论文,目前已申请国家发明专利4项,2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
使用logstash将Oracle中的图片数据通过64编码后上传到ElasticSearch中
这里遇到一个问题,需要将Oracle中的图片数据导入到ElasticSearch中,大佬推荐方案将其中的数据通过64编码后上传到ElasticSearch中。这里做一个简单的总结。之前方案其实在之前也考虑通过file文件上传本地路径下,然后再解析。发现上传后的文件格式不能打开。logstash中的配置文件 LGT_ZP_SJ.config 内容:input { jdbc { jdbc_driver_library => "/home/logstash/libs/ojdbc原创 2020-07-21 18:02:27 · 484 阅读 · 0 评论 -
ElasticSearch简介(基本概念与索引)
Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作:分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。基本概念先说Elasticsearch的文件存储,Elasticsearch是面向文转载 2020-07-02 18:10:53 · 479 阅读 · 0 评论 -
Logstash概念与原理
Logstash概念Logstash是一款开源的数据收集引擎,具备实时管道处理能力。简单来说,logstash作为数据源与数据存储分析工具之间的桥梁,结合ElasticSearch以及Kibana,能够极大方便数据的处理与分析。通过200多个插件,logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。Logstash工作过程如上图,Logstash的数据处理过程主要包括:Inputs,Filters,Outputs 三部分,另外在Inputs和Ou转载 2020-07-01 11:31:59 · 1478 阅读 · 0 评论 -
使用KONGA配置Elasticsearch中的数据作为API接口
前提条件:首先要将Oracle的数据导入到Elasticsearch中。之前的步骤以及总结在下面的博客中:使用logstash将Oracle数据导入到Elasticsearch一、在Elasticsearch中对以导入的表创建别名二、在KONGA中创建CONSUMER在导航栏中选择创建CONSUMER,打开以下界面:点击CREATE CONSUMER,输入我们需要的username:然后创建group,Group name 为 user_AI 后面我们会用到:三、原创 2020-06-14 15:19:57 · 746 阅读 · 0 评论 -
使用logstash将Oracle数据导入到Elasticsearch
今天总结一下如何使用logstash将Oracle数据导入到Elasticsearch,然后后面会分享怎么在KONGA中配置API接口给用户。首先要安装好Logstash并且在服务端安装好Elasticsearch!!然后开始操作:1、进入logstash路径logstash路径:configs:里面存放配置文件。libs:存放可能需要使用的jar包。sql:存放sql文件2、进入sql路径下,创建sql并编辑cd ./sqlvim GXJX_KCSJLB.sql原创 2020-06-11 19:59:24 · 1789 阅读 · 0 评论