- 博客(7)
- 收藏
- 关注
RSS订阅
1原创 docker-elasticsearch集群安装
docker-elasticsearch集群安装 前言 elasticsearch是流行的全文检索的开源实现，并提供elk的日志分析支持，分词和执行效率高，docker的安装方式省略了很多配置和安装设置步骤，更加方便，而且便于集群扩展。 安装步骤 本文以elasticsearch-6.5.0版本为例，按照1主1从的方式安装部署，前提已经在centos上安装好了docker环境。 1. 创建es挂载目录 cd /home/es mkdir -p es/config 2.
2021-10-14 16:45:54
238
原创 canal数据同步
数据同步方案 前言 针对后续的产品、订单、供应商等服务的开发和产品设计，基于底层的POI信息的要求和依赖性很强，而POI的数据涉及到行政区划、景点、酒店、社会设施、购物、美食等方面。数据面和量都比较大，而且需要支持多关键字的检索，因此，传统的rds满足不了场景应用需求，因此需要使用es的全文检索来满足检索需求，而POI的数据也需要提供人工的渠道来进行补充，这就涉及到mysql到文档数据库es的数据...
2020-04-29 11:11:23
1120
原创 CentOS7--docker的安装
centOS7下面docker的安装 docker简介 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口 Docker的基本概念: 仓库（Repository） 镜像（Image） 容器(Container） 安装步骤 root账号登录，查...
2019-12-30 14:25:50
189
原创 docker自行编译jdk镜像
docker 编译jdk镜像 在使用docker镜像过程中，会发现有些镜像总不那么如意，比如jdk8u111以前的版本没有考虑到容器资源的情况，而新版本的镜像又是使用debian或者unbutu、centOS等很大的系统底层镜像，这时候需要我们执行构建核实的jdk镜像，话不多说，下面详细描述 镜像说明 系统使用alpine镜像，这是一个5m左右的系统镜像，最小的linux系统 jdk采用jdk...
2019-12-30 14:22:37
268
原创 elasticsearch安装-5.4.2
ElasticSearch安装文档 引言 此文档是基于ElasticSearch5.4.2版本的部署文档，旨在说明ElasticSearch的安装部署步骤，作为后续ElasticSearch的安装部署参考。 ElasticSearch介绍 ElasticSearch是业界最流行的开源搜索引擎，基于apache-luncene的开源实现，同类比和apache-solr有很多相似处，但在部署、可扩展...
2019-09-07 10:23:22
219
原创 hive自定义udf函数实现和测试
hive自定义udf函数 什么是udf hive做为数据仓库，提供了很多的内置函数来方便进行hql调用和逻辑处理，但是，内置函数往往不够满足我们在数据分析时的场景应用，因此，需要我们自定义一些函数来满足需求，udf就是java的一种自定义函数的扩展实现方式. java编程实现 本例以获取传入日期返回星期几这个场景为实例来说明如何实现udf自定义函数. pom依赖 <properties...
2019-09-07 10:22:17
1415
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人