![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
奥利奥泡泡
这个作者很懒,什么都没留下…
展开
-
centos7部署oracle-xe环境搭建并且使用logstash同步到kafka
centos7部署oracle-xe环境搭建并且使用logstash同步到kafka 环境介绍 1.阿里云centos7.4 2.oracle版本oracle-xe-11.2.0-1.0.x86_64 3.系统硬件2核4G 系统修改 注意由于安装oracle需要使Swap达到2G,这样有些云服务器需要手动添加Swap分区 dd if=/dev/zero of=/swapf...原创 2018-05-25 13:39:19 · 529 阅读 · 0 评论 -
kafka+logstash+elasticsearch环境搭建
kafka+logstash+elasticsearch环境搭建 环境要求 1.系统环境:centos7.4 2.logstash,elasticsearch,kafka版本均为最新版本 3.logstash,elasticsearch不使用root运行 kafka环境搭建 #下载kafka,并解压到相应目录 #下载地址http://mirror.bit.edu.cn/ap...原创 2018-05-16 11:42:28 · 1534 阅读 · 0 评论 -
logstash jdbc 增量同步到kafka
logstash利用jdcb增量同步数据库说明 配置说明 做增量同步主要是更具sql_last_value的值做判断,如果符合条件才开始同步 配置文件如下: input { stdin { } jdbc { #数据库地址 jdbc_connection_string => "jdbc:oracle:thin:@//localho...原创 2018-05-31 14:49:55 · 3126 阅读 · 1 评论 -
centos7 安装kafka
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实...原创 2018-08-27 17:40:04 · 423 阅读 · 0 评论