分布式
joli_1034498274
这个作者很懒,什么都没留下…
展开
-
Kafka-connect
实现将kafka数据存入HDFS中1、 Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Confluent平台附带了几个内置connector,可以使用这些connector进行关系数据库或HDFS等常用系统到kafka的数据传输2、相关概念:Connectors:通过管理task来协调数据流的高级抽象 Kafka Connect中的connector定义...原创 2020-01-30 10:15:44 · 367 阅读 · 0 评论 -
kafka--HDFS数据流对接方式
项目需要,数据文件实时传入kafka,再流入HDFS进行存储,离线计算等,思考几个问题:1)为什么要将Kafka的数据传输到HDFS上?2)为什么不直接写HDFS而要通过Kafka?HDFS一直以来是为离线数据的存储和计算设计的,因此对实时事件数据的写入并不友好,而Kafka生来就是为实时数据设计的,但是数据在Kafka上无法使用离线计算框架来作批量离线分析。那么,Kafka为什么...原创 2020-01-30 10:02:45 · 1203 阅读 · 0 评论 -
Kafka+Flume1.7+HDFS整合流程及遇到的坑
需要注意的点:1、kafka和flume整合需要要对应的jar包2、Hadoop中对应的jar包也需要导入flume的lib下HDFS中的core-site.xml和hdfs.xml两个配置文件放入flume的conf下3、遇到的坑:https://blog.csdn.net/qq_39132578/article/details/79210033...原创 2020-01-30 09:35:19 · 360 阅读 · 0 评论 -
Centos6.5下Storm1.1.1安装配置
一、安装storm前必须安装好Zookeeper,并成功启动,见之前的博客二、下载storm1.1.1,地址:http://storm.apache.org/downloads.html三、 (先启动zookeeper) 192.168.120.201 部署nimbus,启动UI; 192.168.120.202 部署supervisor...原创 2019-12-25 21:00:06 · 368 阅读 · 0 评论 -
Flume1.7 安装及与Kafka对接
[1.6版本有bug,1.7已经修复,所以大家可以下载安装1.7版本的,步骤一样]一、Flume1.6安装1、下载:http://archive.apache.org/dist/flume/1.6.0/2、解压到 /usr/local/src/目录下 : >tar -zxvf flume1.6.03、把文件改为简单的名字: >mv fl...原创 2019-12-23 15:56:12 · 925 阅读 · 0 评论 -
分布式事务详解
转载自:https://blog.csdn.net/hxpjava1/article/details/79409395 数据库事务在说分布式事务之前,我们先从数据库事务说起。 数据库事务可能大家都很熟悉,在开发过程中也会经常使用到。但是即使如此,可能对于一些细节问题,很多人仍然不清楚。比如很多人都知道数据库事务的几个特性:原子性(Atomicity )、一致性( Consisten...转载 2018-07-18 16:06:41 · 407 阅读 · 0 评论