自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

slmpl的博客

一起学习,共同进步

10月 08月

原创 Zookeeper基本概念

Zookeeper概述为什么要用zookeeper zookeeper是分布式协调服务，分布式应用难免会出现部分失败，假设一条消息在两个节点中间传输，如果出现网络错误，发送者无法知道接收者是否已经拿到消息，接收者可能拿到了，也可能没有拿到，发送者要知道真实情况只能重新连接接收者，并向它发出询问，我们不知道一个操作是否成功，这种情况部分失败。zookeeper的出现使得我们可以对出现部分失败的情况...

2018-10-03 14:31:12 152

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

weixin_39070689 CSDN认证博客专家 CSDN认证企业博客

码龄7年

暂无认证

IP 属地：江苏省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

13: 原创

107万+: 周排名

89万+: 总排名

1万+: 访问

: 等级

211: 积分

0: 粉丝

7: 获赞

4: 评论

22: 收藏

私信

关注

分类专栏

Clickhouse 3篇
bigdata 8篇
Linux
zookeeper 1篇
概念 1篇
tool 1篇

最新评论

flume采集日志到HDFS中再导入到hive表中
会spark的篮球少年: 博主这个日志不用拆分字段吗这样怎么分析？
flume结合morphline使用
weixin_39070689: schema文件要上传到Hdfs并在sink里指定
flume结合morphline使用
qq_41892833: a1.sinks.k1.serializer.schemaURL = hdfs://localhost:8020/user/schema/softschema.avsc 上面的语句是报org.apache.flume.FlumeException: Could not find schema for event [Event headers这个错误的原因吗
flume结合morphline使用
qq_41892833: 你好，我想问为什么运行第二个flume的时候会出现下面的错误？非常希望能得到解答。 18/08/14 23:19:11 INFO hdfs.HDFSDataStream: Serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder, UseRawLocalFileSystem = false 18/08/14 23:19:11 INFO hdfs.BucketWriter: Creating /flume/815test/ds=20180804/FlumeData.1534313951334.avro.tmp 18/08/14 23:19:13 ERROR hdfs.HDFSEventSink: process failed org.apache.flume.FlumeException: Could not find schema for event [Event headers = {timestamp=1533385018000, message=2018-08-04 12:16:58 status,half-installed,base-passwd:amd64 3.5.44, time=12:16:58, plat=amd64, status=half-installed, mes=status,half-installed,base-passwd, name=base-passwd, date=2018-08-04, version=3.5.44, soft=status,half-installed,base-passwd:amd64}, body.length = 63 ] at org.apache.flume.sink.hdfs.AvroEventSerializer.initialize(AvroEventSerializer.java:124) at org.apache.flume.sink.hdfs.AvroEventSerializer.write(AvroEventSerializer.java:106) at org.apache.flume.sink.hdfs.HDFSDataStream.append(HDFSDataStream.java:124) at org.apache.flume.sink.hdfs.BucketWriter$7.call(BucketWriter.java:550) at org.apache.flume.sink.hdfs.BucketWriter$7.call(BucketWriter.java:547) at org.apache.flume.sink.hdfs.BucketWriter$9$1.run(BucketWriter.java:679) at org.apache.flume.auth.SimpleAuthenticator.execute(SimpleAuthenticator.java:50) at org.apache.flume.sink.hdfs.BucketWriter$9.call(BucketWriter.java:676) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745)