浮世与人心的博客

Kafka的基本概念Topic 主题 是Kafka集群中用于存储某一类 或者某一种数据。主题的数据只能添加Broker 集群中的每一个分机 都是一个Broker 相当于Kafka集群的节点Consumer 消费者 用来从Kafka 集群中读取消息Producer 生产者 用于从Kafka 集群中发送消息Streams 流 用于对实时数据的处理Partition 分区 每一个topic...

kafka入门篇之什么是kafka什么是kafka？为什么要使用kafka应用场景什么是kafka？要学习任何的一种技术 我们都应先去了解它，知其之长出及其不足，方能事半功倍先看看百度定义Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页...

笔者大数据方向全靠自学，可能某些地方不对，踩了很多坑，可能有很多地方不对还望各位不吝赐教，感谢首先Kafka有个很重的特性 那就是版本差异很大，你不能说很多博主写错了，但是你现在去学习你就发现很多方法都是报错了。这是因为版本原因 本文版本是Kakfa2.0版本创建项目，引用kafka依赖 这个我就不写了ConsumerAPIpublic class KfkConsumer { p...

Kafka–demo干货写了一个kafak的demo，可能很多场景会用到类似的案列，故分享出来初学者参考，有不懂或者是不理解的可以留言*在特定的时间段，获取每一个用户的所有信息。也可以作为一个加法器，或者求最值等。package com.example.demo.test;import org.apache.kafka.common.serialization.Serde;imp...

Hbase之集群搭建预备工作搭建好的Hadoop 集群 (我这里 有3台节点 node01，node02，node03，其中node02 是主节点)Hbase的压缩包（要注意版本之间 有无冲突）安装好了zookeeper第一步 解压压缩包tar -zxvf hbase-2.0.4.tar.gz第二步 修改配置文件配置文件在 更目录下面的conf里面1.修改 hbase-e...

Failed verification of hbase:meta接触不久，困惑许久，找了很多帖子，说要你添加集群中的每个节点的hostname 和 ip 然并卵由于我问题已经解决就不发具体报错的异常了 大概意思是报了一个 Call exception 且找不到你的hbase:meta终于找到一个 可以解决我问题的帖子这是原文 http://www.lizhe.name/node/78问...

Hadoop集群搭建首先的准备条件1 搭建好jdk2 hadoop 的压缩包（我这里是以2.7版本为例）3 台机械 或者更多，且保证能通信 （我这里是 node01，node02，node03）第一步 解压在你的安装目录下面解压tar -zxvf hadoop-2.7.7.tar.gz第二步 编写环境变量在profile中添加 hadoop的环境变量vim /etc...

关于spark ：Initial job has not accepted any resources早几天，在客户端提交job的时候 突然遇到了一个新的问题，代码没变，环境没变，出现了这个异常（因为问题已经解决了，就不贴图了），感觉很莫名奇妙。在集群的日志中 ，我们可以看到这个这样一个错误：在网上 找了很久的资料，说可能是 ip不对，去服务器，特意去ping了一下，能ping通，就给排掉...

Spark之常用的RDD操作给大家分享我常用的RDD操作方法。版本是spark-2.4.0，使用的python（不同的语言RDD的用法差不多）一，创建从本地文件获取lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")从HDFS中获取lines = sc.textFile("hdfs://local...