2018年11月_夏天小厨

原创 Kafka实战及常见问题解决方法

上一篇技术博客讲解了kafka基本原理以及kafka分布式集群搭建方法，需要这些知识的小伙伴可以查看小厨的《Kafka原理介绍及其分布式安装使用》。本篇博客主要内容是一些kafka的常规操作，包括kafka-topic操作、kafka-producer操作、kafka-consumer操作。良心出品。。。。。1 Kafka-Topic操作添加：新增一个Kafka topic：“mobil...

2018-11-29 21:12:46 12439 2

原创 Kafka之server.properties配置文件详解

我们在搭建kafka集群时，根据业务目标不一样，对配置文件的修改补充也会有一些不同。在查看kafka的config目录之后，发现里面有很多的配置文件，但正在需要修改的有1、producer.properties:生产端的配置文件；2、consumer.properties:消费端的配置文件；3、server.properties:服务端的配置文件。其中最为重要的应该属于服务端的配置文件。这里，小厨...

2018-11-29 17:05:10 9550 1

原创 Kafka原理介绍及其分布式安装使用

今天看到特别励志的一段话，加工一下送给大家。智能产品改变世界，代码改变智能产品，你改变代码 ===推出==》你改变世界。对，没错，你现在正在做的，就是在改变世界。1 Kafka简介Kafka是一个分布式发布（pub）—订阅（Sub）消息系统，消息中间件。由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pip...

2018-11-28 17:53:37 933 2

原创超详细的Sqoop介绍及安装使用文档

这应该是全网目前最全的Sqoop文档了吧，小厨为大家奉献整篇内容包括:Sqoop架构、原理、安装、使用等。目录1 Sqoop简介2 Sqoop原理2.1 import原理2.2 export原理3 准备工作：配置数据库远程连接4 安装Sqoop5 Sqoop查询命令6 Sqoop与Hdfs之间导入导出6.1 关系型数据库导入到HDFS（以mys...

2018-11-27 19:57:53 2573 2

原创 Storm整合Hdfs—从hdfs读取数据（二）

小厨上次写过一次利用Storm从hdfs读取数据，但是效果非常不好，例如只能读取一次文件，无法控制读文件的次数。如下图所示：：：因此，在这里，小厨利用第二种方法读取hdfs数据。需求：1、可以连续的读整个文件夹下面的内容；2、读完最后一个文件之后，退出Topo整个代码1：编写程序入口package com.bigdata.storm;import org.apache.sto...

2018-11-27 19:09:35 1608

原创 Storm-1.2.2介绍及完全分布式安装

目录1 Storm是什么2 Storm的核心概念3 Storm原理架构4 Storm集群安装部署4.1 下载Storm 1.2.24.2 解压，更改配置文件4.3 将配置好的节点分发到两个从节点上5 启动storm集群及web监控1 Storm是什么Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。Storm是Twi...

2018-11-27 18:27:18 1837 1

原创 storm整合hdfs—从hdfs读取数据（一）

在做这个实验之前，查看了官方文档的demo以及【Gpwner的博客】，在他的博客里找到了很多灵感，感谢前人的无私奉献。利用storm从hdfs读取数据，这个做法很少，就连官网给出的demo也少的可怜，众人拾柴火焰高，今天小厨也来添一把柴火，po出自己写的一个小demo，要读的数据正是上一篇博文《storm整合hdfs—将数据写到hdfs》产生的手机型号+日期后缀的数据，此次的业务逻辑就是利用s...

2018-11-08 11:42:21 2761 2

原创 storm整合hdfs—将数据写到hdfs

最近由于业务需求，需要将数据经过storm实时处理加工之后，要转存到HDFS。小厨在实现业务之前首先写了一个测试用例，话不多说，直接上干货。。。首先介绍一下用例业务中使用的软件版本：storm 1.1.0、 hadoop 2.6.5、zookeeper3.4.10;使用maven构建项目。再简单的介绍一下测试用例业务场景：发送手机名称，即通过产生随机数的方式在数组中源源不断的选取要发送的手机信...

2018-11-06 11:09:21 3700 1

原创 ZooKeeper启动成功，却无法查看status——记一次Zookeeper“异常”

今天在使用storm时，需要启动zookeeper依赖集群。于是使用命令启动zookeeper集群，使用命令bin/zkServer.sh start[root@master bin]# ./zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/zookeeper/zookeeper-3.4.10/bin/...

2018-11-02 10:38:11 11344 1

夏天小厨的博客