2019年03月_夏天小厨

原创 JDBC操作Hive出现的错误

上一篇咱们说到用JDBC去操作Hive，这篇文章主要是将其中由于未添加某个jar包导致的错误罗列出来。基本的错误都是没找到类：java.lang.ClassNotFoundException，只是出现的地方不同而已一、org/apache/http/HttpRequestInterceptor这是由于没有添加httpcore-4.4.jar 包导致的错误，详细错误如下：二、o...

2019-03-29 17:41:56 4100 1

使用JDBC去操作hive可能是程序员们比较喜欢的一种方式，今天来总结一下使用java api来对hive进行增删查改，这里我主要演示对hive表中数据的操作，不创建表已经改变表原有的结构。本文基于hive已经能正常使用的情况。首先hive必须以服务方式启动，平台默认启动时hive server2 模式。hiveserver2是比hiveserver更高级的服务模式，提供了hiveserver...

2019-03-29 17:16:04 3704 1

原创 Flink DataStream API

实时分析是当前一个比较热门的数据处理技术，因为许多不同领域的数据都需要进行实时处理、计算。到目前为止，有很多技术提供实时的解决方案，包括Storm、Spark Streaming等。这些需求源自于物联网的应用程序需要存储、处理和实时或近实时分析，为了满足这种需求，Flink提供了数据流处理API即DataStream API。在总结DataStream API之前，我们先简单的了解一下Flin...

2019-03-21 17:30:12 2145

原创 HBase Master is initializing的错误可能

今天，在启动kylin时，报Failed to find metadata storeby url: kylin_metadata@hbase，确认这肯定是hbase的错误导致kylin无法正常启动，于是进入hbase shell，输入list命令测试，果然出现hbase.PleaseHoldException: Master is initializing，从字面可以知道，主节点正在初始化，请...

2019-03-20 20:29:56 26113 8

原创 Flink on Yarn的两种模式及HA

Flink on Yarn模式部署始末：Flink的Standalone和on Yarn模式都属于集群运行模式，但是有很大的不同，在实际环境中，使用Flink on Yarn模式者居多。那么使用on yarn模式到底好在哪呢？首先，在集群运行时，可能会有很多的集群实例包括MapReduce、Spark、Flink等等，那么如果它们全基于on Yarn就可以完成资源分配，减少单个实例集群的维护，提高...

2019-03-11 17:57:14 6235 3

原创 Kafka之Producer API使用【java版本】

前段时间需要配合kylin的流式计算，所以用java写了一个producer的程序，每秒向topic中产生数据，kylin则作为Topic的Consumer。主要的功能就是随机产生一些数据，这个程序里面主要的点个人认为是：时间戳的随机生成，发送JSON数据格式。直接上点干货，任何问题都可以在下方评论，小厨尽全力解决。package com.bigdata.kylin;import jav...

2019-03-08 14:54:24 2504

原创 shell脚本之大数据集群一键启动

在日常操作中，我们搭建了很多集群，例如hadoop、zookeeper、Hbase、kafka、Flume、kylin等，每次启动以及停止这些进程都很麻烦，例如zookeeper还需要一台机器一台机器的登录然后执行命令，这样极其不方便。所以今天要跟大家分享的就是使用shell脚本去启动这些进程。一、zookeeper集群1、zookeeper集群启动，创建start_zk.sh文件，写入以...

2019-03-08 11:08:07 906

原创 Kafka+kylin——kylin2.5.0流式构建

《一份详细的Kylin执行样例——基于kylin2.5.0》一文中，小厨介绍了如何使用kylin，今天开辟一个新路线，个人感觉随着时代的发展，数据实时分析会成为主力军，因为今天介绍一下Kafka+kylin，流式构建cube。kylin是从1.5版本开始，引入Streaming Table，目的是减少OLAP分析的延时，到目前的2.5.0版本 Streaming做的已经相当较成熟了。主要方法：...

2019-03-07 22:03:11 4165 3

夏天小厨的博客