hadoop
jmz19910110
这个作者很懒,什么都没留下…
展开
-
Ubuntu16.04 x64版本下搭建单节点hadoop+hive+thrift环境
Ubuntu16.04 x64版本下搭建hadoop+hive+thrift环境 一、 准备工作 安装vim apt-get install vim 安装openssh-server apt-get install openssh-server 修改ubuntu默认ssh配置 vim /etc/ssh/ssh_config 在末尾添加 StrictHostKeyChecking no UserKn...原创 2019-06-26 17:13:50 · 282 阅读 · 0 评论 -
hive-thrift 代码浅析
使用代码版本: apache-hive-2.1.1-src thrift-0.10.0 thrift本身只是一个框架,自带一些库和例子以及一个自动生成代码的compiler hive本身的bin实现推测主要是使用java hive中cpp的自动生成代码在如下目录 apache-hive-2.1.1-src\service-rpc\src\gen\thrift\gen-cpp thrift主要关注 ...原创 2019-06-26 17:26:56 · 651 阅读 · 0 评论 -
Google Protocol Buffer 的 编码方式
Protobuf 序列化后所生成的二进制消息非常紧凑,这得益于 Protobuf 采用的非常巧妙的 Encoding 方法。 考察消息结构之前,让我首先要介绍一个叫做 Varint 的术语。Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字,值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。 比如对于 int32 类型的数字,一般需要 4 个 byte 来表示。但...原创 2019-07-05 14:40:10 · 288 阅读 · 0 评论 -
hadoop+hive三节点环境搭建
以下使用虚拟机搭建Hadoop+Hive环境 虚拟机:Oracle VirtualBox 操作系统:centos7.6 JDK:1.8.0_201 MySql: 5.7.25 Hadoop:hadoop-2.8.1 Hive:apache-hive-1.2.2-bin Hadoop集群为三个节点: 主节点hadoop1 192.168.18.171 从节点hadoop2 192.168.18.17...原创 2019-07-05 14:51:39 · 5382 阅读 · 0 评论