![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
jmz19910110
这个作者很懒,什么都没留下…
展开
-
Ubuntu16.04 x64版本下搭建单节点hadoop+hive+thrift环境
Ubuntu16.04 x64版本下搭建hadoop+hive+thrift环境一、 准备工作安装vimapt-get install vim安装openssh-serverapt-get install openssh-server修改ubuntu默认ssh配置vim /etc/ssh/ssh_config在末尾添加StrictHostKeyChecking noUserKn...原创 2019-06-26 17:13:50 · 302 阅读 · 0 评论 -
hive-thrift 代码浅析
使用代码版本:apache-hive-2.1.1-srcthrift-0.10.0thrift本身只是一个框架,自带一些库和例子以及一个自动生成代码的compilerhive本身的bin实现推测主要是使用javahive中cpp的自动生成代码在如下目录apache-hive-2.1.1-src\service-rpc\src\gen\thrift\gen-cppthrift主要关注 ...原创 2019-06-26 17:26:56 · 679 阅读 · 0 评论 -
Google Protocol Buffer 的 编码方式
Protobuf 序列化后所生成的二进制消息非常紧凑,这得益于 Protobuf 采用的非常巧妙的 Encoding 方法。考察消息结构之前,让我首先要介绍一个叫做 Varint 的术语。Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字,值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。比如对于 int32 类型的数字,一般需要 4 个 byte 来表示。但...原创 2019-07-05 14:40:10 · 303 阅读 · 0 评论 -
hadoop+hive三节点环境搭建
以下使用虚拟机搭建Hadoop+Hive环境虚拟机:Oracle VirtualBox操作系统:centos7.6JDK:1.8.0_201MySql: 5.7.25Hadoop:hadoop-2.8.1Hive:apache-hive-1.2.2-binHadoop集群为三个节点:主节点hadoop1 192.168.18.171从节点hadoop2 192.168.18.17...原创 2019-07-05 14:51:39 · 5445 阅读 · 0 评论