冰河的专栏

持之以恒,贵在坚持,每天进步一点点。。。

HBase之——脚本编程

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88817432 在HBase上进行脚本编程 比如:创建包含两个列族、两个列的表,并插入一些数据,脚本如下: vim hbasescript.script create 't...

2019-03-26 12:52:45

阅读数 80

评论数 0

HBase之——备份与恢复技术

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88817298 总体来说,HBase的备份分为两类,可以根据不同的需求选择不同的备份方法: 离线备份/full-shutdown备份 使用hadoop distcp命令 在线...

2019-03-26 12:45:42

阅读数 79

评论数 0

Java之——Idea下安装Lombok插件

lombok是一个可以通过简单的注解的形式来帮助我们简化消除一些必须有但显得很臃肿的 Java 代码的工具,简单来说,比如我们新建了一个类,然后在其中写了几个字段,然后通常情况下我们需要手动去建立getter和setter方法啊,构造函数啊之类的,lombok的作用就是为了省去我们手动创建这些代码...

2019-03-25 16:07:46

阅读数 80

评论数 0

Hbase之——命令篇

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88745274 进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keyta...

2019-03-22 17:04:08

阅读数 61

评论数 0

HBase之——部署经验与坑总结

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88696276 1.本地单机部署hbase,想要使用独立zookeeper,不使用自带的 vim conf/hbase-env.sh export HBASE_MANAGES...

2019-03-20 18:45:20

阅读数 93

评论数 0

HBase之——连接不上Zookeeper的解决方案

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88695338 当HBase连不上Zookeeper时,会报出如下的错误信息: Could not start ZK at requested port of 2181. ...

2019-03-20 18:00:48

阅读数 183

评论数 0

Hive之——总结

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88674278 一、Hive命令说明 1.执行完立刻退出 使用hive -e 的形式 hive -e 'select count(*) from test' 2.不需看到...

2019-03-20 13:57:19

阅读数 56

评论数 0

Hive之——Hive和Oozie整合

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88656351 Oozie提供的多种动作(Action) Oozie提供了多个内置的动作。如下列举了其中的一些,并进行了简要的描述。 1.MapReduce 用户提供Mapp...

2019-03-19 10:32:17

阅读数 131

评论数 0

Hive之——锁

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88649821 Hive结合Zookeeper支持锁功能 这里,我们使用3个zookeeper节点:zk1.site.pvt、zk2.site.pvt、zk3.site.pvt...

2019-03-18 21:00:34

阅读数 89

评论数 0

Hive之——安全

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88648094 和Hadoop安全功能相结合 Hive v0.70增加了和Hadoop安全功能的结合,这意味着,当Hive提交到安全集群的JobTracker上时,将使用合适的...

2019-03-18 19:46:38

阅读数 8367

评论数 2

Hive之——存储处理程序和NoSQL

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88647823 HBase 下面的例子展示了如何使用HiveQL创建一个指向HBase表的Hive表: create table hbase_stocks(key int,...

2019-03-18 19:26:16

阅读数 95

评论数 0

Hive之——Thrift服务

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88636689 Hive有个可选的组件叫做HiveServer或者HiveThrift,其允许通过制定端口访问Hive。Thrift是一个软件框架,允许客户端使用包括Java、C...

2019-03-18 12:56:41

阅读数 132

评论数 0

Hive之——Streaming

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88624013 Hive中提供了多个语法来使用streaming,包括:MAP()、REDUCE()和TRANSFORM()。要注释的是MAP()实际上并非可以强制在map阶段执...

2019-03-17 18:59:43

阅读数 52

评论数 0

Hive之——Avro Hive SerDe

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88623683 使用表属性信息定义Avro Schema 如下语句通过制定AvroSerDe、AvroContainerInputFormat和AvroContaionerOu...

2019-03-17 18:26:47

阅读数 67

评论数 0

Hive之——JSON SerDe

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88622207 这里,我们列举一个例子,这个Serde用于从JSON数据中抽取出一些域,这些数据假设是来自某个信息系统, 并非要解析出JSON中所有的字段,而那些解析出来的字段都...

2019-03-17 17:07:49

阅读数 90

评论数 0

Hive之——支持CSV格式

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88617808 csv-serde下载地址:http://ogrodnek.github.io/csv-serde/ 用法: add jar path/to/csv-serd...

2019-03-17 13:20:45

阅读数 49

评论数 0

Hive之——RegexSerDe来处理标准格式Apache Web日志

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88617592 这里,我使用的Hive版本是2.3.4。 SerDe是序列化/反序列化的简写。在内部Hive引擎使用定义的InputFormat来读取一行数据记录。这行记录之后...

2019-03-17 13:03:22

阅读数 113

评论数 0

Hive之——宏命令

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88580205 宏命令提供了在HiveQL中调用其他函数和操作符来定义函数的功能。对于特定的情况,使用宏命令要比Java编写UDF或使用Hive的streaming功能更加方便,...

2019-03-15 17:58:42

阅读数 82

评论数 0

Hive之——以函数的方式使用注解

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88580033 UDF中存在标注,正确使用这些标注可以使得函数更加简单,甚至有时对于某些Hive查询,可以提高执行效率: public @interface UDFType{...

2019-03-15 17:55:22

阅读数 42

评论数 0

Hive之——用户自定义表生成函数

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88550180 产生多行数据的UDTF 首先,我们说下可以产生多行数据的UDTF 之前,我们使用了explode方法,explode方法输入一个数组,将数组中的每个元素都作为一...

2019-03-14 11:59:30

阅读数 48

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭