- 博客(6)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive 设置队列
hive 设置队列需要根据所使用的引擎进行对应的设置才会有效果，否则无效设置引擎set hive.execution.engine=mr; set hive.execution.engine=spark; set hive.execution.engine=tez; 如果使用的是mr(原生mapreduce)SET mapreduce.job.queuename=etl;如果使用的引擎是t...
2018-07-04 11:01:02
13268
1
原创 hive自定义函数UDF
当hive自带函数很难满足或者无法满足hql时，可以自定义函数（UDF）1、先写java类，继承UDF，并重载evaluate方法package com.timo.bigdata.udfimport org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class Lower
2017-10-26 22:47:20
186
原创 日志采集
关于日志采集业界比较经典的用法：线上数据→flume→kafka→hdfs→mapreduce离线计算或者线上数据→flume→kafka→storm（实时）其中后者可以应用于实时监控的短信邮件告警等。storm也可用spark steaming（准实时，吞吐量比 storm 大）组件flume：日志采集系统kafka：消息中间件关于storm与
2017-10-26 17:58:10
335
转载 （转）Spark Streaming与Storm的对比分析
本文转自：http://blog.csdn.net/kwu_ganymede/article/details/50296831 原作者kwu_ganymedeSpark Streaming与Storm的对比分析一、Spark Streaming与Storm的对比二、Spark Streaming与Storm的优劣分析事实上，S
2017-10-26 17:43:42
246
原创 hbase常用命令
hbase常用命令创建表: create '表名', '列族名1','列族名2','列族名N'查看所有表: list描述表: describe ‘表名’判断表存在: exists '表名'判断是否禁用启用表: is_enabled '表名' ; is_disabled ‘表名’添加记录 : put ‘表名’, ‘rowKey’,
2017-10-19 22:11:55
294
原创 初认hadoop
什么是hadoop？hadoop = teh hadoop projectshadoop体系架构生态圈主要包含common，avro，mapreduce，hdfs,pig,hive(数据仓库),hbase，zookeeper,oozie（任务调度），sqoop（数据转移hive ↔ mysql）等组件hadoop核心： hdfs（分布式文件系统）+ mapreduce （计
2017-10-19 22:08:57
170
ubuntu linux 自带的protobuf怎么卸载或者升级版本啊
2017-09-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人