数据技术
文章平均质量分 69
Gospelanswer
这个作者很懒,什么都没留下…
展开
-
搭建即席查询平台
1.环境介绍 三台机器分布式查询 hadoop2.6.4+hive1.2.2+presto0.173+yanagishima5.0+jdk1.8.0_1212.安装 hadoop和hive的安装部署略过。 2.1presto安装 下载prestoy和discovery安装文件并解压到相应路径 mkdir -p /data/hadoop/presto原创 2017-07-19 16:14:29 · 1912 阅读 · 5 评论 -
Kylin基础优化
目录一Kylin的使用场景二 Kylin的使用指南三 Kylin的维度优化2 设置强制维度3 设置层级维度4 设置联合维度5 设置Extended Column四 其余方面优化一Kylin的使用场景Kylin的主要应用场景在于多维分析。在进行多维CUBE构建的时候维度是影响其性能的主要因素,需要注意的是目前Kylin虽然对维度数量不做限制,但是对生成的c...原创 2019-03-31 15:06:32 · 708 阅读 · 0 评论 -
Spark Streaming消费kafka示例
一 组件版本Spark版本:spark-2.1.1-bin-hadoop2.7Kafka版本:kafka_2.11-0.11.0.0Scala版本:2.11.8Tips:用scala 2.12.x的版本会报方法不存在错误二 POM文件内容<dependencies> <dependency> <groupId>org.apache.spa...原创 2018-04-06 11:50:43 · 2264 阅读 · 0 评论 -
Hive优化的基本方法
hive的一些常规优化原创 2017-12-04 23:01:35 · 595 阅读 · 0 评论 -
hadoop分布式搭建
hadoop,hbase原创 2016-07-22 23:37:57 · 587 阅读 · 0 评论 -
phoenix的安装配置
一,下载并解压phoenix的压缩包(压缩包版本根据自己hbase版本而定) tar –zxvf phoenix-4.7.0-HBase-1.1-bin二,配置phoenix 1,将phoenix-4.7.0-HBase-1.1-bin目录下的phoenix-4.7.0-HBase-1.1-client.jar,phoenix-core-4.7.0-HBase-1.1.原创 2016-07-24 16:55:56 · 1025 阅读 · 0 评论 -
kylin安装部署
环境简介Hadoop2.6.4Hbase-1.1.5Zookeeper-3.4.6Hive-1.2.1JDK: 1.7+安装流程1, 解压tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz 2, 配置环境变量sudo vi /etc/profileexport KYLIN_HOME=${dir}/kyli原创 2017-02-07 22:17:43 · 3959 阅读 · 0 评论 -
编译hadoop支持snappy压缩
kylin在build cube时出现hadoop不支持snappy压缩的问题,原因是Hadoop的二进制安装包中没有snappy支持,需要手工重新编译。编译过程:1. 安装包列表snappy-1.1.1.tar.gzprotobuf-2.5.0.tar.gzhadoop-2.6.4-src.tar.gz2. 编译安装snappytar -zxvf snap原创 2017-02-07 22:29:45 · 2863 阅读 · 0 评论 -
hive提示jline接口过期的问题
由于项目需要,将hadoop2.6.4重新编译支持了snappy压缩。重新部署成功以后跑了个wordcount没有任何问题。满心欢喜启动hive,结果报错!!!错误信息如下:[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError原创 2017-02-11 21:44:50 · 602 阅读 · 0 评论 -
数据开发常规技术栈
闲来无事梳理一下个人眼中数据开发的技术栈,不喜勿喷~(PS:技术栈并不代表每个都需要会,只是希望在一定程度上能帮助大家查漏补缺)原创 2019-03-31 15:18:51 · 671 阅读 · 0 评论