使用独立的HBase集群部署Apache Kylin

介绍 ApacheKylin主要使用HBase来存储多维数据集数据。HBase集群的性能直接影响着Kylin的查询性能。在常见的场景中,HBase与mr/hive一起部署在一个HDFS集群上,这使得所使用的资源受到限制,mr作业会影响HBase的性能。这些问题可以通过独立的HBase集群来解决...

2019-01-23 11:34:40

阅读数 26

评论数 0

hive常用UDF and UDTF函数介绍-lateral view explode()

前言: Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数,全面详细介绍推荐官网wiki:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF。 定...

2018-11-29 17:07:51

阅读数 35

评论数 0

Hive OLAP多维聚合函数

OLAP多维聚合函数 Hive OLAP多维聚合函数是增强版的Group By语句。一般和Group By同时使用,用来进行多维分析。 本文总结Hive三种常用的多维聚合函数:With Cube 任意维度聚合、Grouping Sets 指定维度聚合、With Rollup 层级维度聚合。  ...

2018-11-29 17:05:33

阅读数 56

评论数 0

Kettle日常使用汇总整理

Kettle源码下载地址: https://github.com/pentaho/pentaho-kettle Kettle软件下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration kettle-pl...

2018-11-28 16:00:23

阅读数 135

评论数 0

Kettle连接Pentaho Server

一、打开Kettle点Connect 点Connect 二、向导式配置连接 Get Started 配置 Almost Done Connect Now Admin/password Connected 三、试一试 打开,看到浏览窗口是服务的内容标识...

2018-11-15 14:07:51

阅读数 37

评论数 0

Windows安装Kettle8.1 CE 社区版

1、到SourceForge下载Pentaho Kettle CE版本 https://sourceforge.net/projects/pentaho/files/Pentaho%208.1/client-tools/ image.png 2、安装 1、参考帖子: https://...

2018-11-15 14:05:43

阅读数 25

评论数 0

CentOS7安装Pentaho Server 8.1 CE 社区版

安装Pentaho Server 1、下载Pentaho Server CE 到SourceForge下, https://sourceforge.net/projects/pentaho/files/Pentaho%208.1/server/ 2、解压到/opt/ptools/下 ...

2018-11-15 13:55:15

阅读数 138

评论数 0

CentOS7安装Pentaho Server 8.1 CE 社区版JDK1.8安装篇

Centos7下安装与卸载Jdk1.8 卸载 查看已经安装的jdk [root@bogon jre]# rpm -qa|grep jdk java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 java-1.7.0-openjdk-1.7....

2018-11-15 13:52:15

阅读数 73

评论数 1

设置PDI7.1连接到Cloudera集群

在你开始之前 在开始之前,你需要做一些事情。 验证支持 检查组件引用,以验证您的PunaHo版本支持CDH集群的版本。 建立CDH集群 配置CDH集群。如果需要帮助,请参阅Cloudera的文档。 安装任何必需的服务和服务客户端工具。 测试群集。 获取连接信息 获取您将从Hadoo...

2018-11-15 11:47:23

阅读数 125

评论数 0

pdi7.1 kettle7.1配置

Home文件7.1 配置   这本指南的基本配置任务for the Pentaho的服务器,数据连接,the Pentaho的设计工具,所以你可以登录和Hadoop集群解决方案和数据创建get started ETL的分析方法。这是你的指导安装the Pentaho的软件。 工具:这些...

2018-11-15 10:47:21

阅读数 126

评论数 0

Hadoop File Output 使用和问题解决

请注意:这份文件适用于PATAHO 7.1和更早的版本。对于PANAHO 8和以后,请参阅PadaHoeEnterprise Enterprise文档站点上的Hadoop文件输出。 描述 Hadoop文件输出步骤用于将数据导出到存储在Hadoop集群上的文本文件。这通常用于生成可由电子表格应用...

2018-11-15 10:34:50

阅读数 217

评论数 0

kettle7.1连接CDH5.14.1 时,执行Hadoop Copy Files错误

2018/11/08 19:44:24 - RepositoriesMeta - Reading repositories XML file: C:\Users\Administrator\.kettle\repositories.xml 2018/11/08 19:44:25 - Spoon -...

2018-11-08 19:45:48

阅读数 157

评论数 3

kettle7.1 配置2

步骤1:找到Pentaho大数据插件和Shim目录 Shims和Pentaho自适应大数据层的其他部分在Pentaho大数据插件目录中。这个目录的路径不同于组件。您需要知道该目录的位置,在每个组件中,完成SIMM配置和测试任务。 < pentaho home&...

2018-11-07 10:51:02

阅读数 70

评论数 0

设置Kettle7.1接CDH hadoop集群

在开始之前,你需要做一些事情。 验证支持 检查组件引用,以验证您的Kettle7.1版本支持您的MAPR集群版本。 建立MAPR集群 Kettle7.1可以连接到安全的和不安全的MAPR集群。 配置MAPR集群。如果需要帮助,请参阅MapR的文档。 安装任何必需的服务和服务客户端工...

2018-11-07 10:48:03

阅读数 147

评论数 0

weblogic安装时提示不是有效的JDK Java主目录解决方案

weblogic安装时提示不是有效的JDK Java主目录解决方案 一.问题现象 由于项目需求,需要用weblogic作为web服务器,在开发环境安装过程中,遇到了如下的问题。 D:\Software\fmw_12.2.1.3.0_infrastructure_Disk1_1of...

2017-11-24 17:26:43

阅读数 11607

评论数 3

Maven管理Oracle JDBC驱动

使用Maven管理Oracle驱动包   由于Oracle授权问题,Maven3不提供Oracle JDBC driver,为了在Maven项目中应用Oracle JDBC driver,必须手动添加到本地仓库。 手动添加到本地仓库需要本地有oracle驱动包,有两种方式获取o...

2017-11-08 16:07:30

阅读数 116

评论数 0

HBASE 常用语法和phoenix 配置

hadoop服务器监控网址     hadoop常用命令 使用账号从ssh登录,进入HADOOP_HOME目录。 hadoop安装目录:/usr/lib/hadoop/ 启动Hadoop               执行sh bin/start-all.sh          ...

2017-08-31 09:26:12

阅读数 472

评论数 0

我常用的大数据执行脚本,共享给大家

首先到238执行: cd /usr/local/hbase-1.2.1/bin/ ./stop-hbase.sh  碰到报错,到238,239,240 cd /usr/local  ./stophbase.sh   执行完之后,使用  ps axu |grep hbase  查看是否还有残余进...

2017-08-21 14:09:22

阅读数 577

评论数 0

Phoenix实现用SQL查询HBase

HBase,一个NoSQL数据库,可存储大量非关系型数据。 HBase,可以用HBase shell进行操作,也可以用HBase Java api进行操作。HBase虽然是一个数据库,但是它的查询语句,很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HBase,那就很Pe...

2017-08-21 09:29:11

阅读数 226

评论数 0

数据分析中使用的phoenix 版本建议

comet4j-tomcat7 phoenix-4.7.0.2.6.0.3-8-client phoenix-4.7.0.2.6.0.3-8-queryserver phoenix-4.7.0.2.6.0.3-8-server phoenix-4.7.0.2.6.0.3-8-t...

2017-08-21 09:16:01

阅读数 331

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭