星环TDH
文章平均质量分 78
心明媚的很干净
星环科技架构师,大数据高级工程师,高级大数据讲师,目前再进行大数据相关环境,spark 相关的研究工作,对TDH商业hadoop版本有较深入的研究。
展开
-
星环大数据平台 TDH inceptor 问题排查
一、四点1.metastore2.mysql3.Inceptor server4.ldap二、日志收集1.Inceptor server & metastore 日志2.Inceptor server & metastore jstack/jstat/jmap日志三、常见问题1.Inceptor server异常停止2.Inceptor ful...原创 2018-11-12 17:24:19 · 4931 阅读 · 0 评论 -
Kafka+Slipstream实现网站实时点击统计
实验目的掌握StreamSQL的基本用法。掌握Slipstream流处理的基本过程。理解输入流表、衍生流表、结果表和流任务的关系。原创 2019-01-18 16:35:02 · 654 阅读 · 0 评论 -
TDH Inceptor 操作实战案例之 验证ACID
验证Inceptor ACID 原子性,一致性,隔离性 1 创建普通ORCset transaction.type=inceptor;set plsql.compile.dml.check.semantic=false;create database dbname;use dbname;drop table if exists orc_table;create table ...原创 2019-01-18 16:17:52 · 2718 阅读 · 0 评论 -
TDH 常见运维命令(部分)
通过一条命令来搜集所有节点下regionServer的Exception日志:cat /etc/hosts | grep 172.16 | awk '{print $1}' | xargs -i ssh {} " grep Exception -R /var/log/hyperbase1/*log" 截图如下。日志较多截不完,就直接取消了 查找InceptorS...原创 2019-01-18 11:49:57 · 6256 阅读 · 0 评论 -
后台下载 TDH-Client 方法
在使用 星环 TDH 大数据平台过程中,我们必会用到TDH-Client ,其中集成了很多平台组件的客户端。该Client 可以通过manager下载,但是比较麻烦,我们也可以通过后台获取Cookies 的方式下载该客户端。步骤如下:1 获取TDH Manager 的cookies 文件2 根据cookies文件下载 TDH VERSION < 5.2 wg...原创 2019-01-18 11:38:32 · 1429 阅读 · 0 评论 -
基于星环TDH数据仓库典型总和场景数据流转设计
典型综合场景数据流转设计综合场景一 T+1数据加工图 4 T+1方式数据流转 T+1是数据仓库领域最为常见的数据集成模式,T+1模式下数据仓库会在每天固定时间点采集当天或者前一天交易系统数据。根据数据类型,结构化数据来源一般为RDB,需要将这些数据通过ETL工具全量或者增量导入到tdh的hdfs中,最后根据实际业务需求通过inceptor将数据写入到对应的表中:①...原创 2018-11-12 18:13:39 · 3089 阅读 · 0 评论 -
星环 sophon 升级详解
Sophon升级详解1 .Sophon1.2.0-final升级1.3.0final 步骤1 . 下载Sophon Web配置文件以及镜像:(包含1.2.0和1.2.1版本) wget ftp://172.16.3.129/pub/sophon-1.3/img/sophon-web-1.3.img wget ftp://172.16.3.129/pub/sophon...原创 2018-11-12 17:54:14 · 1096 阅读 · 0 评论 -
pdsh 安装步骤
pdsh安装步骤Skip to end of metadataCreated and last modified by wenqi.kang on Oct 19, 2017Go to start of metadata0.安装环境centos6.5 & centos7.21.解压并安装安装包: pdsh-2.26.zipunzip pdsh-2.26.zip...原创 2018-11-12 17:36:21 · 3045 阅读 · 0 评论 -
Docker + Tomcat + WebApp 应用部署实战
一、实验信息Docker + Web + Tomcat 应用部署实战 二、实验目的利用Docker 搭建Tomcat 服务器并部署Web应用 练习Docker 基本命令,体会Docker 的应用场景 三、实验说明安装Docker(1)Docker CE离线安装 (2)配置Docker 国内镜像加速器 (3)使用Docker 搭建Tomca...原创 2018-11-12 17:32:54 · 4857 阅读 · 0 评论 -
Inceptor JDBC 连接案例程序
Java 连接Inceptor 方法如下PS:需要提前向工程中导入Inceptor 访问驱动import java.sql.*;public class JDBCExample { //Hive2 Driver class name private static String driverName = "org.apache.hive.jdbc.HiveDriver"; ...原创 2019-01-18 16:57:39 · 4289 阅读 · 1 评论