hadoop
文章平均质量分 76
心明媚的很干净
星环科技架构师,大数据高级工程师,高级大数据讲师,目前再进行大数据相关环境,spark 相关的研究工作,对TDH商业hadoop版本有较深入的研究。
展开
-
Linux 磁盘操作命令
磁盘操作命令—df命令 功能:检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间,目前还剩下多少空间等信息。 参数 功能 -a 列出全部目录 -Ta 列出全部目录,并且显示文件类型 -B 显示块信息 -i 以i节点列出全部目录 -h 按照日常习惯显示(如:1K、100M、20G) -x [filesystype] 不显示[filesystyp...原创 2018-10-11 14:59:44 · 530 阅读 · 0 评论 -
pdsh 安装步骤
pdsh安装步骤Skip to end of metadataCreated and last modified by wenqi.kang on Oct 19, 2017Go to start of metadata0.安装环境centos6.5 & centos7.21.解压并安装安装包: pdsh-2.26.zipunzip pdsh-2.26.zip...原创 2018-11-12 17:36:21 · 3045 阅读 · 0 评论 -
【Apache ZooKeeper】命令行zkCli.sh使用指南
【Apache ZooKeeper】命令行zkCli.sh使用指南 ZooKeeper命令行 ZooKeeper客户端有C语言和Java两个版本。ZooKeeper的命令在/usr/lib/zookeeper/bin文件夹下。运行Java版本的客户端使用bash zkCli.sh -server IP:port ,运行C语言版本的使用./cli_mt IP:por...原创 2018-11-12 17:47:59 · 182 阅读 · 0 评论 -
星环 sophon 升级详解
Sophon升级详解1 .Sophon1.2.0-final升级1.3.0final 步骤1 . 下载Sophon Web配置文件以及镜像:(包含1.2.0和1.2.1版本) wget ftp://172.16.3.129/pub/sophon-1.3/img/sophon-web-1.3.img wget ftp://172.16.3.129/pub/sophon...原创 2018-11-12 17:54:14 · 1096 阅读 · 0 评论 -
基于星环TDH数据仓库典型总和场景数据流转设计
典型综合场景数据流转设计综合场景一 T+1数据加工图 4 T+1方式数据流转 T+1是数据仓库领域最为常见的数据集成模式,T+1模式下数据仓库会在每天固定时间点采集当天或者前一天交易系统数据。根据数据类型,结构化数据来源一般为RDB,需要将这些数据通过ETL工具全量或者增量导入到tdh的hdfs中,最后根据实际业务需求通过inceptor将数据写入到对应的表中:①...原创 2018-11-12 18:13:39 · 3089 阅读 · 0 评论 -
后台下载 TDH-Client 方法
在使用 星环 TDH 大数据平台过程中,我们必会用到TDH-Client ,其中集成了很多平台组件的客户端。该Client 可以通过manager下载,但是比较麻烦,我们也可以通过后台获取Cookies 的方式下载该客户端。步骤如下:1 获取TDH Manager 的cookies 文件2 根据cookies文件下载 TDH VERSION < 5.2 wg...原创 2019-01-18 11:38:32 · 1429 阅读 · 0 评论 -
TDH 常见运维命令(部分)
通过一条命令来搜集所有节点下regionServer的Exception日志:cat /etc/hosts | grep 172.16 | awk '{print $1}' | xargs -i ssh {} " grep Exception -R /var/log/hyperbase1/*log" 截图如下。日志较多截不完,就直接取消了 查找InceptorS...原创 2019-01-18 11:49:57 · 6256 阅读 · 0 评论 -
TDH Inceptor 操作实战案例之 验证ACID
验证Inceptor ACID 原子性,一致性,隔离性 1 创建普通ORCset transaction.type=inceptor;set plsql.compile.dml.check.semantic=false;create database dbname;use dbname;drop table if exists orc_table;create table ...原创 2019-01-18 16:17:52 · 2718 阅读 · 0 评论 -
Inceptor JDBC 连接案例程序
Java 连接Inceptor 方法如下PS:需要提前向工程中导入Inceptor 访问驱动import java.sql.*;public class JDBCExample { //Hive2 Driver class name private static String driverName = "org.apache.hive.jdbc.HiveDriver"; ...原创 2019-01-18 16:57:39 · 4289 阅读 · 1 评论