hyfstyle的博客

CDH6.3.1 离线安装部署一、服务器准备，CDH相关安装包准备好 都上传到服务器/home 目录下（一）修改hosts和hostname文件更新 /etc/hosts 和 /etc/hostname 文件用xshell或者CRT工具远程连接这些服务器，选中交互窗口，相同的命令输入 一键发送# IP地址和主机名根据实际情况替换echo "10.10.10.1 cdh001" >> /etc/hostsecho "10.10.10.2 cdh002" >> /etc/

一、首先检查服务器上是否安装有mysql：第一步：查看mysql安装版本rpm -qa|grep -i mysql第二步：卸载Mysqlrpm -ev --nodeps 【上一步查询到的mysql版本名称】最后删除关于mysql相关的文件夹：查找根目录下所有者是mysql和有mysql名称的文件find / -user mysqlfind / -name mysql把查找出的目录文件删除：rm -rf 路径二、开始安装配置mysql我用的是mysql-5.7.26-linux-gl

ORACLE ORA-00904 : 标识符无效 错误有以下几种情况：首先检查字段名和表名是否写错字段中是否包含了oracle中的关键字，查询时包含关键字的字段要用双引号括起来建表语句中字段或表名带双引号了，查询时也要加双引号备注：oracle 中的表名 、字段名 默认不区分大小写， 但是若建表语句中带双引号则区分，并且查询时要加双引号。例如：若建表CREATE TABLE tablename (ID number);select id,ID from tablename 与select

linux系统中有种文件是链接文件，能解决文件的共享使用。链接的方式分为两种，一种是硬链接（Hard Link），另一种是软链接或者也称为符号链接（Symbolic Link）。查看linux系统中的链接文件：[root@hyfstyle framework]$ lltotal 16lrwxrwxrwx. 1 root root 11 May 8 13:51 abc -> /opt/datadrwxrwxrwx. 3 root root 4096 Jan 23 11:39 dqm

SQL语句可以搭配正则表达式作为查询条件，实现很多需求。REGEXP_LIKE 匹配：REGEXP_LIKE(String, Regexp) REGEXP_INSTR 包含EGEXP_REPLACE 替换REGEXP_SUBSTR 提取正则表达式常用字符：字符说明^匹配字符串的开始位置，若用在中括号中[ ] 时，表示不匹配括号中字符串$匹配字符串的末尾，若设置了表达式对象的Multiline属性，则也匹配’/n’或’/r’.匹配单个字符*匹配

一、用 dbvisualizer工具远程连接greenplumgreenplum数据库底层封装的是 postgresql 数据库，所以JDBC驱动选择PostgreSQL

在Windows电脑上导出DB2数据，数据库服务器和客户端不在同一机器上。Windows本机要安装DB2客户端。在开始菜单运行里输入db2cmd1、先编目（要远程连接DB2数据库，要把远程的数据库信息加载到本地）db2 catalog tcpip node node_name remote hostname server service_port --catalog server 端的 node db2 uncatalog node node_name --取消节点的编目db2 cat

一. top 命令查看Linux系统CPU、内存等使用情况%us：表示用户空间(没有通过nice调度)程序的cpu使用率；%sy：表示系统空间的cpu使用率，主要是内核程序；%ni：表示用户空间且通过nice调度过的程序的cpu使用率；%id：空闲cpu；%wa：cpu运行时在等待io的时间；%hi：cpu处理硬中断的数量；%si：cpu处理软中断的数量；%st：被虚拟机偷走的cpu。...

一. in 和 existsin是把外表和内表作hash连接，而exists是对外表作loop循环，每次loop循环再对内表进行查询 。select * from TABLE1 a where a.id in (select b.id from TABLE2 b);　 --用到了TABLE1表上id列的索引，而子查询里的表的索引没用到；select * from TABLE1 a where exists (select b.id from TABLE2 where b.id=a.id);　　-- 用

一. Linux 系统中 date 命令 显示系统当前时间根据指定格式显示当前时间：date +FORMATFORMAT注释%YYYYY格式的年份%mmm格式的月份 01-12%ddd格式的日期 01-31%HHH格式的小时数 00-23%MMM格式的分钟数 00-59%SSS格式的秒数 00-59%FYYYY-mm-dd格式的完整日期 同%Y-%m-%d%THH-MM-SS格式的时间 同%H:%M:%S%s自1970

UPDATE 更新多个字段：使用SQL中的update更新多个字段值，set后面的条件要用逗号不能用and（set后面的多个条件之间没有关联也不可以有关联，所以不能用and）；where 条件后面 可以and。update A set A1= 'XX', A2='XXX' where A.id = 1 and A.status='Y'; UPDATE B表中的某些字段值 到 A表：Oralce和DB2都支持的语法：UPDATE A SET (A1, A2, A3) = (SELE.

impala 默认配置不是中国时区，所以格式化时间戳的时候 用from_unixtime ，有八个小时的时间差如果不重启impala服务 可以用时间函数增加8小时，暂时获取正确的格式化日期：hours_add(from_unixtime(cast(substring( TIME_STAMP,1,10) as bigint),’yyyy-MM-dd HH:mm:ss’),8)或者直接修改impala配置并重启impala服务即可：Cloudera Manager -> Impala -> 配

Linux环境变量 分系统环境变量和用户环境变量，系统环境变量对所有用户有效，而用户环境变量只对当前用户有效。Linux系统环境变量中路径名用冒号分隔：PATH=$PATH:路径1:路径2:...:路径n1、系统环境变量配置，修改profile文件，vi /etc/profile加上（例如配置JDK、SCALA环境变量）：JAVA_HOME=/usr/java/jdk1.8.0_171SCALA_HOME=/usr/local/scala/scala-2.10.4export PATH=$PA

有需要算 月累（当月1号至当前日期）、年累(当年1月1号至当前日期的销售数量、金额等)数据时， 数据只能一天一天累计加工。先初始化加工数据，可以扫描日期文件，用kettle加工数据， 一天加工一次；脚本调度扫描日期一天一天执行。#!/bin/bash#脚本所在路径WORK_DIR=/home/hadoop/ktl_wksLOG_DATE=`date +%Y%m%d`LOG_TIME=`date +%H%M%S`KETTLE_HOME=/home/hadoop/software/pdi-c

DB2 查看表空间使用情况，占用磁盘空间大小：SELECT A.SNAPSHOT_TIMESTAMP, A.TBSP_NAME, B.TBSP_TYPE, A.TBSP_STATE, A.TBSP_USABLE_PAGES * B.TBSP_PAGE_SIZE / 1024 / 1024 / 1024 AS TOTAL, A.TBSP_USED_PAGES * B.TBSP_PAGE_SIZE / 1024 / 1024 / 1024 AS USED, (A.TBSP_USABLE_PAGES

MQ是通讯中间件，其中队列管理器： 相当于一个大容器的管理员；队列：相当于大容器里的东西，存放消息的盒子；通道：是大容器和大容器之间，程序和容器之间进行通讯的途径。MQSC全称为MQ Script Command，是MQ脚本命令；MQSC用于管理队列管理器对象，（包括队列管理器本身、通道、队列等）。显示队列管理器： dspmq要定义、修改通道、监听等需要进入队列管理器控制台。进入队列管理器控制台，QM_NAME为队列管理器名称： runmqsc QM_NAME查看所有通道： dis chl(*

impala row_id 的生成方法 ，用row_number() 。若要给impala的维度表添加一个row_id 可以用row_number() over(partition by column1 order by column2 desc) as row_id最近处理impala数据时，源数据比较乱，没有规范。例如有份数据包含代码、名称、分类等；源数据里一个代码可能有多个不同的名称、分类等；把这份数据处理下，获取所有的代码，以及相应代码对应最多的那个名称、分类等（其他字段以此类推），将数据加工

SQL查询字段长度用 length，可以用length 查询出表里该字段的最长长度 max(length(COLUMN_NAME))，也可以查询字段长度大于某一值有多少条记录eg： select * from XX.TB_NAME where length(COLUMN_NAME) > 19;

DB2系统内置的视图 SYSCAT.TABLES其中常用的字段说明字段名说明STATUS状态，其值N = Normal，C = Set integrity pending，X = InoperativeCOLCOUNT列数（包含继承列）CARD表中总行数、记录数，是个大概值，启用压缩的表这个字段的值就不准NPAGES活动的页数量，当前表有效数据占用...

一、greenplum获取当前时间：select now(); --2020-06-24 16:43:32 获取当前时间年月日到时分秒select current_timestamp; --2020-06-24 16:44:53select localtimestamp; --2020-06-24 16:45:01select localtime; --16:45:22select current_time; --16:45:27select current_date; --2020-06-24