maenlai0086的博客

Kettle性能优化是一个系统工程，不仅涉及工具本身的优化，更涉及ETL工具之外的诸多因素，比如，ETL要读取数据库，那么目标DMBS的性能，SQL语句，网络等相关因素都影响到执行效率。根据Kettle对数据ETL的过程性能调优，主要取决于三个因素：上游渠道，工具的大小与数量，下游渠道。一 Kettle调优调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Sp...

性能调优在整个工程中是非常重要的，也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面：一方面是硬件调优，一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚本。 修改脚本代码片段 set ...

最近读的几篇关于impala的文章，这篇良心不错：https://www.biaodianfu.com/impala.html（本文截取部分内容） Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎...

hive建立分区表，以当天日期（“2014-08-15”）作为分区依据，hql如下：CREATE EXTERNAL TABLE IF NOT EXISTS product_sell(category_id BIGINT,province_id BIGINT,product_id BIGINT,price DOUBLE,sell_num BIGINT)PARTITIONED BY ...

抽样查询对于非常大的数据集，用户不需要全部查询的结果，只需要一个代表性的查询结果时，可以通过对表进行分桶抽样。Hive分桶表先介绍一下Hive桶。桶是比表或分区更为细粒度的数据范围划分。针对某一列进行桶的组织，对列值哈希，然后除以桶的个数求余，决定将该条记录存放到哪个桶中。好处：1、获得更高的查询处理效率。2、使抽样更高效。创建带桶的table：create tab...

二级分区表/管理表：create table emp_part1(empno int,empname string,empjob string,mgrno int,birthday string,salary float,bonus float,deptno int)partitioned by (day string,hour string)r...

1.Hive分区。是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。...

Hive是一个数据仓库 ，保存的半结构化数据 文本。Hive不支持：事务，不支持索引（但可以通过分桶实现快速的查询，hash）类似的分布的nosql（Not Only Sql数据库：hbase - Phoinex(凤凰)Hive的功能，就是做mapreduce。分区：就是在可控制的情况下，将数据放到不同的目录下。减小查询的范围。 并不能加快查询的速度。还是要查询所...

Hive分区就是在HDFS上创建独立的文件夹，该文件夹下是该分区的所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择来查询所需要的指定分区，这样的查询效率会提高很多。1、引入分区表最终呈现的效果就是在HDFS上按照分区的目录存储文件：/user/hive/warehose/log/201801/01/dep...

Alter Table 语句Hive修改表名，列名，列注释，表注释，增加列，调整列顺序，属性名等操作它是在Hive中用来修改的表。语法声明接受任意属性，我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ......

判断当日分区是否有数据,如果有执行任务,没有就退出 主要思路是如果分区存在且有数据,hdfs文件系统下的对应表分区下会有part-m-00000这个文件(不一定是这个名字,具体要用hadoop fs -ls /user/hive/warehouse/查看)temp0="part-" # 这里只取了"part-"这个字段 temp1=`hadoop fs -ls /use...

在Linux文件系统中，我们可以使用下面的Shell脚本判断某个文件是否存在： # 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then 　　echo "文件不存在!" fi 但是我们想判断HDFS上某个文件是否存在咋办呢？别急，Hadoop内置提供了判断某个文件是否存在的命令： [iteblog@www...

方法一： 建立shell脚本如下run.sh如下：#!/bin/sh #参数传递 source/etc/profile; source~/.bash_profile; BASEDIR=`dirname$0` cd$BASEDIR #classpath优先当前目录 CLASSPATH=$BASEDIR ...

hive-S-e'uselogdb;showtables;'>table.txtwhilereadtabledoecho$tablehive-S-e"uselogdb;showcreatetable$table"done<table.txt脚本tt.sh的内容如下：#!/bin/bashparams=$1for ...

比如这样的场景：现在有一个文本，里面是这样的内容：NOTICE: 12-14 15:11:13: parser.* 6685 url=[http://club.pchome.net/thread_1_18_7283270___TRUE.html] get_tm=115 PAGE=15471[Z]:59066 css_tm=1043 css_res=0/4[0] CONT=3230[Z]:...

sed替换的基本语法为:sed 's/原字符串/替换字符串/'单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义,但是单引号”‘”是没有办法用反斜线”\”转义的,这时候只要把命令中的单引号改为双引号就行了,例如:sed "s/原字符串包含'/替换字符串包含'/" //要处理的字符包含单引号命令中的三根斜线分隔符可以换成别的符号,这在要替换...

无论什么编程语言都离不开条件判断。SHELL也不例外。大体的格式如下：if list thendo something hereelif list thendo another thing hereelsedo something else herefi一个例子：#!/bin/shSYSTEM=`uname -s` # 获取操作系统类型，我本地是linuxif [ ...

用途： 根据查询到结果数量来判断，是否需要再执行下个脚本。1. 查询语句script.q脚本如下： select count(1) as count from test;2. shell脚本如下：这里注意hive语句需要包裹在``（左上角~按键）里面，然后可以把输出的结果赋值给一个变量。#!/bin/shcount=`beeline --silent=true --o...

#!/bin/bashsource /etc/profile;################################################### Author: ouyangyewei ## ## Content: ...

#!/bin/bash#日志目录#shell判断表hive表是否存在#TABLE=库名.表名TABLE=dal.dal_mdn_communication_behaviorhive -e"desc $TABLE;" 2>&1 | grep 'Table not found'rtstatus=$?echo $rtstatusif [ $rtstatus -...