萌兔兔MMQ！！

问题现象访问CloudTable的HBase连接不上，出现如下所示的错误信息：Opening socket connection to server 192.168.0.107/192.168.0.107:2181. Will not attempt to authenticate using SASL (unknown error)原因分析出现该问题的可能原因为：网络访问不通。由于CloudTable的链接地址是内网地址，不是公网地址，不能在公网环境直接连接CloudTable。您可以在客户端主机上

1、说明：在Eclipse启动项目，提示：批处理中出现错误: ORA-01031: 权限不足2、原因：jdbc配置文件设置的访问数据库用户，权限不足3、解决方法，重新给该用户赋予权限：1）打开SQL Plus：开始–>所有程序–>Oracle - OraDb10g_home1–>应用程序开发–>SQL Plus2）用sys或system等管理员账号登陆3）输入代码：grant connect,resource,dba to eismdata; （eismdata为要赋予权限的登录名）4）按回车，

ERROR: TransmitData() to 10.19.231.254:27000 failed: Network error: recv error from 0.0.0.0:0: 传输端点尚未连接 (error 107)同时查的该任务的sql语句和发现占用内存都很大，直接kill掉，后面任务可以执行了

分析函数又称为开窗函数，是一种特殊的内置函数。分析函数不会仅限于对每个group by的分组产生一个结果，它操作的是一个窗口(window),输入的行是排序和分组的，可以通过over()语句使用灵活的条件。impala的分析函数是从impala2.0.0开始添加的。分析函数经常被用于金融和科学领域，用来分析趋势、离群点以及大数据集的分桶分析。1.over从句当调用分析函数时，比如LEAD(),RANK()以及FIRST_VALUE，需要使用OVER从句。当调用聚合函数时使用了OVER从句，比如MAX()

1、尽量少使用 invalidate metadata，尽量用REFRESH TABLE_NAME;2、set APPX_COUNT_DISTINCT=true 与 ndv 函数是一样的，都只是估值Impala SQL 不支持的一个查询中的多个聚合函数使用 DISTINCT如：select count(distinct id),count(distinct uid) from table;执行会报错impala 提供了 ndv 函数 及 set APPX_COUNT_DISTINCT=true 参数

目录:1、描述2、操作3、注意事项1、描述Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。本章我们将介绍如何在FineBI中连接Apache Impala数据库。2、操作2.1 配置信息驱动 URL 支

首先让我们查看一下当前机器的路由表，执行如下命令：route -n当前本机只有一条默认路由，网关是192.168.142.1Linux添加永久静态路由信息然后我们确认一下当前工作的网卡，这里我们使用的是eth0。补充：如果机器中存在多块网卡，我们可以为不同网卡指定不同的静态路由。比如还有eth1，eht2；那么方法是一样的，我们依次为每块网卡创建一个对应的路由配置文件。route-eth0;route-eth1;route-eth2Linux添加永久静态路由信息接下来让我们添加两条静态路由

在这里发现了一些端倪，注意这个total number of sessions:100,这个表示的是连接hive2的总的进程数。100没有再增长，推测可能有相关配置限制这个连接数。查看hive2的配置修改为10000后重启集群恢复

首先得好看有多少损坏的文件，其中需要使用Hadoop的fsck命令：以下是官方解释用法： hadoop fsck //路径以上将会展示该路径下所有受损的文件最后用-delete 可以清除掉所有受损的文件

刚装的CDH6.2.1版本的集群172.30.81.203 manager172.30.81.204 node1172.30.81.205 node2172.30.81.206 node3存在隐患：9 DataNodes are required for the erasure coding policies: RS-6-3-1024k.The number of DataNodes is only 3.9 DataNodes are required for the erasure codin

1、进入impalaimpala-shell;2、显示数据库,数据表show databases;show tables;3、查看表结构定义desc 表名;

Impala SELECT语句用于从数据库中的一个或多个表中提取数据。 此查询以表的形式返回数据。语句以下是Impala select语句的语法。SELECT column1, column2, columnN from table_name;这里，column1，column2 …是您要获取其值的表的字段。 如果要获取字段中的所有可用字段，则可以使用以下语法 -SELECT * FROM table_name;例假设我们在Impala中有一个名为customers的表，其中包含以下数据 -

1>impala-shell 2.[Not connected]> connect hostIP:21000 3.[hostIP:21000]>refresh 4.[hostIP:21000] >show databases hive新增表，impala查不到时，需要刷新元数据： INVALIDATE METADATA；

执行 impala-shell 即能进入界面操作sql。如果在hive更新了数据之后，而在impala中却无法看到更新后的数据的话，意味着impala里元数据信息还没有刷新，此时在impala操作界面里 执行 invalidate metadata; 命令刷新元数据。use rimengshe;CREATE TABLE if NOT EXISTS dw_serv_checi_query_day (user_id string,railway_no string,start_station stri

外部Shell命令帮助所有命令都可以通过help来查找并获知它的用途。[root@cm-master shell]# impala-shell -hOptions:-h, --help show this help message and exit-i IMPALAD, --impalad=IMPALADhost:port of impalad to connect to[default: cm-master:21000]-q QUERY, --query=QUER

一、Impala的外部shell选项描述-h, --help显示帮助信息-v or --version显示版本信息-i hostname, --impalad=hostname指定连接运行 impalad 守护进程的主机。默认端口是 21000。-q query, --query=query从命令行中传递一个shell 命令。执行完这一语句后 shell 会立即退出。-f query_file, --query_file= query_file传递一个文件中的 SQL 查询。文件内容

• 执行计划　　– 查询sql执行之前，先对该sql做一个分析，列出需要完成这一项查询的详细方案　　– 命令：explain sql、profile要点：　　• 1、SQL优化，使用之前调用执行计划　　• 2、选择合适的文件格式进行存储　　• 3、避免产生很多小文件（如果有其他程序产生的小文件，可以使用中间表）　　• 4、使用合适的分区技术，根据分区粒度测算　　• 5、使用compute stats进行表信息搜集　　• 6、网络io的优化：　　　　– a.避免把整个数据发送到客户端　

CM金丝雀Canary报错1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。2 Hive Metastore CanaryHive Metastore canary 创建 hue hdfs 主目录失败。检查：1）hdfs是否处于safemode，正常是offhdfs dfsadmin -safemode getSafe mode is OFF2）hdfs datanode是否健康，磁盘空间是

启动hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。经过查看日志，发现 Name node is in safe mode.解决方法：sudo -uhdfs hdfs dfsadmin -safemode leave

问题一impala-state-store: unrecognized service原因当前节点未成功安装impala-server impala-state-store impala-catalog解决方案yum install -y impala impala-server impala-state-store impala-catalog impala-shell问题二[root@node03 ~]# impala-shell -i node01[Not connected]

1、安装环境准备需要提前安装好hadoop，hive，hive需要在所有的impala安装的节点上面都要有，因为impala需要引用hive的依赖包，hadoop的框架需要支持C程序访问接口。2、下载impala的所有依赖包安装impala的时候，需要使用rpm包来进行安装，rpm包只有cloudera公司提供了，所以我们去cloudera公司网站进行下载rpm包即可。但是另外一个问题，impala的rpm包依赖非常多的其他的rpm包，可以一个个的将依赖找出来，也可以将所有的rpm包下载下来，制作成

1.文档编写目的默认情况下，CDH集群中的Impala Daemon又可以充当查询的coordinator，也可以作为executor来执行查询本身，coordinator类似一个查询作业的管理角色一样负责协调各个Impala Daemon上的executor。在大规模集群中，Impala作业比较多的情况下，一个Impala Daemon既作为coordinator又作为executor是比较常见的，这就不可避免的会带来一些问题：1.coordinator与executor会互相干扰带来性能问题。对于较

　　　　其实，跟hive差不多，大家可以去参考我写的hive学习概念系列。　　　　Impala SQL VS HiveQL下面是Impala对基础数据类型和扩展数据类型的支持　　此外，Impala不支持HiveQL以下特性：– 可扩展机制，例如：TRANSFORM、自定义文件格式、自定义SerDes– XML、JSON函数– 某些聚合函数：• covar_pop, covar_samp, corr, percentile, percentile_approx,histogram_nu...

问题一impala-state-store: unrecognized service原因当前节点未成功安装impala-server impala-state-store impala-catalog解决方案yum install -y impala impala-server impala-state-store impala-catalog impala-shell问题二[root@node03 ~]# impala-shell -i node01[Not connected] &

想要使用plsql连接oracle一样，使用类似工具连接impala的方法：ClouderaImpalaODBC32.msi下载地址：http://www.cloudera.com/downloads/connectors/impala/odbc/2-5-36.html–注意：不能使用64位的，否则后面使用SqlDbx.exe连接odbs时候会报错!（未验证）1、Win7双击安装：ClouderaImpalaODBC32.msi2 、开始—>所有程序—>Cloudera ODBC Dr

出现以上报错，集群会进行间断的自我补救处理，重点还是要检查服务器防火墙原因，检查策略是否进行了阻止操作。

Impala 三大组件：Impala Daemon:功能：​ 负责读写数据文件，接受来自 Impala-shell, ODBC,Hue 和 JDBC 的查询请求，然后与集群中的其他节点分布式并行工作，将本节点的查询结果返回给中心协调者节点。查询流程：我们向一个 Impalad 发送一个 SQL，这个Impalad 就要负责解析sql， 生成查询计划树，将执行计划分发给本节点的 协调者 Coordinator， 协调者执行计划再分发给其他节点的 执行器 Executor，各个 节点的Execu