weixin_43548518的博客

hive创建表或者数据库的时候 出现异常0: jdbc:hive2://hadoop-03:10000> create database if not exists db_o1;Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception:

异常: java.net.NoRouteToHostException: 没有到主机的路由错误详情如下:java.net.NoRouteToHostException: No Route to Host from node-01/192.168.23.188 to node-02:8032 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由; For more details see: http:

视图的创建视图只能按照这种方式创建create psn_view asselect id , name from psn;视图和table 的创建从上述创建可以看出，视图是从一个或几个基本表导出的表。把复杂结果/重复接过保存下来；视图本身不存在独立存储在数据库中，是一个虚表。即数据库中只存放视图的定义而不存放视图对应的数据，这些数据仍然存放在导出视图的基本表中。当然hdfs中没有表目录这里看视图和表在数据库里的存储视图保存的是sql语句，类型显示为virtual_view视图查询视

在hive shell 中执行任务出错，显示如下：0: jdbc:hive2://hadoop-101:10000> select count(*) from test4log;INFO : Number of reduce tasks determined at compile time: 1INFO : In order to change the average load f...

hive的基本架构包括元数据metastore 、client 、driver 、hadoop(hdfs+mr)其中driver包括四部分：解析器 、编译器 、优化器、 执行器如下图hive中注意事项hive 中对大小写不敏感Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的，要修改也是直接覆盖h...

说明：hive版本为1.2.1hive中reducer数量可以通过以下去设置1．调整reduce个数方法一（1）每个Reduce处理的数据量默认是256MBhive.exec.reducers.bytes.per.reducer=256000000（2）每个任务最大的reduce数，默认为1009hive.exec.reducers.max=1009（3）计算reducer数的公...

前提：这里不详细讲解hive 指讲最容易忽略的一些细节hive中表默认分隔符hive建立的表默认分隔符为‘001’如果想指定其他分隔符使用row format delimited fields terminated by ‘\t’hive中的数据类型hive hql 语句和mysql 类似，但是数据类型不太一样Hive数据类型TINYINTSMALINTINTBIGINTB...

hive 默认的字段分隔符为ascii码的控制符\001,就是建表的时候用fields terminated by ‘\001’如果要测试的话,造数据在vi 打开文件里面,用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序,\002的输入方式为ctrl+v,ctrl+b…”另外mysql 表的字段分隔符为\t...

窗口分析函数 sum() over() :可以实现在窗口中进行逐行累加测试数据:这个是网上比较经典的案例了2: jdbc:hive2://hadoop-03:10000> select * from t_access_amount;+----------------------+------------------------+-------------------------+-...

1.需求：需要对json数据表中的json数据写一个自定义函数，用于传入一个json，返回一个数据值的数组json原始数据表：需要做ETL操作，将json数据变成普通表数据，插入另一个表中：2.实现步骤：2.1 开发JAVA的UDF类public class ParseJson extends UDF{ // 重载 ：返回值类型 和参数类型及个数，完全由用户自己决定 // ...

hive 的开窗函数

介绍生产中经常使用的函数NVL 函数: 给值为NULL的数据赋值格式: NVL( value，default_value)功能: 如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个 参数都为NULL ，则返回NULL。案例:hive (default)> select comm from emp;NULL 300....

1.使用 order by 子句做全局排序,Hive分析数据底层的实现是MapReduce,order by做全局排序,是通过只有一个reducer做到的hive (default)> select * from emp order by sal desc;2.sort by为每个reducer产生一个排序文件。每个Reducer内部进行排序，对全局结果集来说不是排序sort By：...

问题: 启动hive 出现Caused by: java.net.ConnectException: Call From hadoop-03/192.168.23.203 to hadoop-01:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://w...

hive 是什么?HIVE是一个可以将sql翻译为MR程序的工具HIVE支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析HIVE将用户定义的库、表结构等信息存储hive的元数据库（可以是本地derby，也可以是远程mysql）中HIVE的用途？解放大数据分析程序员，不用自己写大量的mr程序来分析数据，只需要写sql脚本即可...