sunqingok的博客

Tez计算框架采用DAG，最大的改进在于避免中间数据集从内存写入磁盘的操作，同时减少了中间作业集，增加了硬件资源利用率。

hive中删除外部分区表后，又在另一个库中创建相同的外部分区表，都是从hdfs上的相同目录上读取数据，结果报错org.apache.hadoop.hive.ql.exec.DDLTask返回代码1解决方法：set hive.msck.path.validation=ignore;MSCK REPAIR TABLE table_name;其中的原理：待续...

1、 collect_set、collect_list将分组中的某一列转为一个数组，collect_set去重，collect_list不去重Select uname,collect_set(bookname) as books from student group by uname访问：books[0],books[1],books[2]…………2、lateral view 、explodelateral view 与explode连用，用于把数组拆分为多行如：uid

1、 增加hdfs的配置，在core-site.xml文件中添加如下配置<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value></property><property> <name>hadoop.pro...

Please refer below table to convert any date format into fixed format i.e yyyy-MM-dd .Input column name: dt (String).Replace dt with your column name.Input Format Code Output FormatddMMyyyy to_date...

1、准备数据表userodscreate table userods(u_name string,u_pwd string,u_register date,u_des string) row format delimited fields terminated by '\t';2、准备增量表user_inccreate table user_inc(u_name string,u_pwd ...

hive修改字段类型语句：alter table 表名 change column 原字段名 新字段名 字段类型;alter table user_chain change column u_register u_registe date;（u_register原类型为string类型）这样修改会报一个错误：FAILED: Execution Error, return code 1 fro...

报错如下：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient网上找了一圈...

hive启动时报错如下：Exception in thread “main” java.lang.IllegalArgumentException: java.net.UnknownHostException: clusterat org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:377)a...

1、创建内部表及外部表加与不加location的区别加location时，在hdfs的目录/user/hive/warehouse下没有以该表名命名的目录；不加location时则存在以该表名命名的目录。加location时，加载数据时会在location后面所在的目录下创建分区目录或者数据目录。2、无论内部表外部表，load数据是hdfs上的数据时，load完会删除hdfs上的数据。如果是l...

一、mysql安装1、在线安装mysql使用yum在线安装mysql：yum install mysql-server2、启动mysql服务使用service mysqld start命令启动mysql服务3、设置mysql root用户密码Mysql刚刚安装完成，默认root用户是没有密码的，登录mysql设置root用户密码。Enter password: 默认没有密码，回车...

（一）表操作Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行深入讲解。(1)先来创建一个表名为student1的内部表hive> CREATE TABLE IF NOT EXISTS student1> (sno INT,sname STRING,age INT,sex STRING)>...

1、hive --help启动hive：hive --service cli.hiverc文件：启动hive前执行，文件在/hive/bin目录下，没有自己创建。Set hive.cli.print.current.db=true;Set hive.cli.print.header=true;2、set 作用：显示属性值，设置属性值查看系统属性值使用命令set; env是sh...