(1) Hive ----- 使用记录(一)

最新推荐文章于 2023-08-28 18:00:00 发布
最新推荐文章于 2023-08-28 18:00:00 发布
阅读量782 收藏
点赞数
分类专栏： Apache Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pandajava/article/details/43154407
版权

------------------------------------------------------------------------------------------------------

1、建表语句

#init类型建表语句
USE vdnaccesslog;CREATE EXTERNAL TABLE IF NOT EXISTS srcInit(
remoteIp string,
countryCode string,
provinceCode string,
cityCode string,
ispCode string, 
accessY string,
accessYM string,
accessYMD string,
accessYMDH string,
accessYMDHM string,
accessYMDHMS string,
cookie string,
os string,
browserType string,
browserVersion string,
isHaveAD string,
pid string,
tai string,
t string,
isp2p string,
pf string,
referrer string
) 
PARTITIONED BY(date string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LOCATION '/data/flume/init/';

#ld类型建表语句
USE vdnaccesslog;CREATE EXTERNAL TABLE IF NOT EXISTS srcLd(
remoteIp string,
countryCode string,
provinceCode string,
cityCode string,
ispCode string, 
accessY string,
accessYM string,
accessYMD string,
accessYMDH string,
accessYMDHM string,
accessYMDHMS string,
cookie string,
os string,
browserType string,
browserVersion string,
v int,
te string,
dynamic string,
isHaveAD string,
adLen string,
referrer string,
pid string,
file string,
tai string,
fpv string,
guid string,
isp2p string,
pf string,
abroad string
) 
PARTITIONED BY(date string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LOCATION '/data/flume/ld/';

#other 类型建表语句other
USE vdnaccesslog;CREATE EXTERNAL TABLE IF NOT EXISTS srcOther(
remoteIp string,
countryCode string,
provinceCode string,
cityCode string,
ispCode string, 
accessY string,
accessYM string,
accessYMD string,
accessYMDH string,
accessYMDHM string,
accessYMDHMS string,
cookie string,
os string,
browserType string,
browserVersion string,
args string
) 
PARTITIONED BY(date string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LOCATION '/data/flume/other/';

#src
USE vdnaccesslog;CREATE EXTERNAL TABLE IF NOT EXISTS src(
remoteIp string,
countryCode string,
provinceCode string,
cityCode string,
ispCode string, 
accessY string,
accessYM string,
accessYMD string,
accessYMDH string,
accessYMDHM string,
accessYMDHMS string,
cookie string,
os string,
browserType string,
browserVersion string
) 
PARTITIONED BY(t string,date string) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LOCATION '/data/flume/';

ALTER TABLE src ADD PARTITION (t='bc', date='20150119') LOCATION 'bc/20150119';
ALTER TABLE src ADD PARTITION (t='bf', date='20150119') LOCATION 'bf/20150119';
ALTER TABLE src ADD PARTITION (t='bt', date='20150119') LOCATION 'bt/20150119';
ALTER TABLE src ADD PARTITION (t='bw0004', date='20150119') LOCATION '_bw0004/20150119';
ALTER TABLE src ADD PARTITION (t='fs', date='20150119') LOCATION 'fs/20150119';
ALTER TABLE src ADD PARTITION (t='init', date='20150119') LOCATION 'init/20150119';
ALTER TABLE src ADD PARTITION (t='ld', date='20150119') LOCATION 'ld/20150119';
ALTER TABLE src ADD PARTITION (t='lv', date='20150119') LOCATION 'lv/20150119';
ALTER TABLE src ADD PARTITION (t='mem', date='20150119') LOCATION 'mem/20150119';
ALTER TABLE src ADD PARTITION (t='other', date='20150119') LOCATION 'other/20150119';
ALTER TABLE src ADD PARTITION (t='pt', date='20150119') LOCATION 'pt/20150119';
ALTER TABLE src ADD PARTITION (t='sk', date='20150119') LOCATION 'sk/20150119';

------------------------------------------------------------------------------------------------------

2、 Flume每天生成一个文件夹传递至HDFS，每天都增加新的内容，需要将新生成的数据添加进hive对应的表中

addPartitionEveryDay.sh  (执行时机 1 0 * * * sh /usr/local/hive-0.12.0/bash/addPartitionEveryDay.sh  )

#!/bin/bash
#Execute the script every day 0 point.create the next PARTITION for every table in db

cd /usr/local/hive-0.12.0

export HADOOP_HOME=/usr/local/hadoop-2.3.0-cdh5.1.0
export HIVE_HOME=/usr/local/hive-0.12.0

yest=`date -d yesterday +%Y%m%d`

###############################################
hql1="USE vdnaccesslog;ALTER TABLE srcinit ADD PARTITION (date='${yest}') LOCATION '${yest}';"
hql2="USE vdnaccesslog;ALTER TABLE srcld ADD PARTITION (date='${yest}') LOCATION '${yest}';"
hqlother="USE vdnaccesslog;ALTER TABLE srcother ADD PARTITION (date='${yest}') LOCATION '${yest}';"

hqlsrc1="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='bc', date='${yest}') LOCATION 'bc/${yest}';"
hqlsrc2="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='bf', date='${yest}') LOCATION 'bf/${yest}';"
hqlsrc3="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='bt', date='${yest}') LOCATION 'bt/${yest}';"
hqlsrc4="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='bw0004', date='${yest}') LOCATION '_bw0004/${yest}';"
hqlsrc5="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='fs', date='${yest}') LOCATION 'fs/${yest}';"
hqlsrc6="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='init', date='${yest}') LOCATION 'init/${yest}';"
hqlsrc7="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='ld', date='${yest}') LOCATION 'ld/${yest}';"
hqlsrc8="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='lv', date='${yest}') LOCATION 'lv/${yest}';"
hqlsrc9="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='mem', date='${yest}') LOCATION 'mem/${yest}';"
hqlsrc10="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='other', date='${yest}') LOCATION 'other/${yest}';"
hqlsrc11="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='pt', date='${yest}') LOCATION 'pt/${yest}';"
hqlsrc12="USE vdnaccesslog;ALTER TABLE src ADD PARTITION (t='sk', date='${yest}') LOCATION 'sk/${yest}';"


##############################################
$HIVE_HOME/bin/hive -e "${hql1}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hql2}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlother}">>/usr/local/hive-0.12.0/bash/a.log

$HIVE_HOME/bin/hive -e "${hqlsrc1}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc2}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc3}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc4}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc5}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc6}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc7}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc8}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc9}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc10}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc11}">>/usr/local/hive-0.12.0/bash/a.log
$HIVE_HOME/bin/hive -e "${hqlsrc12}">>/usr/local/hive-0.12.0/bash/a.log

------------------------------------------------------------------------------------------------------

3、查询

测试语句1   （date指的是分区信息  PARTITION）

#query bt
/usr/local/hive-0.12.0/bin/hive -e "select accessY,accessYM,accessYMD, accessYMDH,accessYMDHM,sum(v) from vdnaccesslog.srcbt where date = '${dateYmd}' and v is not null and accessY is not null and accessYM is not null and  accessYMD is not null and accessYMDH is not null and accessYMDHM is not null  group by accessY,accessYM,accessYMD,accessYMDH,accessYMDHM;" > /mnt/resource/dist/bt/data_bt_${dateYmd}.txt 

#query pt
/usr/local/hive-0.12.0/bin/hive -e "select accessY,accessYM,accessYMD, accessYMDH,accessYMDHM,sum(v) from vdnaccesslog.srcpt where date = '${dateYmd}' and v is not null and accessY is not null and accessYM is not null and  accessYMD is not null and accessYMDH is not null and accessYMDHM is not null  group by accessY,accessYM,accessYMD,accessYMDH,accessYMDHM;" > /mnt/resource/dist/pt/data_pt_${dateYmd}.txt

#query uv
/usr/local/hive-0.12.0/bin/hive -e "select  '${dateYmd}', count(distinct remoteip) from vdnaccesslog.src where date = '${dateYmd}';" > /mnt/resource/dist/uv/data_uv_${dateYmd}.txt

远端mysql的建表语句3

建表bt
create table kdl_total_bt(
	id int not null auto_increment primary key,
	accessy  varchar(4),
	accessym varchar(7),
	accessymd varchar(10),
	accessymdh varchar(13),
	accessymdhm varchar(16),
	accessymdhms varchar(19),
	totalbt int
)engine=innodb default charset=utf8;

建表pt
create table kdl_total_pt(
	id int not null auto_increment primary key,
	accessy  varchar(4),
	accessym varchar(7),
	accessymd varchar(10),
	accessymdh varchar(13),
	accessymdhm varchar(16),
	accessymdhms varchar(19),
	totalpt int
)engine=innodb default charset=utf8;


建表pt
create table uv_info(
	id int not null auto_increment primary key,
	accessymd varchar(10),
	totaluv int
)engine=innodb default charset=utf8;


脚本 4。（脚本：先执行查询操作 ，将结果保存到本地文件中。将本地的文件导入到mysql对应的数据库中。）

（执行时机   0 1 * * * /usr/local/scripts/hiveQueryAndStorageMysql.sh   ） 

#! /bin/bash
##  bt pt  uv
#yyyymmdd for yesterday
dateYmd=`date -d yesterday +%Y%m%d`
dateRm=`date -d '-7 days' +%Y%m%d`
/usr/local/hadoop-2.3.0-cdh5.1.0/bin/hadoop fs -rm -f /data/flume/*/${dateRm}/*
###########################################
datebt1=`date '+%Y-%m-%d %H:%M:%S'`
#query bt
/usr/local/hive-0.12.0/bin/hive -e "select accessY,accessYM,accessYMD, accessYMDH,accessYMDHM,sum(v) from vdnaccesslog.srcbt where date = '${dateYmd}' and v is not null and accessY is not null and accessYM is not null and  accessYMD is not null and accessYMDH is not null and accessYMDHM is not null  group by accessY,accessYM,accessYMD,accessYMDH,accessYMDHM;" > /mnt/resource/dist/bt/data_bt_${dateYmd}.txt 
#bt to mysql 
/usr/local/mysql/bin/mysql -h101.240.8.201 -uhive -p123456 -e "load data local infile '/mnt/resource/dist/bt/data_bt_${dateYmd}.txt' into table vdnaccesslog.kdl_total_bt character set utf8 (accessy,accessym,accessymd,accessymdh,accessymdhm,totalbt);"
datebt2=`date '+%Y-%m-%d %H:%M:%S'`
echo ${datebt1}--${datebt2} bt query and storage >> /mnt/resource/dist/hiveQandSrunInfo.log
##########################################
datept1=`date '+%Y-%m-%d %H:%M:%S'`
#query pt
/usr/local/hive-0.12.0/bin/hive -e "select accessY,accessYM,accessYMD, accessYMDH,accessYMDHM,sum(v) from vdnaccesslog.srcpt where date = '${dateYmd}' and v is not null and accessY is not null and accessYM is not null and  accessYMD is not null and accessYMDH is not null and accessYMDHM is not null  group by accessY,accessYM,accessYMD,accessYMDH,accessYMDHM;" > /mnt/resource/dist/pt/data_pt_${dateYmd}.txt
#pt to mysql 
/usr/local/mysql/bin/mysql -h101.240.8.201 -uhive -p123456 -e "load data local infile '/mnt/resource/dist/pt/data_pt_${dateYmd}.txt' into table vdnaccesslog.kdl_total_pt character set utf8 (accessy,accessym,accessymd,accessymdh,accessymdhm,totalpt);"
datept2=`date '+%Y-%m-%d %H:%M:%S'`
echo ${datept1}--${datept2} pt query and storage >> /mnt/resource/dist/hiveQandSrunInfo.log
#####################################
dateuv1=`date '+%Y-%m-%d %H:%M:%S'`
#query uv
/usr/local/hive-0.12.0/bin/hive -e "select  '${dateYmd}', count(distinct remoteip) from vdnaccesslog.src where date = '${dateYmd}';" > /mnt/resource/dist/uv/data_uv_${dateYmd}.txt
#uv to mysql 
/usr/local/mysql/bin/mysql -h101.240.8.201 -uhive -p123456 -e "load data local infile '/mnt/resource/dist/uv/data_uv_${dateYmd}.txt' into table vdnaccesslog.uv_info character set utf8 (accessymd,totaluv);"
dateuv2=`date '+%Y-%m-%d %H:%M:%S'`
echo ${dateuv1}--${dateuv2} uv query and storage >> /mnt/resource/dist/hiveQandSrunInfo.log
####################################
dateuvv1=`date '+%Y-%m-%d %H:%M:%S'`
#vv
/usr/local/hive-0.12.0/bin/hive -e "select  '${dateYmd}', count(*) from vdnaccesslog.src where date = '${dateYmd}';" > /mnt/resource/dist/vv/data_vv_${dateYmd}.txt
#vv
/usr/local/mysql/bin/mysql -h101.240.8.201 -uhive -p123456 -e "load data local infile '/mnt/resource/dist/vv/data_vv_${dateYmd}.txt' into table vdnaccesslog.vv_info character set utf8 (accessymd,totalvv);" 
datevv2=`date '+%Y-%m-%d %H:%M:%S'`
echo ${datevv1}--${datevv2} vv query and storage >> /mnt/resource/dist/hiveQandSrunInfo.log
echo "===================================================" >> /mnt/resource/dist/hiveQandSrunInfo.log

 

------------------------------------------------------------------------------------------------------


------------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------------

%%%发现问题%%%

1  deprecated

09:3执行

/usr/local/hive-0.12.0/bin/hive -e "select  '20150127', count(distinct remoteip) from vdnaccesslog.src where date = '20150127';" > /home/hadoop2/pjmTest/data_uv_panjm0127.txt

截止11:00处理完毕 。执行了一个半小时 我ca！

执行时间过长。 一个脚本写三个执行过程。凌晨1点执行，上午十点还未执行完第二个查询结果。
解决： 一个脚本拆分成3个脚本。三个查询 个字独立进行。而不是一个脚本队列中执行。


2 deprecated

pt，bt 的 Sql语句中的sum(1)--->> count(*)  （参考http://blog.csdn.net/kelly1984/article/details/8770106）


在排序统计的时候
sum的算法为1+1+1+1+1+1=6，sum是未知的，需要额外的CPU每一步都需要计算
count是1+2+3=6，就是说count的计算公式是定的，发现一行，加1，那么就是1，下一次是从2开始加
显然sum的效率不如count。
所以开发童鞋们。在遇到类似的时候尽量使用count，而不用sum。


3 deprecated

执行 bt pt查询的 语句  

1 精确到分钟  2 group by 字段的顺序  年月日....或许能提高效率。

进行修改。 （修改sql 语句的时候  要修改多处   只修改一处问题还是会出。一定心细。）

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


(1) 执行脚本的过程中  卡在kill command 那一步 程序假死且 hive查询命令阻塞

原因 ：Hadoop 占用的磁盘空间 快满了，需要清理磁盘空间。解决方案脚本执行(2)中的命令。 其他或者重启hadoop服务再试试。


(2) hadoop fs删除文件 （/usr/local/hadoop-2.3.0-cdh5.1.0/bin）

  949  hadoop fs -rm -f /data/flume/*/20150119/*
  950  hadoop fs -rm -f /data/flume/*/20150120/*
  951  hadoop fs -rm -f /data/flume/*/20150121/*
  952  hadoop fs -rm -f /data/flume/*/20150122/*
  953  hadoop fs -rm -f /data/flume/*/20150123/*
  954  hadoop fs -rm -f /data/flume/*/20150124/*
  955  hadoop fs -rm -f /data/flume/*/20150126/*

(3) （/usr/local/hadoop-2.3.0-cdh5.1.0/bin）

hadoop fs -du -s -h /data/flume/bt/*  查看文件系统的大小


（4） namenode节点的时间原来是UCT ，后来改为CTS。但是发现crontab中配置的  0 1 * * * /usr/local/scripts/hiveQueryAndStorageMysql.sh   脚本

  对应的执行时间仍然为UTC时间，即每天的CTS时间9点执行脚本。 看来crontab自己也会有一个 时间时区的概念。

   解决方案： 应该是时区时间更改之后没有 重启 crond 服务。

  当前用户hadoop    sudo至 root权限，service crond restart 执行这个命令。








pandajava
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive记录
Lynnand的博客
01-10 734
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能 Hive 本质：将 HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运行在 Yarn 上 ...
hive的基本使用1
qq_30122883的博客
03-11 286
DDL数据定义 1、创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; 解释说明： 创建一个数据库，数据库在HDFS上的默...
Hive 的 数据类型 解读及应用
weixin_48067943的博客
07-31 338
文章目录三、Hive 数据类型1、基本数据类型2、集合数据类型2.1 案例练习3 、类型转化 三、Hive 数据类型 1、基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT short 2byte有符号整数 20 INT INT int 4byte有符号整数 20 BIGINT BIGINT long 8byte有符号整数 20 BOOLEAN 无 boolean 布尔类
HIVE基础详解
zhm的博客
08-15 922
HIVE基础详解 1.修改配置的三种方法 修改${HIVE_HOME}/conf/hive-site.xml配置文件 在Hive中，所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xml文件,所有的配置都是放在标签之间，一个configuration标签里面可以存在多个标签。标签...
大数据之Hive:正则表达式
weixin_43597208的博客
08-22 2836
目录背景正则的通配符简介1、正则表达式的符号及意义2、字符簇：3、各种操作符的运算优先级：regexp函数regexp_extract函数regexp_replace函数 背景 最近在工作中，遇到一些匹配，需要使用正则表达式，发现自己在这一块知识有所欠缺，故总结一下； 正则的通配符简介 1、正则表达式的符号及意义 符号 含义 实列 / 做为转意，即通常在"/"后面的字符不按原来意义解释 如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了”/"后，/a/* /将只匹配
hive 命令
mthinking
03-28 165
//创建分区表，设置 ， 为字段分隔符 CREATE TABLE IF NOT EXISTS tablename( id int COMMENT '主键', name string COMMENT '名称', age int COMMENT '年龄') COMMENT '表名' PARTITIONED BY (Year INT COMMENT '年分区', Month INT COMMENT...
大数据学习：Hive常用函数
liufang_imei的博客
08-28 421
开发hql脚本，并使用hiveconf和hivevar进行参数传入node03执行以下命令定义hql脚本use myhive;Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）根据用户自定义函数类别分为以下三种：UDF（User-Defined-Function） 一进一出。
hive-jdbc-uber-3.1.2+yanagishima-18.0
06-26
这里我们关注的是"Hive-jdbc-uber-3.1.2"，这是一个包含所有依赖的Uber jar包，旨在简化部署和使用流程。 Hive JDBC Uber 3.1.2是Hive的Java数据库连接器的一个优化版本，它通过将所有必需的依赖项打包到一个单一的...
Hive-jdbc-3.1.1.zip
11-20
1. **Hive JDBC接口**：Hive JDBC提供了一个标准的Java API，使得开发者能够在任何支持JDBC的应用程序中与Hive进行交互。这包括Java应用程序、Web应用、BI工具等。通过这个接口，你可以执行SQL查询，管理表，加载...
standalone-hive-metastore
04-01
独立的Hive Metastore 该项目可在本地运行Hive Metastore，或将其嵌入到容器中。 尽管是公开的，但该项目目前尚未记录，并且可能仍承载某些基础结构特定配置。 该项目的灵感来自和多亏了他
hive-jdbc-2.3.7-standalone.jar
11-23
hive-jdbc-2.3.7-standalone,可用dbeaver连接hive数据库，在工具中进行数据库记录的新增改查
apache-atlas-2.2.0-hive-hook.tar.gz
08-09
1. **元数据管理**：Atlas 提供了一个中央元数据中心，用于存储和管理各种数据源的元数据。这包括表、列、分区等信息，以及它们的属性如数据类型、描述、创建时间等。 2. **数据血缘追踪**：通过集成 Hive Hook，当...
hive(2)
无境
12-11 314
hive 参数 hive 参数， 变量 hive当中的参数，变量，都是以命名空间开头的 通过 ${}方式进行引用，其中system,env 下的变量必须以前缀开头 hive参数 hive 参数设置方式 1 修改配置文件 ${HIVE_HOME}/conf/hive-site.xml 2 启动 hive cli 时，通过 --hiveconf key=vlaue的方式进行设置 例如：hiv...
Hive----基本概念
杯酒故人
09-19 317
一、 Hive 基本概念 Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 1） Hive 处理的数据存储在 HDFS 2） Hive 分析数据底层的实现是 MapReduce 3） 执行程序运...
hive静态分区和动态分区
数据挖掘+大数据研发+算法学习
09-15 4882
真正理解动态分区的实践
HIVE-如何查看执行日志
weixin_33795743的博客
11-08 7836
HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程 HIVE自身翻译成为MR之前的解析错误 Hadoop文件系统的错误 YARN调度过程中的错误 2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一...
原创二胡音色源文件，可以让热爱电子乐喜欢做MIDI音乐的朋友，做参考音源
最新发布
08-14
原创二胡音色源文件，可以让热爱电子乐喜欢做MIDI音乐的朋友，做参考音源。这里开源给大家，希望能帮助到您
Hive基础操作与-e参数使用详解
1. Hive的-e选项：`-e` 是Hive命令行接口的一个选项，用于执行一个简单的HQL命令，然后不进入交互式模式。例如，`./bin/hive -S -e "select * from stu;"` 将直接执行查询所有stu表中的记录的命令，而不会启动Hive的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值