es导hive以及hive一些基本操作

hive基本操作

hive;
show databases;
use xesoa;
show tables;
show create table api_relation_student_live;
 desc api_relation_student_live;
drop table if exists api_relation_student_live;
yarn logs -applicationId application_1524544136087_10502 -appOwner hadoopuser

进入hive client前设置队列权限
hive --hiveconf mapreduce.job.queuename=root.jiaoguan.xesoa
进入hive_client后设置队列权限
set mapreduce.job.queuename=root.budata.ads;

自己最近用到的命令记一下：

完整复制表结构和数据。
CREATE TABLE student_bak AS SELECT * FROM student;
仅复制表结构。
CREATE TABLE student2 LIKE student;
查找一定pattern的表结构
show tables like "*finish_plan*";
查看hdfs文件的前几行
hadoop dfs -cat hdfs://sjhlproduction/apps/hive/warehouse/dm_dp.db/dm_teach_live_stu_libarts_stat/dt=2019-05-19/fk_year=18/000444_0 |head -n 10
列出directory下的文件及文件夹
hadoop dfs -ls hdfs://sjhlproduction/apps/hive/warehouse/dm_dp.db/dm_teach_live_stu_libarts_stat/dt=2019-05-19

yarn操作
pyspark --queue budata.hadoop

yarn logs -applicationId application_1575257398773_69682 >1.log
yarn application -kill application_1575257398773_110887
yarn application help查看执行指令，比如
yarn application -list  |grep

dimdb,dm_bi,dm_dp,dm_mob,dwddb,dwsdb,ods,odsdb,