Impala入门操作

Hue页面：账户密码：admin 访问端口号 8888

impala 登录指令 impala-shell --quiet/ impala-shell -i doitcdh --quiet

impala中建表hive中可以直接看到，hive中建表inpala中见不到，需要刷新元数据

invalidate metadata;  --更新元数据
reflush tb_a1 --更新表数据c'c'c'c'c

impala中插入数据hive中可以直接看到，hive中插入数据直接报错，需要修改以下文件
root用户没有权限，需要开放hdfs去设置权限

vi /etc/passwd

su hdfs 切换hdfs用户

hdfs dfs -chmod 777 /user
exit;

然后还有一个问题需要再yarn页面上分配最小资源

ApplicationMaster 内存
yarn.app.mapreduce.am.resource.mb
Gateway Default Group
吉字节 ApplicationMaster 虚拟 CPU 内核
yarn.app.mapreduce.am.resource.cpu-vcores Gateway Default Group 2
ApplicationMaster Java 最大堆栈 Gateway Default Group 2 吉字节 Map 任务内存
mapreduce.map.memory.mb Gateway Default Group 2 吉字节 Map 任务 CPU
虚拟内核 mapreduce.map.cpu.vcores Gateway Default Group 2 Reduce 任务内存
mapreduce.reduce.memory.mb Gateway Default Group 2 吉字节 Reduce 任务
CPU 虚拟内核 mapreduce.reduce.cpu.vcores Gateway Default Group 2 Map
任务最大堆栈 Gateway Default Group 2 吉字节 Reduce 任务最大堆栈 Gateway Default
Group 2 吉字节 堆与容器大小之比 mapreduce.job.heap.memory-mb.ratio Gateway
Default Group
0.8 客户端 Java 堆大小（字节） Gateway Default Group 825955249 B ≈787.69 兆字节 JobHistory Server 的 Java 堆栈大小（字节） JobHistory Server Default Group
58 兆字节 Cgroup CPU 共享 cpu.shares 编辑单个值 JobHistory Server Default
Group …and 2 others 1024 Cgroup I/O 权重 blkio.weight 编辑单个值
JobHistory Server Default Group …and 2 others 500 Cgroup 内存软限制
memory.soft_limit_in_bytes 编辑单个值 JobHistory Server Default Group
…and 2 others
-1 兆字节 Cgroup 内存硬限制 memory.limit_in_bytes 编辑单个值 JobHistory Server Default Group …and 2 others
-1 兆字节 NodeManager 的 Java 堆栈大小（字节） NodeManager Default Group 58 兆字节 容器内存 yarn.nodemanager.resource.memory-mb NodeManager Default
Group 4 吉字节 Strict CGroup Resource Usage
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage
NodeManager Default Group Containers CPU Limit Percentage
yarn.nodemanager.resource.percentage-physical-cpu-limit NodeManager
Default Group 100

容器虚拟 CPU 内核 yarn.nodemanager.resource.cpu-vcores NodeManager Default
Group 4 ResourceManager 的 Java 堆栈大小（字节） ResourceManager Default
Group 1 吉字节 最小容器内存 yarn.scheduler.minimum-allocation-mb
ResourceManager Default Group 2 吉字节 容器内存增量
yarn.scheduler.increment-allocation-mb ResourceManager Default Group
512 兆字节 最大容器内存 yarn.scheduler.maximum-allocation-mb
ResourceManager Default Group 4 吉字节 最小容器虚拟 CPU 内核数量
yarn.scheduler.minimum-allocation-vcores ResourceManager Default Group
1 容器虚拟 CPU 内核增量 yarn.scheduler.increment-allocation-vcores
ResourceManager Default Group 1 最大容器虚拟 CPU 内核数量
yarn.scheduler.maximum-allocation-vcores ResourceManager Default Group
4 启用 Fair Scheduler 持续调度
yarn.scheduler.fair.continuous-scheduling-enabled ResourceManager
Default Group Fair Scheduler 节点本地性阈值
yarn.scheduler.fair.locality-delay-node-ms ResourceManager Default
Group 2 秒 Fair Scheduler 机架本地性阈值
yarn.scheduler.fair.locality-delay-rack-ms ResourceManager Default
Group 4 秒 Fair Scheduler 节点本地性阈值
yarn.scheduler.fair.locality.threshold.node ResourceManager Default
Group Fair Scheduler 机架本地性阈值
yarn.scheduler.fair.locality.threshold.rack ResourceManager Default
Group

impala中建内部表

create table tb_user(
uid int,
name string,
age int,
gender string
)
row format delimited fields terminated by ',';
load data  inpath '/data/user.txt' into tb_user;  --数据只能来自hdfs不能来自本地
---没有权限去用hdfs用户去改变权限  hdfs dfs -chmod -R 777 /data

impala中建外部表

create external table tb_user2(
uid int,
name string,
age int,
gender string
)
row format delimited fields terminated by ',';
load data  inpath '/data/user.txt' into table tb_user2;
reflush tb_user2;
   --先看表中到底有没有数据