1.hive问题总结:
1.1 使用HA集群
- 集群一定要正常启动 zk start-dfs.sh start-yarn.sh
- 内存问题:
修改yarn调度器的配置capacity-scheduler.xml:
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1</value>
</property>
修改虚拟内存限制 yarn-site.xml:
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
1.2 Hive连接mysql的配置用户名和密码
在hive-site.xml中指定正确的mysql的用户名和密码
1.3 Mysql中user表root用户host的设置
mysql> update user set host ='%' where user='root' ;
mysql> flush privileges ;
1.4 配置文件错误
1.5 beeline 拒绝连接
- 正常情况的拒绝连接,稍等片刻即可.
- 非正常情况的拒绝连接: nameNode的状态.
1.6 hive跑任务卡住
- 大部分情况还是因为内存问题.
- 数据库的DDL
2.1 建库语句
CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];
2.2 查看数据库详情
desc database 库名
desc database extended 库名
2.3 切换数据库
use 库名
2.4 显示数据库
show databases;
show databases like '*xxx*';
2.5 修改数据库
只能改数据库的dbproperties
alter database xxx set dbproperties('k1'='v1','k2'='v2'...)
2.6 删除数据库
删除空库: drop database if exists 库名
删除非空库: drop database if exists 库名 cascade ;
3. 表的DDL
3.1 建表语句:
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name -- 指定表名 [EXTERNAL 外部表]
[(col_name data_type [COMMENT col_comment], ...)] -- [指定列名 列类型 [列描述信息]]
[