- 博客(4)
- 收藏
- 关注
原创 hive 外部表和内部表 区别
未被external修饰的是内部表(managed table),被external修饰的为外部表(external table);区别:内部表数据由Hive自身管理,外部表数据由HDFS管理;内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),外部表数据的存储位置由自己制定;删除内部表会直接删除元数据(meta...
2019-05-07 16:36:53
233
原创 hadoop集群format后,hadoop fs -ls /结果为空的分析过程
首先集群已经是使用过hive一段时间,然后手欠给format了,集群启动后执行hadoop fs -ls /发现结果为空,但是在hive中又能查到库的信息,如图:可以看到hive中的配置信息中并没有指定warehouse的路径,所以为默认,如图:此时再hive中随便创建名为的aaa的数据库然后尝试删除之前的test库时报错:结合上述截图,说明hive中显示的只是之前的元数据信息,本...
2019-05-07 16:17:30
2160
原创 关于hive数据导入的小实验
首先在自己本地路径编写2个数据文件:pv.txt:1,1112,1111,222user.txt:111,25111,18222,32然后hive中直接创建对应的2个表pv和users:create table pv(pageid string,userid string)row format delimited fields terminated by ‘,’;cre...
2019-05-07 15:49:52
215
原创 format Hadoop集群后slave的DataNode无法启动的问题
因为是头一次编写,尝试一下。首先我们要做的是环境介绍。3个虚拟机:1个master,2个slave。主要操作在master上。首先root 111111进入master。启动Hadoop:/usr/local/src/hadoop-2.6.1/bin/hadoop namenode -format然后启动集群:/usr/local/src/hadoop-2.6.1/sbin/...
2019-05-07 13:22:18
3061
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人