大数据
分享大数据相关开发技术
阿杰技术
分享、记录有技术领域知识
展开
-
Hive使用集合
导入txt文件,以\t分割字段,不需要标题。#导入dfs里面的文件。#创建taxdw数据库。原创 2023-04-15 09:02:01 · 44 阅读 · 0 评论 -
Hive创建索引
hive也是支持索引的使用,但是如果表中已经有数据的情况下,创建索引的过程不是特别快。备注:当表中已经拥有数据的情况下,必须执行该语句,否则索引没有起到效果。备注:需要注意这里边创建索引实际上是插入了特定的数据到一个表。原创 2023-04-19 01:00:00 · 433 阅读 · 0 评论 -
Hive表操作
hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。insert的时候,from子句即可以放在select 子句后面,也可以放在 insert子句前面。产生的文件会覆盖指定目录中的其他文件,即将目录中已经存在的文件进行删除。2.通过查询将数据保存到filesystem。插入数据sql、导出数据sql。原创 2023-04-16 00:30:00 · 465 阅读 · 0 评论 -
HDFS文件空间检查、清空回收站和操作命令
如何检查HDFS文件空间,清空回收站,以及文件和Job操作的命令。此外,还提供了统计文件和目录个数的命令。原创 2023-04-18 00:15:00 · 1328 阅读 · 0 评论 -
Hive自定义udf函数
5.创建函数create temporary function get_pro as 'jd.Get_Property'//jd.jd.Get_Property为类路径;4.hive中执行命令add jar /home/jrjt/dwetl/PUB/UDF/udf/GetProperty.jar;2.重写evaluate方法。3.把项目打成jar包。原创 2023-04-16 00:00:00 · 267 阅读 · 0 评论