Hive
小栋哟
赠人玫瑰,手留余香...
展开
-
HIve:创建hive表并通过HDFS文件进行导入数据(速度最快)
最近这个项目做hive建表在导入数据的时候,数据量大的时候难免会慢一点,现在又发现了一种新的导入数据方式;使用hdfs的文件进行导入,所以要使用的话就得先把文件上传到hdfs再操作三个前提:1.文件必须已经上传到hdfs,否则不行。2.这个表必须是不存在的,不能在已表上进行叠加数据;3.必须是目录级别,不能具体到文件;如果目录底下有多个文件,将会把所有文件数据都导入进去;如果正好需要将目录...原创 2019-11-29 17:19:25 · 6113 阅读 · 0 评论 -
springboot项目多数据源配置,集成hive和mysql
最近做的这个项目,原本数据库是用的mysql,后来需求问题,经过讨论后打算把hive集成进来,就是有一批数据入hive。经过昨晚的尝试加上上网查阅资料总算是集成好了。集成好了后的效果就是mysql和hive互不影响可独立使用,而且也不会影响mybatis的 使用,既然集成应该都是要这种效果吧。代码有点多,不要着急,咱们一步一步的来第一步pom文件:以下jar如果你已经有了就无需在添...原创 2019-11-05 17:38:17 · 3956 阅读 · 5 评论 -
hive或者mysql查询某个表是否在库中存在
最近做项目有几个需求,需要java来操作mysql和hive建表,插入数据等操作,趁现在有点时间还能记得,就赶紧记录一下先说mysql的,校验table是否在某个库中存在,之前我已经写过了,所以点进去就可以查看;java查询校验某个表名是否在数据库中存在接下来说是hive的,hive跟mysql有点区别,所以得自己手动去校验一下;思路呢就是:先去查这个库下面的所有表信息,然后在遍历...原创 2019-11-05 16:44:41 · 5337 阅读 · 1 评论