hive
健康平安的活着
再给我一次重生的机会,我将加倍珍惜,将java事业进行到底。
展开
-
hive与hbase的整合
Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。1.1hive整合hbase的搭建配置说明:Hive是单节点,hbase为集群修改hive-site.xml文件,添加zookeeper配置<!--hive整合hbase --><...原创 2019-06-19 10:58:10 · 953 阅读 · 0 评论 -
hive 可视化组件Dbeaver的安装
一.修改hadoop配置文件修改core-site.xml文件内容:(如果集群的话每个都要修改)<!-- 远程访问 --><property> <name>hadoop.proxyuser.www.hosts</name><value>*</value><...原创 2019-06-14 19:29:26 · 872 阅读 · 0 评论 -
hive的java api 操作
首先需要实现hive能够远程访问:配置见https://blog.csdn.net/u011066470/article/details/91998651Java代码:package com.meboth.hive.connection.hbase.utils;import java.sql.*;/** * @className JDBCToHiveUtils * @De...原创 2019-06-19 19:19:09 · 1874 阅读 · 0 评论 -
shell脚本中写hive的sql语句
2.3shell脚本中写hive语句2.3.1test.sh脚本内容#!/bin/bashanalysis_date=$1#开始执行方法#/opt/hive-2.3.5/bin/hive -e "select count(1) from hv_orders_user_buckets"echo"输入的参数变量为:$analysis_date"hive -e "u...原创 2019-07-09 16:55:15 · 5598 阅读 · 0 评论 -
hive报Can't call rollback when autocommit=true
报:Error rolling back: Can't call rollback when autocommit=true报:hive-site.xml设置为false;原创 2019-07-09 17:01:22 · 2345 阅读 · 0 评论 -
将mysql表中数据导入到hive分区事务桶表
3.1.1逻辑描述1.删除hv_orders_user_buckets表中对应分区的数据2.按指定日期从mysql中的数据库查询数据orders0-9和orders_user0-9表的数据导入到hive中的hv_orders_user表指定的分区中。Hv_orders_user是一个分区表,不具有事务3.将hv_orders_user表中的数据按分区导入到hv_orders_user...原创 2019-07-10 17:21:17 · 749 阅读 · 0 评论 -
hive的“坑笔记“----------------------进入hive命令模式,卡主不动的解决方案
今天,上班后,进入hive模式,输入hive的sql命令,光标一直在闪烁,没有回显结果,重新启动集群也无济于事,折腾了一上午,中午午休,灵感上来之后,查看一下是否能ping通hive元数据库所在的mysql服务器,是否ping通,结果发现,ping不同,然后咨询运维,麻蛋,他们给做了限制,hive访问不了元数据库所在的服务器导致的。之后让他们放开,ok了,见下图:...原创 2019-08-09 09:21:15 · 2376 阅读 · 0 评论 -
数据仓库的常见模型:星型模型 和雪花模型
星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有一定的冗余。如在地域维度表中,存在国家A省B的城市c以及国家A省B的城市D两条记录,那么国家A和省B的信息分别存储了两次,即存在冗余。当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上,其图解就像多个雪花连接在一起,故称雪花模型。雪花模型是对星型模型的扩展,它...原创 2019-10-06 17:57:39 · 1510 阅读 · 0 评论