Hive java编程提交查询语句和配置

最新推荐文章于 2022-09-21 16:49:24 发布
最新推荐文章于 2022-09-21 16:49:24 发布
阅读量878 收藏
点赞数
分类专栏： Hive 文章标签： hive java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nma_123456/article/details/51693771
版权

java编程配置hive参数和执行查询

代码：

//设置优先级和reduce数量
public static final String MR_TASKS_NUM="set mapred.reduce.tasks=40";
public static final String MR_PRIORITY="set mapred.job.priority=VERY_HIGH";
//将配置应用于查询
stmtHive.execute(DicField.MR_PRIORITY);
stmtHive.execute(DicField.MR_TASKS_NUM);
//执行查询语句
ResultSet res = stmtHive.executeQuery(strSql);

nma_123456
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java 实现 Sparkthritf jdbc 查询Hive
杨鑫newlife的专栏
01-04 565
import java.sql.*; /** * @author yangxin-ryan */ public class SparkDemo { public static void main(String[] args) throws SQLException { String url = "jdbc:hive2://ip:Spark thrift端口";
Alex 的 Hadoop 菜鸟教程: 第11课 Hive的Java调用
软件哲学
01-23 5556
说到Hive就一定要说到写程序的时候怎么调用Hive。以下我通过一个例子说明如果通过java来调用hive查询数据
java_hive简单查询
04-07
1.通过java查hive hive查询 2.简单查询及jar包
java hive查询_Java操作Hive
weixin_34785304的博客
02-12 766
packagecom.zhi.test.hive;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.ResultSet;importjava.sql.SQLException;importjava.sql.Statement;importorg.apache.logging.log4j.LogManager;...
spark操作hive表，用java调用提交任务脚本
BlindMockingbird的博客
01-22 1232
Spark最主要资源管理方式按排名为Hadoop Yarn, Apache Standalone 和Mesos。 此次使用的yarn模式部署。spark操作hive创建任务，需要将此任务提交。在经过多日查找资料和测试发现多数是提交本地，少有提交到远程yarn集群。发现提交到远程集群的是使用 Standalone模式部署的，这种模式可以指定ip及端口。因此在此次开发中是没有使用java程序提交sp...
Java API操作Hive
csp75739的博客
07-29 1077
环境: IDEA2017.3+Maven-3.3.9+Hive1.1.0 1. pom.xml里面的依赖包配置 <properties> <hi...
自动生成hive建表语句查询语句程序及源码.rar
12-27
在excel模板中填写自己表的字段英文名、字段类型、字段中文名、分区英文名、分区数据类型、分区中文名、表英文名、表中文名，自动生成建表语句和查询语句，提高日常数据效率。 前提：本机安装java1.7，并且配置了...
java根据excel生成 hive建表语句
04-20
Java作为企业级应用开发的主要语言，经常被用来处理与数据相关的任务，包括从Excel文件读取数据并生成Hive建表语句。下面我们将详细探讨如何使用Java和Apache POI库来实现这一功能。 首先，Apache POI是Java中处理...
HiveAPI:用Java编写的Hive Rest API
05-11
通过Java，HiveAPI可以方便地与Hive服务器建立连接，执行HQL语句，并将结果以JSON格式返回给客户端。 **HiveAPI的工作原理** 1. **接口定义**：HiveAPI提供了各种Java接口，这些接口对应于Hive的CRUD（创建、读取、...
hive-java-sdk:Hive Java SDK的新改进
03-09
Hive Java SDK是用于与Apache Hive进行交互的一种编程接口，主要服务于Java开发者，它使得在Java应用程序中执行HQL（Hive查询语言）或者管理Hive表变得简单易行。新改进可能涉及到性能优化、功能增强、API简化、错误...
hive 参数设置
CottonDuke的博客
07-12 437
name说明mapred.task.profile是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces}对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapred.job.reuse.jvm.num.tasks1表示不reuse，-1表示无限reuse，其他数
Hive3.1.2源码阅读--提交任务executeDriver
Cxf2018的博客
03-16 1576
由上文可知，客户端的驱动工作是在executeDriver中进行的 调用该方法时传入了三个参数： 1.1 ss hiveconf用户配置 1.2 conf hiveconf默认配置 1.3 oproc 用户环境配置 ctrl+左键进入该方法中 2.1 首先根据前面解析出来的参数，将对应的参数值封装到CliDriver对象中 2.2 如果是-e的执行方式，则直接执行后面的sql语句；如果是-h的执行方式，则执行对应的sql脚本文件 2.3 如果执行引擎是mapreduce的话，则输出一些告警信息（hive.
java执行hive语句_如何在Java中执行Hive命令或HiveQL
weixin_39589241的博客
02-25 679
这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer(or HiveServer2)执行查询，而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情，平常我们通过Hive做简单的数据分析实验的时候，都是直接进入Hive执行HiveQL，那我们为什么还要在程序中执行呢？这里涉及到了一个问题，通过...
hive-创建表
dys_gc的博客
11-09 130
使用shell脚本： #!/bin/bash #遍历文件夹下的所有文件 dir1=`ls /data/service/bigdata/cloud_platform/sql/origin/*.sql` dir2=`ls /data/service/bigdata/cloud_platform/sql/width/*.sql` #将所有的sql进行初始化，合并dir1和dir2中的文件追加到数...
Hive基本操作之数据库操作与数据库表的操作
Hxm6440的博客
11-22 325
文章目录数据库操作创建数据库修改数据库查看数据库详细信息删除数据库数据库表操作创建数据库表查询表的类型修改表 数据库操作 创建数据库 create database if not exists 数据库名; use 数据库名; 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 <name>hive.metastore.warehouse.dir<...
JavaAPI操作Hive
最新发布
weixin_45754552的博客
09-21 1953
JavaAPI操作Hive
使用java代码提交Spark的hive sql任务，run as java application
weixin_33720956的博客
05-03 244
为什么80%的码农都做不了架构师？>>> ...
Hive的安装和使用以及Java操作hive
CSDN专家-微编程的博客
12-20 9343
Hive 引言 简介 hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 总结 Hive是一个数据仓库 Hive构建在HDFS上，可以存储海量数据。 Hive
Java API 向Hive插入数据 查询Hive数据
Java和算法学习的博客
05-19 2216
目录一、pom文件二、测试类三、注意点 一、pom文件 最少依赖如下： <!--hadoop--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</vers
大数据面试精华：Oracle、Spark、Java、Hive技能全面解析
求职者应当熟练掌握Java语言的基本知识，能够灵活运用Java编程解决实际问题。 最后，Hive作为一种常用的数据仓库查询工具，也是大数据面试中的一个重要内容。在Hive面试中，求职者可能会被问及HiveQL的基本语法、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值