mapreduce java 读取hive,Hive ORC数据格式的MapReduce读写

最新推荐文章于 2024-01-30 11:00:05 发布
最新推荐文章于 2024-01-30 11:00:05 发布
阅读量614 收藏 3
点赞数
文章标签： mapreduce java 读取hive
本文展示了如何使用Java实现MapReduce程序，从Hive的ORC数据格式中读取数据，并将其写入新的ORC文件。首先，提供了一个包含MR代码的ORCSample类，接着说明了在pom.xml中添加必要的ORC和Hadoop MapReduce依赖。然后，创建了Hive表并插入数据，最后打包并运行MapReduce作业，将结果存储到指定的HDFS路径。完成操作后，可以通过Hive的ORCFileDump命令查看执行结果，并在Hive中查询ORC表验证数据迁移成功。
摘要由CSDN通过智能技术生成

1，mr代码如下

package com.test.hadoop;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.NullWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.orc.TypeDescription;

import org.apache.orc.mapred.OrcStruct;

import org.apache.orc.mapreduce.OrcInputFormat;

import org.apache.orc.mapreduce.OrcOutputFormat;

public class ORCSample {

public static class ORCMapper extends

Mapper {

public void map(NullWritable key, OrcStruct value, Co

最低0.47元/天 解锁文章
liu'mei
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python读取hive数据库mapreduce_hive(基于mapreduce)的使用
weixin_39781363的博客
01-30 626
一：数据表建立(一)创建数据库hive>create database hadoop;hive> use hadoop;数据库位置在hdfs://ns1/user/hive/warehouse/hadoop.db目录下(二)建表hive> create table t_order(id int,name string,container string,price double...
python读取hive数据库mapreduce_MapReduce处理数据并使用hive数据库
weixin_39644377的博客
12-15 323
Result文件数据说明：Ip：106.39.41.166,(城市)Date：10/Nov/2016:00:01:02 +0800,(日期)Day：10,(天数)Traffic: 54 ,(流量)Type: video,(类型：视频video或文章article)Id: 8701(视频或者文章的id)测试要求：1、数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。两阶段数据清洗：...
MapReduce读取hive数据，然后用hbase的bulkload方法导入hbase中
东城庞太师
09-03 840
Driver类： HiveMapper类： 打包，测试： 结果查看：
HADOOP MapReduce 处理 Spark 抽取的 Hive 数据【解决方案一】
为了更好的未来_加油
06-21 797
今天咱先说问题，经过几天测试题的练习，我们有从某题库中找到了新题型，并且成功把我们干趴下，昨天今天就干了一件事，站起来。 沙问题？ java mapeduce 清洗 hive 中的数据 ，清晰之后将driver代码 进行截图提交。 spark之前抽取的数据是.parquet格式的， 对 mapreduce 不太友好，我决定从新抽取， 还是用spark技术，换一种文件格式 使用新方法进行sink的时候我是直接like别的现成表结构折磨干的，后来hive分割字段都TM乱套啦，赞看看！ 1.使用scala+sp
大数据java操作hive
11-01
此文档为学习大数据笔录的一些基础配置，能够让你从知道如何用java去操作hive
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
05-29
在Hadoop生态系统中，为了高效地存储和处理数据，有多种文件格式被设计出来，如SequenceFile、MapFile、ORCFile和ParquetFile。这些文件格式各有特点，适合不同的场景需求。 1. **SequenceFile** SequenceFile是...
MapReduce读写ORC文件
YF_Li123的博客
06-16 3064
MapReduce读写ORC文件ORC的全称是Optimized Row Columnar。ORC文件格式是hadoop生态圈中的一种列式存储格式，最早来自于Apache Hive， 有着非常高的压缩比和读取效率，成为Hive中常用的一种文件格式。1、读ORC文件OrcFileReadMapper.java --------------------------------------- impor...
MapReduce和Hive
Albert_ycl的博客
02-27 8063
1,MapReduce的原理，Wordcount的过程1.1,Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。1.2,对待大数据处理：分而治之,大数据的并行化计算1.3,不可分拆的计算任务或相互间有依赖关系的数据无法进行并...
【Hive】MapReduce 如何实现 Hive SQL 的基本操作-count
每天更新大数据面经和技术
09-05 495
count
hadoop+hive+mapreduce的java例子
12-27
基于hadoop的Hive数据仓库JavaAPI简单调用的实例，关于Hive的简介在此不赘述。hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUI CLI，即Shell命令行 JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口，直接进入正题。 1、Hive 安装： 1）hive的安装请参考网上的相关文章，测试时只在hadoop一个节点上安装hive即可。 2）测试数据data文件'\t'分隔： 1 zhangsan 2 lisi 3 wangwu 3）将测试数据data上传到linux目录下，我放置在：/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。 　　Hive提供了jdbc驱动，使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样，我们也需要将Hive的服务打开；在Hive 0.11.0版本之前，只有HiveServer服务可用，你得在程序操作Hive之前，必须在Hive安装的服务器上打开HiveServer服务，如下： 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002（默认的端口是10000）启动了hiveserver服务。这时候，你就可以通过Java代码来连接hiveserver，代码如下：
IDEA中使用Java连接Hive并读取数据
WinterPirates的博客
05-30 2638
有关Java连接Hive数据库， 首先要在Maven项目的pom.xml文件中加载依赖： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>0.13.1</version> </dependency> 在虚拟机上把Hive启动起来，
java api读取集群hive数据（kerberos认证）
lhxsir的博客
05-31 5903
引用maven <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </depe...
java导出hive数据_java读取hive导出的数据
weixin_33833234的博客
02-26 490
通过HQL语句：insert overwrite directory '/COMP/206/OUT/LDAPD_BUSI_CMNCTN_ACCU/${current_date}'select callingnum,custphone,count(*) as callcountfrom DAPD_VOICE_LOG_TMPgroup by callingnum,custphone;将统计信息导出到...
java获取hive元数据信息_Hive SQL 元数据血缘管理
weixin_31977649的博客
03-02 1289
模板概述基于 Antlr4 编译 hive 相关 xxx.g 文件生成对应的模板，如 hive 源码中：image.png编译完成生成对应 *.java 文件，Antlr4 详见：Antlr4解析流程Parserimage.png重点：获取SELECT操作中的表和列的相关操作。其他操作这判断到字段级别。实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处...
MapReduce使用hcatalog读写hive表
z69183787的专栏
03-05 1785
本文主要是讲mapreduce使用HCatalog读写hive表。 hcatalog使得hive的元数据可以很好的被其它hadoop工具使用，比如pig，mr和hive。 HCatalog的表为用户提供了（HDFS）中数据的关系视图，并确保用户不必担心他们的数据存储在何处或采用何种格式，因此用户无需知道数据是否以RCFile格式存储， 文本文件或sequence文件。 它还提供通知服务，以...
Java抽取Hive、HDFS元数据信息
最新发布
m0_46218511的博客
01-30 856
* 元数据表附加信息 服务实现类*
java 读取hive数据类型_hive精确数据类型
weixin_39582708的博客
02-13 233
hive也支持varchar，date，datetime，decaimal等类型，下面对这些类型与关系型数据库的差别进行探索。```create table test.type_tab(id bigint,col1 varchar(10),col2 date,col3 timestamp,col4 decimal(22,6));insert into test.type_tabselect 100...
Hive实验4：MapReduce实现Hive的查询Sql
heroicpoem的专栏
09-03 1202
1、通用元素 select 字段：Map里的value值。Reduce不做处理，遍历输出组内每一元素。 2、order by全局排序 order by : 排序字段当做Map的key，Map中会自动分区、排序。 全局：1个Reduce，默认就是1个Reduce protected void map(LongWritable key, Text value, Context contex...
Hive实战：Youtube视频网站数据分析与ETL流程
"该资源是一个关于使用Hive进行数据分析的实战项目，主要针对YouTube视频网站的常规指标进行统计，涉及到MapReduce数据清洗、HDFS数据上传、Hive表的创建及数据导入、Sqoop数据导出到MySQL等操作。项目包括了对视频...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值