spark开发笔记-scala 读lzo文件两种写法

最新推荐文章于 2022-09-26 12:29:58 发布
最新推荐文章于 2022-09-26 12:29:58 发布
阅读量4.7k 收藏
点赞数 2
分类专栏： 原创 大数据系统开发笔记 Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanshu2012/article/details/54140038
版权

spark开发笔记-scala 读写lzo文件两种写法


方法一：

val files = sc.newAPIHadoopFile("s3n://<YOUR_BUCKET>/<YOUR_PATH_TO_LZO_FILES/*.lzo", classOf[com.hadoop.mapreduce.LzoTextInputFormat],
classOf[org.apache.hadoop.io.LongWritable],classOf[org.apache.hadoop.io.Text]).map(_._2.toString)

方法二：

val files = sc.newAPIHadoopFile[LongWritable, Text, LzoTextInputFormat]("s3n://<YOUR_BUCKET>/<YOUR_PATH_TO_LZO_FILES/*.lzo").map(_._2.toString)


RangeYan2012
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark平台中，对lzo压缩文件的读取--Scala实现
ice_kind的博客
03-31 5746
#记录一个坑#在Spark中，有时需要对lzo压缩文件的读取。这里采用的是newAPIHadoopFile()来进行读取 val configuration = new Configuration() configuration.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,org.apac...
Spark配置启用LZO压缩
AaronLwx的博客
05-15 2325
假设你已经配好操作系统的LZO以及Hadoop的LZO 这里直接去配Spark的LZO，不然Spark提交作业的时候如果涉及到文件操作的话会报错 [hadoop@hadoop004 conf]$ pwd /home/hadoop/app/spark-2.3.3-bin-2.6.0-cdh5.7.0/conf [hadoop@hadoop004 conf]$ vim vim spark...
spark下读写lzo文件（java）
xyf123的专栏
10-15 9353
1、编译安装hadoop-lzo 这个网上已经说的很详细了，具体可以参考这个链接： hadoop使用LZO压缩 http://running.iteye.com/blog/969800 2、具体如何配置lzo，上面的文档已经有了，但是为了讨论问题，这里再复制一下： a、修改hadoop配置文件core-site.xml  Xml代码
spark读取lzo文件并指定日志记录起始标识符
qq_22195987的博客
04-16 1117
1、读取文件是LzoTextInputFormat.class2、设置JavaSparkContext jsc = new JavaSparkContext(conf);Configuration hconf = jsc.hadoopConfiguration();hconf.set("textinputformat.record.delimiter", "[*&amp;^%]");     hc...
Spark 读/写 lzo 文件 pairRDD
AbnerSunYH的博客
01-10 3380
Spark 读/写 lzo 文件 pairRDD 具体代码 Java SparkConf conf = new SparkConf().setMaster("local").setAppName("CheckLog"); JavaSparkContext sc = new JavaSparkContext(conf); org.apache.hadoop.conf.
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
3. **Scala**: Scala是一种多范式编程语言，它是Spark的主要实现语言，提供了函数式和面向对象编程的结合。Spark API是用Scala设计的，因此，理解Scala可以帮助开发者更好地理解和使用Spark。Scala 2.13是这个安装包...
spark-streaming-scala-example:使用Kafka和Cassandra的Spark Streaming作业示例
05-13
kafka-spark-cassandra-示例 该项目提供了Kafka / Spark Streaming / Cassandra堆栈的简单示例。 该代码是基于Kafka和Cassandra群集实现的，您可以使用以下项目在本地构建自己： 先决条件 安装SBT 对于Mac，可以...
Spark-Scala-Maven-示例：Spark，Scala项目的示例Maven配置
02-03
本示例项目“Spark-Scala-Maven-Example”旨在展示如何配置Maven来构建和运行一个结合了Spark与Scala的应用程序。 首先，我们需要了解Spark。Spark是由Apache开发的大数据处理框架，它提供了快速、通用和可扩展的...
spark-archetype-scala:用于引导Spark Scala项目的Maven原型
05-12
Maven原型将支持一个新的Spark Scala项目 有关最新版本，请转到 。 此回购仅在原型开发过程中使用，但随后的所有更改和错误修复都归于官方书籍的回购中。 不是最新的： 生成一个新项目 由于IntelliJ IDEA在尝试...
spark-with-scala
04-04
在"spark-with-scala-main"这个文件中，可能包含了Spark应用的主要源代码，包括Scala类、对象和函数，它们定义了数据处理的逻辑。通过分析和学习这些代码，你可以深入理解如何使用Scala和Spark来解决大数据问题。
spark 读取lzo 环境依赖
guitarCC的博客
09-26 979
bug:由于lzo压缩本身不属于hadoop体系自带压缩方式以及spark自带的解析方式，所以往往需要额外配置，idea 本地环境想要读取lzo文件，就要使本地环境支持lzo依赖出于开发的便利，需要idea中读取到lzo压缩的数据
Spark读Lzo压缩格式的文件
学习，我们是认真的
07-07 3455
第一种方式：val rdd = sc.newAPIHadoopFile("path/*.lzo",classOf[com.hadoop.mapreduce.LzoTextInputFormat], classOf[org.apache.hadoop.io.LongWritable],classOf[org.apache.hadoop.io.Text]).map(_._2.toString)第二种方式
Spark读取压缩文件
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
06-05 1万+
转载请务必注明原创地址为：https://dongkelun.com/2018/05/30/sparkGZ/ 前言 本文讲如何用spark读取gz类型的压缩文件，以及如何解决我遇到的各种问题。 1、文件压缩 下面这一部分摘自Spark快速大数据分析：   在大数据工作中，我们经常需要对数据进行压缩以节省存储空间和网络传输开销。对于大多数Hadoop输出格式来说，我们可以指定一种压缩编......
Spring boot2.0.4启动SparkSession2.3.0连接hive实现SQL查询
ciqingloveless的博客
09-07 5162
记得以前处理这个碰见很多坑，现在贴出自己的代码供别人参考，创建Spring Boot项目过程就不在赘述 一 项目代码 1 项目结构 2 pom.xml 部分可精简，我就不调优了 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xml...
读写lzo
godspeedlaile9的专栏
01-22 1536
一、读lzo 在 《Hadoop 2.2.0安装和配置lzo》 文章中介绍了如何基于 Hadoop 2.2.0安装lzo。里面简单介绍了如果在Hive里面使用lzo数据。今天主要来说说如何在Hadoop 2.2.0中使用lzo压缩文件当作的数据。 　　lzo压缩默认的是不支持切分的，也就是说，如果直接把lzo文件当作Mapreduce任务的输入，那么Mapreduce只会用一个Map来
spark中配置启用LZO压缩
weixin_34234721的博客
01-04 459
2019独角兽企业重金招聘Python工程师标准>>> ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值