scala读取HDFS上的文件，每次读取一行

最新推荐文章于 2024-07-23 16:14:33 发布
最新推荐文章于 2024-07-23 16:14:33 发布
阅读量8k 收藏 1
点赞数 1
分类专栏： Scala Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZMC921/article/details/76131294
版权
本文档展示了如何使用Scala从HDFS（Hadoop分布式文件系统）中逐行读取文件。代码示例中，通过HDFSUtil获取FSDataInputStream，然后创建BufferedReader进行读取，避免了字节流可能导致的乱码问题。每读取一行，就打印并增加计数，线程暂停1毫秒，确保有序读取。
摘要由CSDN通过智能技术生成 
用scala读取一个只有字符的文件，该文件是已经清洗完的数据，有规律，一行是一条数据。
现在的需求是一次读取文件中的一部分，依次读取完。


之前用字节流偶尔出现乱码，最后改成一次读取一行了。
import java.io.{BufferedReader, InputStreamReader}

import org.apache.hadoop.fs.FSDataInputStream

/**
  * Created by wx on 2017/7/25.
  */
object ReadHDFSFileByLine {
  def main(args: Array[String]) {
    var inputStream: FSDataInputStream = null
    var bufferedReader: BufferedReader = null
    try {
      /* inputStream = HDFSUtil.getFSDataInputStream("hdfs://master:9000/TestData/aviation7/part-00018")
       bufferedReader = new BufferedReader(new InputStreamReader(inputStream))
       var lineT
最低0.47元/天 解锁文章
守猫de人
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
scala读取本地hdfs_使用Scala从HDFS读取数据
weixin_39832875的博客
12-19 1018
I am new to Scala. How can I read a file from HDFS using Scala (not using Spark)?When I googled it I only found writing option to HDFS.import org.apache.hadoop.conf.Configuration;import org.apache.had...
Scala读取HDFS文件
热门推荐
cloudeagle_bupt的专栏
09-19 1万+
import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.hadoop.conf.Configuration import java.net.URI import org.apache.hadoop.fs.FSDataInputStream; import java.io.InputStreamReader; impo
2.Scala读取文件和数据处理，Rdd,DataFrame,DataSet理解
最新发布
evilfft的博客
07-23 556
Rdd : 算子，或者我们可以将其理解为一个数组(虽然它不是数组)，想象它就像一个长方形的容器，里面就单纯的存储着数据 DataFrame : 将Rdd比作长方形的容器，DataFrame就是多个长方形的容器拼接组成，也就是将rdd加上表格化就是dataframeDataSet :,DataSet有很多的类型，相当于是由rdd经过不同类型组合起来的，其中一种类型就是DataFrame, 及Dataset[Row]=DataFrame三者转换：scala读取Hadoop数据库 scala读取本
Scala列出hdfs目录下的文件
@羲凡—只为更好的活着
01-30 3993
@羲凡——只为了更好的活着 Spark列出hdfs目录下的文件(scala) 在最近的一个业务中需要列出hdfs上某个目录下的所有文件，再过滤出自己需要的文件，进行spark循环，在网上找到了篇博客非常有用，我稍微简化了一下，拿走不谢。如果喜欢原博主文章点这里 https://blog.csdn.net/dkl12/article/details/84312307 尊重原博主。字节上代码： pac...
scala读取HDFS文件，每次读取一定的字节数
ZMC921的博客
07-26 4285
用scala读取一个只有字符的文件，该文件是已经清洗完的数据，有规律，一行是一条数据。 现在的需求是一次读取文件中的一部分，依次读取完。 如果有疑问，或者找出错误的解决方案，请和我联系。一起研究讨论
Scala操作hdfs文件
wangwangliqing的博客
07-08 1505
package scala_test_lyh import java.io._ import java.net.URI import java.util._ import org.apache.commons.lang3.StringUtils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs._ im...
scala读取本地hdfs,使用Scala从HDFS读取数据
weixin_29459473的博客
12-19 1045
I am new to Scala. How can I read a file from HDFS using Scala (not using Spark)?When I googled it I only found writing option to HDFS.import org.apache.hadoop.conf.Configuration;import org.apache.had...
scala读取本地hdfs_Scala操作HDFS
weixin_29547681的博客
02-04 911
通过Scala对HDFS的一些操作，包括创建目录，删除目录，上传文件，文件读取，删除文件，Append文件等等；import java.io._import java.net.URIimport java.util._import org.apache.commons.lang3.StringUtilsimport org.apache.hadoop.conf.Configurationimpor...
scala读取本地hdfs_Spark连接Hadoop读取HDFS问题小结
weixin_39592315的博客
12-19 570
Spark与Hadoop版本我使用0.7.2的Spark版本，且是pre-built过的版本，支持的hadoop版本是hadoop1。在http://spark-project.org/files/上能下载的预编译过的spark版本里，凡是预编译cdh4的压缩包，下载后解压会中断，文件本身有问题。我在google论坛上发帖说明了这个问题：https://groups.google.com/foru...
hadoop-hdfs-文件工具类（Scala）
program哲学
03-14 4186
package com.avcdata.spark.job.utilimport java.io.{File, FileInputStream, FileOutputStream, IOException}import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileStatus, FileSystem, F
scala读取本地hdfs_Scala-操作Hdfs
weixin_39879122的博客
12-19 847
Info先生成DataFrame，再把数据储存在HDFS上。import org.apache.spark.sql.functions._import spark.implicits._import org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.ml.linalg.{Vector, Vectors}import...
打印（获取）HDFS路径下所有的文件名（包括子目录下的）
weixin_34261739的博客
11-21 1952
版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/84312307 我的...
Scala学习笔记1——从文件读取文本行
weixin_43716338的博客
02-15 2049
刚接触Scala，所以并不是很习惯这种函数式编程风格，就从现在的第一篇笔记开始记录这个学习过程啦！笔记来源于《Scala编程》的学习。 从文本读取文本行 初步目标： 构建一个脚本从文本读取文本行，并将它们打印出来，在每一行前面带上当前行的字符数。 代码示例，countchars1.scala ： import scala.io.Source if(args.length>0){ for(...
Scala读取文件内容
翻滚吧小牛
11-26 2562
import scala.io.Source if(args.length>0){ for(line <- Source.fromFile(args(0)).getLines) println(line.length+" "+line) } else Console.err.println("Please enter filename");
Spark基础知识系列一（从hdfs获取文件）
Master
03-29 3556
Spark获取文件spark可以从本地，hdfs文件系统，s3，及hadoop支持的文件系统获取文件。从本地：file:///usr/local/xx.txt.import org.apache.spark.{SparkConf, SparkContext}/** * Created by Damon on 3/29/17. */ object HelloScala { def main
Scala String 与 InputStream 互转
L, there!
01-19 1301
1. String 转 InputStream val is = new ByteArrayInputStream(str.getBytes()) // 转 BufferedInputStream val bis = new BufferedInputStream(is) // 打印 Stream.continually(bis.read()).takeWhile(_ != -1).for...
【Hadoop】（六）详解 HDFS 的数据流 （面试重点）
云祁QI
12-12 1749
前言：在《Hadoop系列》的第一篇博文里，就已经提到了【hadoop】（一）分布式文件系统 HDFS，但作为面试中经常遇到的数据流的问题，特地拎出来专门写一篇文章，详细解读 HDFS 数据流的知识点，帮助小伙伴们跳出面试中的那些大坑。
scala读取hdfs多个目录的文件信息
05-24
可以使用 Hadoop 的 API 来读取 HDFS 中的多个目录的文件信息。以下是一个 Scala 代码示例： ```scala import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem, Path} val hadoopConf = new Configuration() val hdfs = FileSystem.get(hadoopConf) val dirsToRead = Seq("/path/to/dir1", "/path/to/dir2", "/path/to/dir3") val files = dirsToRead.flatMap { dir => val path = new Path(dir) if (hdfs.exists(path) && hdfs.isDirectory(path)) { hdfs.listStatus(path).map(_.getPath.toString) } else { Seq.empty[String] } } ``` 这段代码首先创建了一个 Hadoop 配置实例和一个 HDFS 客户端实例。然后，它定义了一个包含多个 HDFS 目录路径的列表 `dirsToRead`。接下来，它遍历每个目录，并检查它们是否存在并且是目录。如果是，就列出该目录下的所有文件，并将它们的路径添加到 `files` 列表中。最终，`files` 列表将包含多个目录中所有文件的路径。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值