scala读取HDFS文件，每次读取一定的字节数

最新推荐文章于 2024-07-23 16:14:33 发布

robwang151

最新推荐文章于 2024-07-23 16:14:33 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/robwang151/article/details/77855113

版权

本文介绍了如何使用Scala编程语言从HDFS（Hadoop分布式文件系统）中读取文件，特别是每次读取指定数量的字节。内容涵盖了相关的方法和技巧，帮助读者理解并实现这一功能。

摘要由CSDN通过智能技术生成

用scala读取一个只有字符的文件，该文件是已经清洗完的数据，有规律，一行是一条数据。
现在的需求是一次读取文件中的一部分，依次读取完。

如果有疑问，或者找出错误的解决方案，请和我联系。一起研究讨论

  
  
  
   
   
   
    
    
    
     
     
     [plain] 
     
     
     view plain
     
      
     copy
     
     
     
     
      
    
    
    
   
   
   
   
   
   
    import java.io.IOException  
    import java.net.URI  
      
    import org.apache.hadoop.conf.Configuration  
    import org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path}  
      
    /**  
      * Created by wx on 2017/7/20.  
      */  
    object HDFSUtil {  
      val conf: Configuration = new Configuration  
      var fs: FileSystem = null  
      var hdfsInStream: FSDataInputStream = null  
      
      def getFSDataInputStream(path: String): FSDataInputStream = {  
        try {  
          fs = FileSystem.get(URI.create(path), conf)  
          hdfsInStream = fs.open(new Path(path))  
        } catch {  
          case e: IOException => {  
            e.printStackTrace  
          }  
        }  
        return hdfsInStream  
      }