Spark2.4支持图片格式数据源了～

最新推荐文章于 2024-05-03 17:09:47 发布

浪尖聊大数据-浪尖

最新推荐文章于 2024-05-03 17:09:47 发布

阅读量678

点赞数 2

分类专栏： spark

本文链接：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/90653770

版权

Spark2.4开始支持内置的图片数据源读取器，可以直接读取图片的数据。

val df = spark.read.format("image").load("/opt/pic/")

目录可以还可以是/path/to/dir/**和分区目录。

Image Schema

读取的数据会生成一个DF，该DF就一列列名字叫做 image。但是其实他是个嵌套数据结构，具体结构如下：

root	
|-- image: struct (nullable = true)	
|    |-- origin: string (nullable = true)	
|    |-- height: integer (nullable = true)	
|    |-- width: integer (nullable = true)	
|    |-- nChannels: integer (nullable = true)	
|    |-- mode: integer (nullable = true)	
|    |-- data: binary (nullable = true)

orgin:代表图片的路径。

nChannels：颜色通道的数量。对于灰度图像，典型值为1，对于彩色图像（例如，RGB），典型值为3，对于具有alpha通道的彩色图