hdfs
挖矿的小强
我失败过,但我从未放弃过
展开
-
HDFS 读取、写入、遍历目录获取文件全路径、append文件创建或者写入报错问题分析
程序如: 1.报错类似下面的信息: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): Failed to create file [/user/hive/warehouse/test.db/incr_iot_report_gs原创 2017-10-19 18:21:39 · 1122 阅读 · 0 评论 -
spark读取HDFS多个文件配置
情况说明:数据以parquet文件形式保存在HDFS上,数据中的某一列包含了日期(例如:2017-12-12)属性,根据日期对数据分区存储,如下图所示: 项目需求: 在项目中想要读取某一个月的数据,肿么办? 解决方法: spark中读取本地文件的方法如下: sparkSession.read.parquet("hdfs://path") 1 方法一: 要读取多个文件,文件的路径中有一...原创 2018-12-14 09:59:33 · 11526 阅读 · 0 评论