hdfs
RayBreslin
大数据开发、设计企业应用
展开
-
HDFS API : rename重命名hdfs文件失败原因
一、问题描述通过spark-shell启动,使用hdfs的重命名api:rename修改文件名称,时而报错。scala> import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.conf.Configurationscala> import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.hadoop.fs.{FileSystem,原创 2020-11-11 23:06:20 · 2649 阅读 · 0 评论 -
外网无法访问hdfs文件系统:SparkSQL本地scala代码连接服务器hive报错:INFO DFSClient: Could not obtain BP-397724921-127.0.0.1-
一、问题描述本地开发sparkSQL代码,连接hive,使用hivecontext连接报错:(1)代码:object _02hivecontext { def main(args: Array[String]): Unit = { //1)创建相关的context val sparkconf=new SparkConf().setAppName("Hivesq...原创 2019-01-18 07:38:11 · 2190 阅读 · 10 评论 -
Hive ERR:Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
1.问题描述使用sqoop将postgresql中表导入hive,报错:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":...原创 2019-03-19 19:09:08 · 1188 阅读 · 2 评论