hadoop
JasonZ_1
这个作者很懒,什么都没留下…
展开
-
hive 执行sql查询任务报错GetFileInfoRequestProto cannot be cast to com.google.protobuf.Message问题解决
执行hive sql任务报错org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$GetFileInfoRequestProto cannot be cast to com.google.protobuf.Message原创 2022-09-05 18:31:06 · 2673 阅读 · 0 评论 -
hadoop3.x.x sh start-dfs.sh启动报错
hadoop3.x.x sh start-dfs.sh启动hdfs服务报错原创 2022-08-23 16:09:41 · 1742 阅读 · 0 评论 -
hadoop3.1.0 java编写wordcount报错 UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows
hadoop3.1.0 java编写wordCount demo过程中出现以下报错信息:2021-08-06 12:59:47,498 INFO [org.apache.commons.beanutils.FluentPropertyBeanIntrospector] - Error when creating PropertyDescriptor for public final void org.apache.commons.configuration2.AbstractConfiguration原创 2021-08-06 13:12:27 · 1031 阅读 · 0 评论 -
关于spark on hive 执行建表语句出现的用户权限问题 `Permission denied: user=PC, access=WRITE, inode=“/“:root:supergroup
关于spark on hive 执行建表语句出现的用户权限问题Permission denied: user=PC, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法在代码开头设置参数:System.setProperty("HADOOP_USER_NAME","root")即可以root角色访问hdfs目录 System.setProperty("HADOOP_USER_NAME","root") val spark: Spar原创 2021-08-03 11:48:36 · 780 阅读 · 0 评论 -
Hadoop伪分布式模式搭建
1. 在apache hadoop官网下载hadoop选择你需要的hadoop版本,这里我以hadoop-2.7.6为例,下载好后直接将压缩文件上传到云服务器通过tar -zxvf hadoop-2.7.6解压(这里我是直接解压到/home/ubuntu/hadoop-2.7.6的)2.配置Hadoop环境变量1). vim/vi /etc/proflie ,导入下面的语句:ex...原创 2019-06-11 13:38:36 · 314 阅读 · 0 评论