大数据
文章平均质量分 65
雨潇先生
Just a coder!
展开
-
[Flink] Flink On Yarn(yarn-session.sh)启动错误
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误原创 2023-06-05 16:56:56 · 2573 阅读 · 0 评论 -
Hadoop[3.3.x]-1本地环境搭建
Hadoop学习第一步,本地环境初体验。原创 2023-05-07 21:20:56 · 488 阅读 · 0 评论 -
Hive本地开发/学习环境配置
这样就启动了metastore服务,可以通过jps命令查看,是否存在RunJar的进程,存在则说明启动成功,再通过hive客户端连接即可。该服务依赖于metastore服务,所以,在启动hiveserver2之前,一定确保已经启动了metastore服务,这时,可以通过。,启动后,通过jps命令查看服务进程,此时会多出一个RunJar的进程,即为hiverserver2的服务。将配置文件的用户修改上hive不允许访问的用户名,配置文件修改后,重新启动hadoop的dfs服务,需要在hive-site。原创 2023-05-01 21:54:22 · 1917 阅读 · 0 评论 -
Hadoop[3.3.x]Mkdirs failed to create /var/folders/md/p3lgpzzj7z9dsjkl6by6mcqr0000gn/T/hadoop-unjar20
在程序中添加core-site.xml的配置文件,再次Debug代码时发现,从Configuration类中获取到的。在java程序中未设置core-site.xml文件。程序打包了一个MapReduce的jar程序,通过。,file这样是本地,所以出现了一些意外的错误。为hdfs的了,未配置时获取到的为。在本地执行,出现上述错误。原创 2023-04-08 18:09:17 · 129 阅读 · 0 评论 -
Hadoop[3.3.x]Permission denied: user=dr.who, access=WRITE, inode=“/“:xxx:supergroup:drwxr-xr-x
在core-site.xml文件中添加如上配置,然后重启dfs,再回到页面操作文件就正常了。这个用户没有操作的权限,需要给改用户添加页面相关操作的权限。原创 2023-04-09 10:52:56 · 1215 阅读 · 0 评论 -
Hadoop[3.3.x]Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error
然后重启dfs,先执行。原创 2023-04-02 21:16:22 · 1210 阅读 · 0 评论