大数据
大数据
join_null
这个作者很懒,什么都没留下…
展开
-
hadoop 透明加密先关命令
HDFS 透明加密使用、Keystore和Hadoop KMS、加密区域、透明加密关键概念和架构、KMS配置原创 2022-03-09 14:54:28 · 1406 阅读 · 0 评论 -
解决spark on yarn模式时,在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面
1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置 <property> <name>yarn.web-proxy.address</name> <value>master01:8089</value> </property>在指定的master01节点启动web-proxy服务:./sbin/yarn-daemon.sh start proxyserver2.重启所有节点.原创 2020-11-23 19:09:35 · 2713 阅读 · 1 评论 -
flume按照业务字段落盘hdfs
https://blog.csdn.net/weixin_33829657/article/details/89995285原创 2020-07-16 08:50:48 · 185 阅读 · 0 评论 -
java.io.IOException: No FileSystem for scheme: hdfs
https://www.cnblogs.com/justinzhang/p/4983673.html转载 2018-08-13 13:52:26 · 790 阅读 · 0 评论 -
Failed while trying to construct the redirect url to the log server. Log Server url may not be confi
yarn任务查看日志报错:是由于yarn-site.xml缺少中配置原创 2018-09-04 16:50:41 · 4033 阅读 · 1 评论 -
Yarn简介及Capacity & Fair Scheduler
https://blog.csdn.net/labud/article/details/52043557转载 2019-02-22 15:38:55 · 168 阅读 · 0 评论 -
haoop2.x ha搭建
1.搭建:https://www.jianshu.com/p/7904fcc727d72.注意: 1). ha模式,在一个选为active的namenode节点上执行格式化命令hdfs namenode -format后, 先用命令hadoop-daemon.sh start namenode单独启动该namenode。然后在其他namenode节 ...转载 2019-02-13 11:46:06 · 288 阅读 · 0 评论 -
Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Internal Server Error
hadoop的web界面上查看hdfs时web界面显示如下异常:Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Internal Server Error这个异常会由很多原因发生,如果想确定是什么原因要查看,所访问的web界面的namenode的日志。我本次遇到的这个异常,在namenode日志看到如下内容:20...原创 2019-02-19 15:04:21 · 10730 阅读 · 5 评论 -
hadoop2和spark on yarn搭建
https://my.oschina.net/u/3754001/blog/1811243原创 2019-10-09 17:28:47 · 106 阅读 · 0 评论 -
hadoop1与hadoop2任务调度原理
https://www.cnblogs.com/zhangwuji/p/7594728.html转载 2018-03-12 13:50:32 · 243 阅读 · 0 评论