![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Cercis_Lee
这个作者很懒,什么都没留下…
展开
-
azakaban编译
编译一定要是最新版git clone https://github.com/azkaban/azkaban.gitcd azkaban./gradlew build installDist当然也可以在官网下载离线安装包,解压进入azkaban根目录执行./gradlew build installDistyum ‐y install gityum ‐y install gcc‐c++...原创 2022-04-16 22:26:08 · 86 阅读 · 0 评论 -
hadoop3.x 配置完成但无法访问web页面
问题描述访问master:50070未响应解决方案:namenode 结点的hdfs配置中,使用0.0.0.0的地址而在其他结点则使用内网ip地址,不要用域名原创 2022-04-16 21:35:38 · 2134 阅读 · 0 评论 -
通过Java api 管理HDFS时出现权限问题
增加一条System.setProperty("HADOOP_USER_NAME", "hadoop");原创 2020-08-22 18:37:00 · 190 阅读 · 0 评论 -
Hadoop3.0 hdfs增加节点 导致元数据格式化 datanode节点丢失
原因学习需要,由两个节点扩充至三个节点。当我把hdfs的相关文件配置完毕,启动hdfs时,在web管理界面没有显示新增加的节点坑1在某个博客里看到,需要格式化namenode才能显示,我就听了他的话,本以为在格式化元数据后,不会影响datanode的数据,namenode会自动恢复,但是没有我想象中的那么简单。。。坑2不仅仅数据丢失,在格式化之后,重新启动hdfs,datanode无法启动。。。原来在namenode格式化之后,会重新生成一个clusterID对症下药,将namenode重原创 2020-08-20 15:51:27 · 478 阅读 · 0 评论 -
java拒绝访问windows文件目录解决方法
问题 @Test public void downLoadFileTest() throws URISyntaxException, IOException { //获取filesystem对象 FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration()); //获取hdfs输入流 FSDataInputStr原创 2020-05-25 22:23:01 · 3813 阅读 · 0 评论 -
Hadoop3.0 Zookeeper集群搭建 Ubuntu
文章目录组件版本增加用户修改host免密登陆安装jdk、zookeeper、hadoop配置zookeeper启动zookeeper配置hadoop3.x分布式格式化并启动一些坑组件版本JDK-8.x(最好不要超过9)hadoop-3.12zookeeper-3.49两台主机:master slave增加用户sudo useradd -m hadoop -s /bin/bash #增加用户sudo passwd hadoop #修改密码sudo adduser hadoop sudo #管原创 2020-05-17 23:26:39 · 449 阅读 · 0 评论 -
云平台Zookeeper运行成功Status却失败原因及完美解决
问题引出通过查看zookeeper.out“此处应该有图,但是zookeeper.out超过了时间限制已经删除”大体意思就是ERROR1:无法连接master:3888ERROR2:无法连接slave1:3888ERROR3:无法连接slave2:3888解决方案根据其他人的经验:1、master改为0.0.0.0无效2、全部使用IP地址配置不能使用域名无效3、环境变量应该在~/.bashrc无效4、防火墙关闭防火墙默认关闭完美解决方案:1、在每个配置文件里添加quo原创 2020-05-09 12:49:06 · 551 阅读 · 0 评论