window安装hadoop客户端
场景提示:在我做flink到hive的sink练习的时候,运行代码时发生异常:HADOOP_HOMEand hadoop.home.dir are unset
1:分析:我在本地虚拟机已经按照hadoop集群,在工程里的配置也指向我的集群地址,讲实话想不到会是什么原因导致没有设置hadoop,在网上查资料解释是说我没有在本地安装hadoop,但我以为我在集群部署了。后来想经验丰富的大佬求问才知道我需要在window安装hadoop的客户端才行,并不需要安hadoop,因为安装的客户端本省不存数据,至于为什么要做到如此麻烦我尚且不知,期待以后探索,也希望有了解的朋友给我留言让我学习更多
2:解决办法:
2.1:把hadoop集群主节点的hadoop压缩下载到windos解压
2.2:修改core-site.xml hdfs-site.xml里关于数据文件,临时文件的指定地址到你window里改目录的地址(毕竟你已经把hadoop复制到windows了文件路径肯定变了)
2.3:修改hadoop-env.cmd里jdk地址到你本地jdk地址
2.4:下载 hadoop.dll winutils.exe文件放到bin目录, hadoop.dll再放到C:\Windows\System32
2.5:配置hadoop在你的windows的环境变量
2.6:如果出现一下异常,是因为你的本地java环境配置有关系,检查java环境配置是不是有空格,仔细再仔细查看java环境
Error: JAVA_HOME is incorrectly set.
错误:Java_HOME设置错误。
P1easeUPDATE D:softapplDevelopment hadapplugrllocal\Hadoop letc{Hadoop lhadoop-env.cmd
'一xmx512m’不是内部或者外部命令也不是可运行的程序
或批处理文件.
2.7:win+r唤出窗口,hadoop version,显示版本号成功,此刻你可以在本地cmd创建你集群上的文件夹了
2.8:重启idea,运行代码
以上记录学习过程不过还有一些不懂的东西,希望有了解的大佬给我留言,让我学习更多
1:为什么本地开发还需要搞一个客户端,原因是什么,还有没有更好方法代替在本地安装hadoop客户端的方法
2:我成功往hdfs新增了数据,但是用hive查询不出来,看来还有一些我不知道的弯弯绕绕
后续:下午安装号客户端,晚上群里就有老哥说自己遇到过同样的问题,还把博客地址告诉我了,嘤嘤嘤,早点知道这个办法就好 了