![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 57
AKA石头
把握时间,掌握方向
展开
-
centos7 安装hive 附带idea调试运行hive程序代码
1、hadoop集群或者伪集群2、mysql5或者8版本3、jdk版本1.8.0_3114、服务器版本centos75、hive版本2.2.06、hadoop版本2.9.2。原创 2022-07-22 14:26:23 · 444 阅读 · 0 评论 -
hadoop集群启动后从机datanode没有启动
问题 当我启动 hadoop 集群时,通过命令 jps 查看进程发现并没有 datanode 进程,说明 datanode 启动失败。 [root@slave1 ~]# jps 19826 Jps 19673 NodeManager 解决办法 删除掉主机和从机的 data 文件,data文件目录在 hdfs-site.xml 中配置 <property> <name>dfs.datanode.data.dir</name> <value>/h原创 2021-11-04 14:35:13 · 1735 阅读 · 0 评论 -
centos7安装hadoop集群(亲测可用)
环境准备 1、hadoop集群 host hostname 192.168.46.22 master 192.168.46.23 slave1 192.168.46.24 slave2 2、软件版本 centos7:CentOS-7-x86_64-DVD-1708.iso 下载地址 hadoop:hadoop-2.9.2.tar.gz 下载地址 jdk:jdk-8u311-linux-x64.tar.gz 下载地址 虚拟机:VMware® Workstation 16 Pro 开原创 2021-11-03 13:42:01 · 3904 阅读 · 3 评论 -
windows 调试hadoop 程序
1、首先在hadoop 官网下载对应的 hadoop 版本 https://archive.apache.org/dist/hadoop/common/ 2、配置相关参数,进行namenode初始化 3、下载windows hadoop 工具包 https://github.com/steveloughran/winutils 4、用下载下来的bin 替换已有的bin目录 5、把hadoop.dll 放入C:\Windows\System32\ 下面 6、打开idea file -> Project原创 2021-07-28 17:23:31 · 166 阅读 · 0 评论 -
idea Sources for ‘hadoop-mapreduce-client-core-2.9.2.jar‘ not found
问题重现 在idea 中下载hadoop 的源代码包时提示下载失败 Sources for ‘hadoop-mapreduce-client-core-2.9.2.jar’ not found 思考 经过多番搜索也没有解决我的这个问题,后来经过看hadoop 的pom.xml 中的版本和我本机装的版本不同,导致不能下载依赖。 1、本机装的 hadoop 版本 2、项目文件中 hadoop 版本 解决办法 本机装的 hadoop 版本要和工程中使用的 hadoop 版本一样 ...原创 2021-07-28 17:05:56 · 460 阅读 · 0 评论