- 博客(9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop搭建高可用集群，出现Container exited with a non-zero exit code 1. Error file: prelaunch.err.
前情提要：搭建好Hadoop HA集群后，试着跑一个wordcount，结果居然出了这个问题：Container exited with a non-zero exit code 1. Error file: prelaunch.err.捏????，怎么回事？之前伪分布式或者非高可用的完全分布式好像没有这个问题啊？于是百度，噢，原来是mapred-site.xml和yarn-site.xml里要加上classpath输入hadoop classpath，出来一大串然后复制这一大串，到map
2020-09-02 16:11:37
7255
2
原创 Hive3.1.2 on MapReduce,Reduce的时候出错
用的Hadoop3.3.0 jdk8记录一下，真的很奇怪，网上根本找不到解决方法随便写一段sql，hive> select a.moviename ,(select b.movieid from t_rating b) as movie_id from t_movie a;运行过程：Warning: Map Join MAPJOIN[32][bigTable=?] in task 'Stage-5:MAPRED' is a cross productWarning: Shuffle Jo
2020-09-02 12:50:27
1918
3
原创 CentOS8上的Zookeeper集群搭建
写在前面，从网上东拼西凑+踩坑记录，写的也许有错，麻烦提醒一下哈可能是最好搭建的集群之一Zookeeper最好搭建奇数台。如果集群内可用的机器>50%,对外就是可用的。这里我搭3台，master，worker1，worker2；1：Zookeeper的下载：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz用3.6.1的版本。2：先在
2020-08-14 10:45:10
863
原创 Hadoop完全分布式集群搭建（Hadoop3.3.0）
写在前面：学习记录3~免得以后忘了完全分布式集群搭建前情提要：https://blog.csdn.net/l1682686/article/details/107713274最好先搭个伪分布式练练手。假如你搭好了，那么关闭防火墙systemctl stop firewalld.service1 克隆前配置1.1先修改一下 /etc/hadoop下的core-site.xml:我决定主机名用“master”，所以用master替代了原来的localhost。1.2修改yarn-sit
2020-08-05 15:07:50
4177
1
原创 在Windows上配置hadoop调试环境
写在前面：记录学习路线2~~ 毕竟linux还是没windows用的舒服1:配置Hadoop环境这里用Hadoop 3.2.1，下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz下载后解压。下载winutils，下载地址：https://github.com/lq-lab/winutils-1下载后解压，将对应版本的文件夹中的bin目录下的东西全放
2020-08-04 11:35:12
322
原创 HADOOP学习：配置伪分布式集群
写在前面：2020年找到工作，转岗JAVA大数据。之前写前后端，约等于从零开始，所以仅记录一下自己的学习路线，免得以后忘了~Hadoop 3.3.0配置伪分布式一、1.1 准备工作在虚拟机上装好centOS8，注册用户hadoop在主文件夹中新建文件夹app，将下载好的hadoop3.3.0.tar.gz与jdk一同传入虚拟机中。(使用vmware tools）解压程序包，命令：tar –zxvf (file_name)创建软链接，命令：ln -s (file_name)1.2：配置
2020-07-31 17:05:46
1276
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人