![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
东南培训院
这个作者很懒,什么都没留下…
展开
-
Hadoop搭建高可用集群,出现Container exited with a non-zero exit code 1. Error file: prelaunch.err.
前情提要:搭建好Hadoop HA集群后,试着跑一个wordcount,结果居然出了这个问题:Container exited with a non-zero exit code 1. Error file: prelaunch.err.捏????,怎么回事?之前伪分布式或者非高可用的完全分布式好像没有这个问题啊?于是百度,噢,原来是mapred-site.xml和yarn-site.xml里要加上classpath输入hadoop classpath,出来一大串然后复制这一大串,到map原创 2020-09-02 16:11:37 · 6727 阅读 · 2 评论 -
Hive3.1.2 on MapReduce,Reduce的时候出错
用的Hadoop3.3.0 jdk8记录一下,真的很奇怪,网上根本找不到解决方法随便写一段sql,hive> select a.moviename ,(select b.movieid from t_rating b) as movie_id from t_movie a;运行过程:Warning: Map Join MAPJOIN[32][bigTable=?] in task 'Stage-5:MAPRED' is a cross productWarning: Shuffle Jo原创 2020-09-02 12:50:27 · 1870 阅读 · 3 评论 -
CentOS8上的Zookeeper集群搭建
写在前面,从网上东拼西凑+踩坑记录,写的也许有错,麻烦提醒一下哈可能是最好搭建的集群之一Zookeeper最好搭建奇数台。如果集群内可用的机器>50%,对外就是可用的。这里我搭3台,master,worker1,worker2;1:Zookeeper的下载:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz用3.6.1的版本。2:先在原创 2020-08-14 10:45:10 · 844 阅读 · 0 评论 -
Hbase 2.2.4集群部署在Hadoop3.3.0上
HBase2.2.4分布式集群部署。原创 2020-08-14 09:26:47 · 1199 阅读 · 0 评论 -
Hadoop 3.3.0 HA(高可用)集群搭建
Hadoop 3.3.0 HA模式搭建原创 2020-08-14 09:24:59 · 3964 阅读 · 1 评论 -
Hive 3.1.2在Hadoop3.3.0上的安装(部署)
Hive3.1.2部署。用Mysql8原创 2020-08-14 09:23:30 · 2253 阅读 · 0 评论 -
Hadoop完全分布式集群搭建(Hadoop3.3.0)
写在前面:学习记录3~免得以后忘了完全分布式集群搭建前情提要:https://blog.csdn.net/l1682686/article/details/107713274最好先搭个伪分布式练练手。假如你搭好了,那么关闭防火墙systemctl stop firewalld.service1 克隆前配置1.1先修改一下 /etc/hadoop下的core-site.xml:我决定主机名用“master”,所以用master替代了原来的localhost。1.2修改yarn-sit原创 2020-08-05 15:07:50 · 4138 阅读 · 1 评论 -
在Windows上配置hadoop调试环境
写在前面:记录学习路线2~~ 毕竟linux还是没windows用的舒服1:配置Hadoop环境这里用Hadoop 3.2.1,下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz下载后解压。下载winutils,下载地址:https://github.com/lq-lab/winutils-1下载后解压,将对应版本的文件夹中的bin目录下的东西全放原创 2020-08-04 11:35:12 · 299 阅读 · 0 评论 -
HADOOP学习:配置伪分布式集群
写在前面:2020年找到工作,转岗JAVA大数据。之前写前后端,约等于从零开始,所以仅记录一下自己的学习路线,免得以后忘了~Hadoop 3.3.0配置伪分布式一、1.1 准备工作在虚拟机上装好centOS8,注册用户hadoop在主文件夹中新建文件夹app,将下载好的hadoop3.3.0.tar.gz与jdk一同传入虚拟机中。(使用vmware tools)解压程序包,命令:tar –zxvf (file_name)创建软链接,命令:ln -s (file_name)1.2:配置原创 2020-07-31 17:05:46 · 1245 阅读 · 0 评论