![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 69
江门彭于晏
这个作者很懒,什么都没留下…
展开
-
Ubuntu18安装hive时遇到Failed to get schema version.解决办法(MySQL8)
写好了配置文件之后,初始化死活都不过,真的是气死我了,在网上查了很多办法,hive用户权限(我连接的用户为hive)已经搞定了,也能远程连接,还是不过。机缘巧合之下发现在网上搜了下参考:https://www.jb51.net/article/167105.htm修改了MySQL8的时区之后就通过了已正常进入hive...原创 2020-06-04 22:42:39 · 845 阅读 · 0 评论 -
eclipse配置mapreduce全教程
资源提供:https://pan.baidu.com/s/1I-TxOB4qfaPuX3yJN_v9WQHadoop官方:https://hadoop.apache.org/releases.html去官网下载Hadoop的安装包,在windows上解压src的也要下载,上面的链接提供了2.6.5的,需要更高版本自行下载下载好压缩包,在windows上解压,并新建一个hadoop-lib...原创 2019-11-01 11:54:01 · 3649 阅读 · 0 评论 -
ubantu1804安装hadoop2.8.5全教程
之前每个虚拟机需要配好JDK和有hadoop下面只有关于hadoop2.8.5的配置前提将一个虚拟机作为主节点,其他虚拟机作为从节点#设置root的密码sudo passwd root#切换为root用户su root在root用户下运行此命令#这里是给hadoop文件夹授予权限,如果没有这个权限后面格式化操作,就无法创建存储文件的目录,导致logs上写着文件夹不存在,导致...原创 2019-10-31 23:03:34 · 228 阅读 · 0 评论 -
Hadoop3.1.2伪分布式安装
网上和书上的一些教程有一些过时了,于是就写了这篇教程安装之前的要求1. jdk(不要openjdk)2. ssh免密码jdk 从官网中下载jdk1.8 是tar.gz用scp工具传输到Linux /opt/linux中在opt文件夹中用tar -zxvf命令解压配置Java环境变量JAVA_HOME=/var/opt/jdk1.8.0_211PATH=/var/opt/jd...原创 2019-06-02 00:32:13 · 355 阅读 · 0 评论 -
Hadoop3.1.2全分布式安装
安装要求jdkssh免密码具体方法可参考之前的文章顺便提一句在获取密钥之前需要vim /etc/ssh/ssh_config在最后添加 StrictHostKeyChecking no否则secondarynamenode无法启动成功另外需要vim /etc/ssh/sshd_config在最后添加(每个节点都需要,否则就会报Permission denied (pub...原创 2019-06-02 19:21:54 · 699 阅读 · 0 评论 -
hadoop3.1.2 HA高可用搭建
官方文档https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details**1.资源角色规划****2.配置**2.1对全分布式集群的备份,以后想用全分布式的话就把hadoop-full名字改成had...原创 2019-09-05 12:39:19 · 740 阅读 · 1 评论 -
HA高可用同步透穿第二个namenode无法启动解决方法
我搭建HA时,在节点2同步了节点1的信息了,启动namenode发现节点2的namenode无法启动。于是我去翻了日志,发现Encountered exception loading fsimagejava.io.FileNotFoundException: No valid image files found意思是缺少了镜像文件,核对一下,节点2果然缺少了fsimage这个文件很简单...原创 2019-09-05 12:55:52 · 1045 阅读 · 0 评论