hadoop
七连的最后一个士兵
一个喜欢健身 热爱生活 喜欢繁华的城市 喜欢旅游的 程序猿
展开
-
Hadoop HDFS高可用HA中Active和standby主备切换失败:WARN org.apache.hadoop.ha.FailoverController
Hadoop高可用HA中Active和standby主备切换失败:WARN org.apache.hadoop.ha.FailoverController1:首先 看一下 hdfs-site.xml 和 core-site.xml 中 配置的开启 的自动故障转移 配置 是否正确:hdfs-site.xml:<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true<原创 2021-02-02 09:16:34 · 641 阅读 · 0 评论 -
hive创建自定函数UDF
hive创建自定函数UDF1:创建maven工程 引入 hive-exec 依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> </dependency>原创 2021-01-26 16:08:49 · 149 阅读 · 0 评论 -
Hive创建自定义函数报错:FAILED: SemanticException Temporary function cannot be created with a qualified name
Hive创建自定义函数报错:FAILED: SemanticException Temporary function cannot be created with a qualified namehive创建临时自定义函数报错:hive (default)> create temporary function banzhang.addFive as 'com.atguigu.hive.Text';FAILED: SemanticException Temporary function canno原创 2021-01-26 15:45:30 · 1747 阅读 · 1 评论 -
hadoop2.7.2配置集群群起
hadoop2.7.2配置集群群起1:首先配置好集群的ssh配置 无密访问2:配置slaves 写入各个虚拟机的主机名称hadoop2.7.2/etc/hadoop/slaves注意的地方是 在修改文件时 不能有空格换行等 不然会报错3:启动集群 :启动前保证各个集群中的namenode datanode 等 节点 全部正常关闭启动hdfs各个节点启动yarn各个节点 :要注意 要在自己Resourcemanager节点的虚拟机上启动...原创 2020-12-15 17:00:26 · 148 阅读 · 0 评论 -
hadoop2.7.2配置历史服务器
hadoop2.7.2配置历史服务器1:首先保证mapReduce 服务正常运行2:配置 etc/hadoop 中的 mapred-site.xml 文件[root@hadoop105 hadoop-2.7.2]# vim etc/hadoop/mapred-site.xml 在该文件下添加如下配置:mapreduce.jobhistory.addresshadoop105:10020 mapreduce.jobhistory.webapp.address had原创 2020-12-14 16:06:45 · 394 阅读 · 0 评论