SUDDEV的博客

安装Hadoop的时候，需要配置ssh无密登录 运行ssh localhsot的时候会报错： ssh：connect to host localhost port 22: Connection refused 因为我个人安装的是Manjaro Linux所以这里给出Manjaro系统的解决办法因为Manjaro默认是安装了ssh的所以我们只需要将它启动就可以了参考命令:# sys...

文章目录1.UDF函数分类2.自定义UDF函数2.1 导入Maven依赖2.1 编写自定义函数2.2 打包成jar并上传到hive所在服务器2.3 注册UDF函数2.3.1 临时注册1.UDF函数分类UDF : User-Defined Function （用户自定义函数）一进一出UDAF : User-Defined Aggregation Function（用户自定义聚合函数） 多进一出...

前言今天下载azkaban并编译，使用solo模式运行。在我解压后运行start-solo.sh时出发现运行失败，查看日志发现如下错误[hadoop@hadoop001 azkaban-solo-server]$ tail bin/soloServerLog__2019-09-25+15\:43\:52.out 2019/09/25 15:44:00.193 +0800 INFO [Azka...

1.准备一份写好的mapreduce代码2.本地添加yarn-site.xmlhadoop001改为你对应的集群hostname<?xml version="1.0"?><configuration> <!-- Site specific YARN configuration properties --> <property>...

hadoop版本2.7.1在mapred-site.xml中添加配置<property> <name>mapreduce.app-submission.cross-platform</name> <value>true</value></property>

1.脚本get_hdfs_ha_state.sh#!/bin/bashNN1_HOSTNAME=""NN2_HOSTNAME=""NN1_SERVICEID=""NN2_SERVICEID=""NN1_SERVICESTATE=""NN2_SERVICESTATE=""#failover预警邮箱EMAIL=1115346515@qq.com#CDH_BIN_HOME=/...

文章目录1.HDFS HA的概念和架构2.Yarn HA概念和架构最近开始自学大数据，学习过程中将一些知识点整理一下，方便自己复习1.HDFS HA的概念和架构什么是HA？ HA全称是High Availability，也就是高可用的意思。在企业中往往会使用集群来解决可用性问题，实现高可用。在HDFS的架构中，NameNode是负责客户端请求的响应以及元数据的管理（查询，修改等），所以N...

文章目录1.前言2.环境准备直接从 Cloudera官网下载的hadoop-2.6.0-cdh5.15.1是不支持压缩的，而生产上往往需要这方面的支持，所以需要自行下载源码并编译，这里记录一下自己编译的过程。1.前言首先我们使用命令hadoop checknative查看官方下载的hadoop-2.6.0-cdh5.15.1对压缩支持的情况[root@suddev bin]# hado...

提交mapreduce的example案例到YARN上运行时，一直卡在map 0% reduce 0%,报错提示:Job job_** failed with state FAILED due to: Application application_*** failed 2 times due to AM Container for appattempt_*** exited with exi...

文章目录1.为什么使用离线部署2.准备工作2.1 离线部署主要分为三个模块:2.2 集群规划2.3 离线部署包下载3.集群节点初始化3.1 准备三台机器3.2 修改当前笔记本或台式机配置hosts文件3.3 设置所有节点的hosts文件3.4 关闭所有节点的防火墙及清空规则3.5 关闭所有节点的selinux3.6 设置所有节点的时区一致及时钟同步3.7 JDK部署3.8 hadoop001节点离...