hadoop
red-Rain
是什么,为什么,怎么做,原理是
展开
-
Flink 生产配置实践<搬运>
以下是搬运flink官方教学视频运维篇配置原作者–席建刚(趣头条 实时平台负责人)#jobManager的IP地址jobmanager.rpc.address: localhost#JobManager的端口号jobmanager.rpc.port: 6123JobManager JvM heap 内存大小JVMjobmanager.heap.mb: 1024#TaskManager JvM heap内存大小JVMtaskmanager.heap.mb: 1024#每个TaskManager提转载 2020-11-23 12:14:24 · 373 阅读 · 0 评论 -
window安装hadoop客户端
window安装hadoop客户端场景提示:在我做flink到hive的sink练习的时候,运行代码时发生异常:HADOOP_HOMEand hadoop.home.dir are unset1:分析:我在本地虚拟机已经按照hadoop集群,在工程里的配置也指向我的集群地址,讲实话想不到会是什么原因导致没有设置hadoop,在网上查资料解释是说我没有在本地安装hadoop,但我以为我在集群部署了。后来想经验丰富的大佬求问才知道我需要在window安装hadoop的客户端才行,并不需要安hadoop,因为原创 2020-10-09 23:11:49 · 439 阅读 · 0 评论 -
启动hadoop异常
启动hadoop异常背景:在安装flink on yarn的时候发现一年前安装的hadoop集群有不少问题,由于安装太久忘记了很多配置,所以重装了hadoop,但是启动hadoop异常,在网络上寻找答案很快解决问题,不过对于问题的产生没有在答案里看到异常信息:ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT解决办法:在你的Hadoop集群所有节点的安装目录hadoop/etc/hadoop/start-dfs.sh hadoop/etc/hado原创 2020-09-13 23:55:45 · 115 阅读 · 0 评论 -
关于我在Hadoop3.2.1集群安装hive3.1.2的过程记录
背景前提已经安装好了hadoop3.2.1集群,但是没有安装hive,hadoop3.2.1是比较新的版本,在网上有不少hadoop3.2.x版本安装hive3.1.2所以我认为,这两个版本应该是兼容的,整体安装是比较简单的,但还是遇到一些问题,所以记录一下安装hive下载地址:http://archive.apache.org/dist/hive/hive-3.1.2/[root@slave1 ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz [root原创 2020-09-11 20:12:38 · 1014 阅读 · 0 评论