![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
jester_jim
终将成佛
展开
-
flink配置之:standalone配置Hadoop、HDFS、Fs状态后端,Hadoop带kerberos认证
一、背景 最近在尝试使用Flink,由于不太懂,所以找了几台测试机器搭了个集群,准备等熟悉了再用On Yarn,主要是Hadoop现在不是我负责管理,用起来不太方便。 在开发了作业运行起来过后,就出现了一个问题,就是状态后端放在哪里。In Memory可定时不行的,这个时候我已经准备把这个作业用到生产中了,要是作业足够稳定的话。为什么需要用到状态后端内,一个是因为有部分数据加载到DataStream需要较长的时间,而在这个加载的时间中,会导致作业的输出完全是错误的(其实就是有用到两张Fl...原创 2020-09-28 18:14:34 · 2839 阅读 · 4 评论 -
hadoop启动报错,mac启动Hadoop报错
报错信息如下:/data/hadoop-3.0.3/bin/../libexec/hadoop-functions.sh: line 398: syntax error near unexpected token `<'/data/hadoop-3.0.3/bin/../libexec/hadoop-functions.sh: line 398: ` done < <(...原创 2019-11-07 11:09:00 · 1639 阅读 · 7 评论 -
在maven中hadoop、spark、streaming、mlib、hive导入包冲突,provided omitted for duplicate
出现provided omitted for duplicate的主要原因是这几个包会相互交集甚至包含的关系,意思就是一个包下面的子jar包在另外一个包中也出现。比如:spark core包和spark streaming就出现大量的重复jar包,其实streaming中可以看到其实spark core已经包含在spark streaming中了甚至包含了大量Hadoop的包,都不需要再次导入...原创 2019-08-09 12:26:05 · 1731 阅读 · 0 评论