大数据入门
珊丹丹花开红艳艳的学习笔记
Python程序员,专注爬虫三百年,java初级
展开
-
flink单机启动集群,访问web UI,slot显示0
进程没有启动TaskManagerRunner启动TaskManager.sh原创 2021-08-11 20:50:39 · 2286 阅读 · 4 评论 -
flink 启动java.lang.NoClassDefFoundError: org/apache/flink/runtime/util/config/memory/ProcessMemorySpe
flink standalone模式启动,但是报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/runtime/util/config/memory/ProcessMemorySpec。花了很长时间 Google也找不到一模一样的错误,于是去群里找人指教,发现在lib目录下,多了一个低版本的dist包,之前是捣鼓flinkx放进去的,忘记删了。。。删掉就可以正常启动了...原创 2021-08-10 18:04:05 · 1714 阅读 · 0 评论 -
Flink统计同个数据源,DataSet API能统计数量为1的单词并打印出来,在DataStream API中用批处理模式无法打印出统计结果为1的单词
1.问题:对于统计同个数据源,DataSet API能统计数量为1的单词并打印出来,在DataStream API中用批处理模式无法打印出统计结果为1的单词2.问题截图(批计算/流计算):3.代码(批计算/流计算):public class DataSetWordCount { public static void main(String[] args) throws Exception{ ExecutionEnvironment env = Execution原创 2021-06-29 11:34:51 · 243 阅读 · 0 评论 -
在idea环境中做checkpoint后端状态保存hdfs时候报错:Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeExc
1.报错详情Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded原创 2021-06-28 10:25:53 · 982 阅读 · 0 评论 -
大数据开发工程师学习(一)-攻克Linux
1.secureCRT下载地址 ,链接: https://pan.baidu.com/s/1oR6nMRHGiDENMZFpgXBHyA ,提取码: dws32.安装原创 2021-06-16 23:26:11 · 105 阅读 · 4 评论 -
单机Flink怎么测试使用flink cdc stream API
整个代码处理的流程不清楚,有没有案例或者大神可以指导一下谢谢原创 2021-04-19 14:00:05 · 311 阅读 · 0 评论 -
有没有flink开发经验,用flink CDC connector读取mysql,再kafka消息推送到hive表中
有没有flink开发经验,用flink CDC connector读取mysql,再kafka消息推送到hive表中---------------------------------------------------------------------------------------------------------------求指教原创 2021-04-16 16:41:05 · 464 阅读 · 1 评论 -
(解决)flink 单机部署,启动后进程没有StandaloneSessionClusterEntrypoint,web无法访问8081端口
--------------------------以下为解决--------------------原因:一般都是8081端口被占用报错日志:仔细阅读可以看到8081端口被占用2021-06-17 15:47:11,069 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint [] - ------------------------------------------------------------...原创 2021-04-15 14:51:48 · 6109 阅读 · 4 评论