非笔记
文章平均质量分 67
aolixingo
这个作者很懒,什么都没留下…
展开
-
Flink java 流处理API
一、创建执行环境 //创建批处理执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); //创建流处理执行环境 StreamExecutionEnvironment env_stream = StreamExecutionEnvironment.getExecutionEnvironment();..原创 2022-01-19 18:15:11 · 1926 阅读 · 0 评论 -
ERROR server.datanode.DataNode: BlockSender.sendChunks() exception问题解决
增加yarn-site-xml的配置<!-- 每个容器请求的最小内存资源(以MB为单位)。--><property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value></property><!-- 每个容器请求的最大内存资源(以MB为单位)。--><property> <name>y原创 2021-09-13 15:57:52 · 1511 阅读 · 0 评论 -
MapReduce框架 当javaBean作为key时 自定义分组规则一定要将排序字段作为分组的字段 否则分组可能会失效。
以手机流量统计案例举例分析:原始文件格式:手机号(phone): 上行流量(upFlow) 下行流量(downFlow) 总流量(sumFlow)13865424521 100 100 20013548796531 200 ...原创 2021-09-12 19:51:30 · 208 阅读 · 0 评论