- 博客(11)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 错误object is not a member of package
具体：flink 源码运行 example 出错object completeness is not a member of package org.apache.flink.api.scalaimport org.apache.flink.api.scala.completeness.ScalaAPICompletenessTestBase解决： 找到idea build ----> rebuild project就好...
2020-05-29 14:11:02
10087
2
原创 多模块项目Module must not contain source root. The root already belongs to module
将该模块下的.iml文件删除，重新导入项目即可。
2020-05-28 17:16:58
657
原创 groovy 及 groovy classloader的使用
import groovy.lang.GroovyClassLoader;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;public static void main(String[] args) throws NoSuchMethodException, IllegalAccessException, InstantiationException { //字符串转j.
2020-05-27 22:45:18
4219
1
转载 flink runtime 三个组件 dispatcher,jobmanager,jobmaster
模式在yarn-session模式下，共享一个dispatcherorg.apache.flink.runtime.dispatcher.Dispatcher 这个类，这里接收到客户端传上来的作业图代码分析//这里就是分发器接收到作业图 @Override public CompletableFuture<Acknowledge> submitJob(JobGraph jobGraph, Time timeout) { log.info("Receiv...
2020-05-25 19:22:12
760
原创 flink jobmanager启动
入口分析从flink安装包的bin/start-cluster.sh分析开始，会发现Jm的主类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint，tm的主类是org.apache.flink.runtime.taskexecutor.TaskManagerRunnerStandaloneSessionClusterEntrypointpublic static void main(String[] args)
2020-05-25 19:20:23
937
原创 flink jobmaster分析
一、JobMaster和JobManager在上一篇着重分析了工作图的导入和分发，由于版本迭代的缘故，JobMaster和JobManager完成的工作逻辑基本是一样的，这里只介绍Jobmaster，这里不再介绍老的JobManager。在前面提到过，工作的图的传递和分发是通过JobManagerRunner的生成，递送到JobMaster，然后再由ExecutionGraph递送到Task。在前面的代码中：public abstract class Dispatcher extends Fence
2020-05-25 19:18:51
498
原创 flink zookeeper HA 实现分析
Zookeeper HA相关配置## 使用zk做HAhigh-availability: zookeeper## zk地址high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181## flink在zk下的工作路径high-availability.zookeeper.path.root: /flink## 任务所在的HA路径high-availability.cluster-id: /default#.
2020-05-25 19:17:39
2449
原创 flink HighAvailabilityServices源码解析
写在前面：源码查看入口runtime ---> Entrypoint 不同模式对应不同入口，比如 ：StandaloneSessionClusterEntrypoint，ClusterEntrypoint在Entrypoint中初始化 haservier。之后传递到 -->Dispatcher ----> jobmaster -----> jobmanager概述Flink内部有一些服务是JobMaster和TaskExecutor共用的。如..
2020-05-25 19:16:07
325
原创 spark自定义监听器
Spark application 支持自定义listener，用户可以实时获取任务状态给自己的监控系统，可以获取以下几个状态：trait SparkListener { /** * 当一个state执行成功或者失败的时候调用，包含了已完成stage的信息 * Called when a stage completes successfully or fails, with information on the completed stage. */ def onStageC...
2020-05-24 19:35:31
889
原创 IO密集型和计算密集型
一个计算为主的程序（专业一点称为CPU密集型程序）。多线程跑的时候，可以充分利用起所有的cpu核心，比如说4个核心的cpu,开4个线程的时候，可以同时跑4个线程的运算任务，此时是最大效率。但是如果线程远远超出cpu核心数量 反而会使得任务效率下降，因为频繁的切换线程也是要消耗时间的。因此对于cpu密集型的任务来说，线程数等于cpu数是最好的了。如果是一个磁盘或网络为主的程序（IO密集型）。一个线程处在IO等待的时候，另一个线程还可以在CPU里面跑，有时候CPU闲着没事干，所有的线程都在等着IO，
2020-05-14 22:20:58
2293
原创 ClassLoader的使用
JAVA加载JAR包并调用JAR包中某个类的某个方法示例如下：package com.example;public class Runner implements Runnable{ public void run() { System.out.println("the writer is running..."); }}需要将以上类打包成JAR，通过URLClassLoader读取import org.junit.Test;imp...
2020-05-13 23:16:33
351
动手学深度学习.pdf
2019-11-22
基于SSH 教务管理系统
2017-03-21
基于SSH的教务管理系统源码-简易版
2017-03-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人