Flink源码剖析:Jar包任务提交流程 Flink基于用户程序生成JobGraph,提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)1Flink run 提交Jar包流程分析首先分析run脚本可以找到入口类CliFrontend,这个类在main方法中解析参数,基于第二个参数定位到run方法:try { // do action...
Flink基础:时间和水印 往期推荐:Flink基础:入门介绍Flink基础:DataStream APIFlink基础:实时处理管道与ETLFlink深入浅出:资源管理Flink深入浅出:部署模式Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析本篇终...
Flink基础:实时处理管道与ETL 往期推荐:Flink基础:入门介绍Flink基础:DataStream APIFlink深入浅出:资源管理Flink深入浅出:部署模式Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析Flink的经典使用场景是ETL,即Extra...
《大画汽车:图解汽车奥秘》—— 读书笔记 ——图片来自绿洲·AE86 ——本书是看过最浅显易懂的汽车书了,从汽车发展的历史,讲到发动机、变速箱等重要组件,从汽车行驶到安全,最后介绍了汽车的设计与制造流程,整体对汽车的认识更近了一步。1 汽车的发展马车时代:最初的车辆源自于马车,由马牵引两轮的车辆行驶,因此当时的车夫和马匹是最重要的交通组成。蒸汽机时代:18世纪西方进入蒸汽机的时代,英格兰人利用煤炭将水烧开,...
Flink深入浅出: 资源管理(v1.11) —— 图片来自 《国家地理中文网》——往期推荐:Flink深入浅出:部署模式Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在资源管理上可以分为两层:集群资源和自身...
Flink深入浅出: 应用部署与原理图解(v1.11) 往期推荐:Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Applicati...
Kubeflow实战: 入门介绍与部署实践 更多内容关注专辑:机器学习实战1 介绍Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合,内部集成的方式融合机器学习中的很多领域的开源项目,比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段:数据预处理、模型训练、模型预测、服务管理等进行管理。只要安装了k8s,可以在本地、机房、云环境中...
来自马铁大神的Spark10年回忆录 本篇分享来自Martei在Spark AI Submit 2020的开场分享。马铁是谁什么!你不知道马铁是谁?Martei Zaharia(说实话,不知道谁给起的中文名字叫马铁,跟着叫就是了),现任Databricks的CTO,也许Databricks你也不是很熟,Spark总是听过的吧?可以说Spark就出自Martei之手,项目开源后组了个公司专门基于Spark提供企业服务。...
Spark 3.0 新特性 之 自适应查询与分区动态裁剪 Spark憋了一年半的大招后,发布了3.0版本,新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心:BI与AI。下面是本次发布的主要特性,包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。本次主要整理了性能方面的优化,包括了自适应查询与动态分区裁剪。1 自适应查询AQE,Adaptive Query Execution,说的...
基于TensorFlow的深度学习系列教程 2——常量Constant 基于TensorFlow的深度学习系列教程 2——常量Constant 前面介绍过了Tensorflow的基本概念,比如如何使用tensorboard查看计算图。本篇则着重介绍和整理下Constant相关的内容。基于TensorFlow的深度学习系列教程 1——Hello World!常量的概念在tensorflow中,数据分为几种类型:...
深度学习Tensorflow生产环境部署(下·模型部署篇) 深度学习Tensorflow生产环境部署(下·模型部署篇) 前一篇讲过环境的部署篇,这一次就讲讲从代码角度如何导出pb模型,如何进行服务调用。1 hello world篇部署完docker后,如果是cpu环境,可以直接拉取tensorflow/serving,如果是GPU环境则麻烦点,具体参考前一篇,这里就不再赘述了。cpu版本的可以直接...
深度学习Tensorflow生产环境部署(上·环境准备篇) 最近在研究Tensorflow Serving生产环境部署,尤其是在做服务器GPU环境部署时,遇到了不少坑。特意总结一下,当做前车之鉴。1 系统背景系统是ubuntu16.04ubuntu@ubuntu:/usr/bin$ cat /etc/issueUbuntu 16.04.5 LTS \l或者ubuntu@ubuntu:/usr/bin$ uname -m &a...
Crontab和sudo中无法使用TensorFlow ImportError libcublas.so.9.0 最近因为特殊的原因重新安装了python,但是引发了一个很严重的问题——TensorFlow不好使了。比如我下面这个执行文件test.py:import tensorflow as tfprint(tf.__version__)得到的结果:ubuntu@ubuntu:~/workspace$ sudo python test.pyTraceback (most recent ...
基于TensorFlow的深度学习系列教程 1——Hello World! 最近看到一份不错的深度学习资源——Stanford中的CS20SI:《TensorFlow for Deep Learning Research》,正好跟着学习一下TensorFlow的基础,还是收获颇丰,随手整理成博客随时翻阅。为什么选择TensorFlow?自从12年AlexNet获得ImageNet大赛的冠军后,深度学习开始流行起来,也因为硬件的快速发展GPU并行计算配合易...
想要接触人工智能吗?先要学会如何阅读论文 凭借着对算法和AI的向往,终于有机会接触到人工智能的领域。现在的主要工作就是在OCR文字识别,期间也看了不少的论文,从CTPN到Faster RCNN,再到EAST和FOTS。最开始因为刚接触这个领域,很多名词看不懂,论文阅读非常吃力,后来随着知识的积累和深入,现在阅读也变得轻松起来。最近关注爱可可老师的微博,刚好发现了这篇文章——《How to Read a Paper》,感觉非常适...
《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记 《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记 第一章 什么是数据化运营 posted @ 2018-12-09 20:27 xingoo 阅读(...) 评论(...) 编辑 收藏 ...
《新参者》—— 读后总结 “新参者”在日语中是新加入的人的意思,在这里指代两个人,一个是书中的死者三井峰子;一个是刑警加贺恭一郎。三井峰子刚刚来到人形町附近就被杀害、而加贺恭一郎因工作原因被降职到人形町,通过与当地居民的聊天接触,从家长里短的聊天中发现了事情的真相。其中有很多感人的小故事,虽然最终证实都与凶案无关,但是每个细节都排除了一种作案动机,思路非常巧妙。不在现场时间错乱的保险销售员保险员从死者家...
《增长黑客》—— 读后总结 《增长黑客》—— 读后总结 之前读到四分之三的时候,手机丢了,无奈放弃微信读书就没继续读;后来换了手机,终于把这本书给续上了。第一章 增长黑客的崛起第二章 创造正确的产品第三章 获取用户第四章 激发活跃第五章 提高留存第六章 增加收入第七章 病毒传播第八章 完整案例附录——关注的指标...
在Java Web中使用Spark MLlib训练的模型 在Java Web中使用Spark MLlib训练的模型 PMML是一种通用的配置文件,只要遵循标准的配置文件,就可以在Spark中训练机器学习模型,然后再web接口端去使用。目前应用最广的就是基于Jpmml来加载模型在javaweb中应用,这样就可以实现跨平台的机器学习应用了。训练模型首先在spark MLlib中使用mllib包下的逻...