xingoo

Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)1Flink run 提交Jar包流程分析首先分析run脚本可以找到入口类CliFrontend，这个类在main方法中解析参数，基于第二个参数定位到run方法:try { // do action...

​往期推荐：Flink基础：入门介绍Flink基础：DataStream APIFlink基础：实时处理管道与ETLFlink深入浅出：资源管理Flink深入浅出：部署模式Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析本篇终...

​往期推荐：Flink基础：入门介绍Flink基础：DataStream APIFlink深入浅出：资源管理Flink深入浅出：部署模式Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析Flink的经典使用场景是ETL，即Extra...

​——图片来自绿洲·AE86 ——本书是看过最浅显易懂的汽车书了，从汽车发展的历史，讲到发动机、变速箱等重要组件，从汽车行驶到安全，最后介绍了汽车的设计与制造流程，整体对汽车的认识更近了一步。1 汽车的发展马车时代：最初的车辆源自于马车，由马牵引两轮的车辆行驶，因此当时的车夫和马匹是最重要的交通组成。蒸汽机时代：18世纪西方进入蒸汽机的时代，英格兰人利用煤炭将水烧开，...

—— 图片来自 《国家地理中文网》——往期推荐：Flink深入浅出：部署模式Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在资源管理上可以分为两层：集群资源和自身...

往期推荐：Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在1.11版本新增了一种部署模式，目前支持三种：Session 模式、Per job 模式、Applicati...

更多内容关注专辑:机器学习实战1 介绍Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合，内部集成的方式融合机器学习中的很多领域的开源项目，比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段：数据预处理、模型训练、模型预测、服务管理等进行管理。只要安装了k8s，可以在本地、机房、云环境中...

本篇分享来自Martei在Spark AI Submit 2020的开场分享。马铁是谁什么！你不知道马铁是谁？Martei Zaharia（说实话，不知道谁给起的中文名字叫马铁，跟着叫就是了），现任Databricks的CTO，也许Databricks你也不是很熟，Spark总是听过的吧？可以说Spark就出自Martei之手，项目开源后组了个公司专门基于Spark提供企业服务。...

Spark憋了一年半的大招后，发布了3.0版本，新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心：BI与AI。下面是本次发布的主要特性，包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。本次主要整理了性能方面的优化，包括了自适应查询与动态分区裁剪。1 自适应查询AQE，Adaptive Query Execution，说的...

《Tornado介绍》—— 读后总结 posted @ 2019-01-24 08:29 xingoo 阅读(...) 评论(...) 编辑 收藏

基于TensorFlow的深度学习系列教程 2——常量Constant 前面介绍过了Tensorflow的基本概念，比如如何使用tensorboard查看计算图。本篇则着重介绍和整理下Constant相关的内容。基于TensorFlow的深度学习系列教程 1——Hello World!常量的概念在tensorflow中，数据分为几种类型:...

深度学习Tensorflow生产环境部署（下·模型部署篇） 前一篇讲过环境的部署篇，这一次就讲讲从代码角度如何导出pb模型，如何进行服务调用。1 hello world篇部署完docker后，如果是cpu环境，可以直接拉取tensorflow/serving，如果是GPU环境则麻烦点，具体参考前一篇，这里就不再赘述了。cpu版本的可以直接...

最近在研究Tensorflow Serving生产环境部署，尤其是在做服务器GPU环境部署时，遇到了不少坑。特意总结一下，当做前车之鉴。1 系统背景系统是ubuntu16.04ubuntu@ubuntu:/usr/bin$ cat /etc/issueUbuntu 16.04.5 LTS
\l或者ubuntu@ubuntu:/usr/bin$ uname -m &a...

最近因为特殊的原因重新安装了python，但是引发了一个很严重的问题——TensorFlow不好使了。比如我下面这个执行文件test.py：import tensorflow as tfprint(tf.__version__)得到的结果：ubuntu@ubuntu:~/workspace$ sudo python test.pyTraceback (most recent ...

最近看到一份不错的深度学习资源——Stanford中的CS20SI：《TensorFlow for Deep Learning Research》，正好跟着学习一下TensorFlow的基础，还是收获颇丰，随手整理成博客随时翻阅。为什么选择TensorFlow?自从12年AlexNet获得ImageNet大赛的冠军后，深度学习开始流行起来，也因为硬件的快速发展GPU并行计算配合易...

凭借着对算法和AI的向往，终于有机会接触到人工智能的领域。现在的主要工作就是在OCR文字识别，期间也看了不少的论文，从CTPN到Faster RCNN，再到EAST和FOTS。最开始因为刚接触这个领域，很多名词看不懂，论文阅读非常吃力，后来随着知识的积累和深入，现在阅读也变得轻松起来。最近关注爱可可老师的微博，刚好发现了这篇文章——《How to Read a Paper》，感觉非常适...

《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记 第一章 什么是数据化运营 posted @ 2018-12-09 20:27 xingoo 阅读(...) 评论(...) 编辑 收藏 ...

“新参者”在日语中是新加入的人的意思，在这里指代两个人，一个是书中的死者三井峰子；一个是刑警加贺恭一郎。三井峰子刚刚来到人形町附近就被杀害、而加贺恭一郎因工作原因被降职到人形町，通过与当地居民的聊天接触，从家长里短的聊天中发现了事情的真相。其中有很多感人的小故事，虽然最终证实都与凶案无关，但是每个细节都排除了一种作案动机，思路非常巧妙。不在现场时间错乱的保险销售员保险员从死者家...

《增长黑客》—— 读后总结 之前读到四分之三的时候，手机丢了，无奈放弃微信读书就没继续读；后来换了手机，终于把这本书给续上了。第一章 增长黑客的崛起第二章 创造正确的产品第三章 获取用户第四章 激发活跃第五章 提高留存第六章 增加收入第七章 病毒传播第八章 完整案例附录——关注的指标...

在Java Web中使用Spark MLlib训练的模型 PMML是一种通用的配置文件，只要遵循标准的配置文件，就可以在Spark中训练机器学习模型，然后再web接口端去使用。目前应用最广的就是基于Jpmml来加载模型在javaweb中应用，这样就可以实现跨平台的机器学习应用了。训练模型首先在spark MLlib中使用mllib包下的逻...