- 博客(1036)
- 资源 (9)
- 收藏
- 关注
原创 Flink源码剖析:Jar包任务提交流程
Flink基于用户程序生成JobGraph,提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)1Flink run 提交Jar包流程分析首先分析run脚本可以找到入口类CliFrontend,这个类在main方法中解析参数,基于第二个参数定位到run方法:try { // do action...
2021-01-19 21:19:00 1002
原创 Flink基础:时间和水印
往期推荐:Flink基础:入门介绍Flink基础:DataStream APIFlink基础:实时处理管道与ETLFlink深入浅出:资源管理Flink深入浅出:部署模式Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析本篇终...
2020-11-14 23:36:00 1405 5
原创 Flink基础:实时处理管道与ETL
往期推荐:Flink基础:入门介绍Flink基础:DataStream APIFlink深入浅出:资源管理Flink深入浅出:部署模式Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析Flink的经典使用场景是ETL,即Extra...
2020-11-11 21:23:00 699
原创 《大画汽车:图解汽车奥秘》—— 读书笔记
——图片来自绿洲·AE86 ——本书是看过最浅显易懂的汽车书了,从汽车发展的历史,讲到发动机、变速箱等重要组件,从汽车行驶到安全,最后介绍了汽车的设计与制造流程,整体对汽车的认识更近了一步。1 汽车的发展马车时代:最初的车辆源自于马车,由马牵引两轮的车辆行驶,因此当时的车夫和马匹是最重要的交通组成。蒸汽机时代:18世纪西方进入蒸汽机的时代,英格兰人利用煤炭将水烧开,...
2020-10-14 08:14:00 536
原创 Flink深入浅出: 资源管理(v1.11)
—— 图片来自 《国家地理中文网》——往期推荐:Flink深入浅出:部署模式Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在资源管理上可以分为两层:集群资源和自身...
2020-10-13 08:13:00 400
原创 Flink深入浅出: 应用部署与原理图解(v1.11)
往期推荐:Flink深入浅出:内存模型Flink深入浅出:JDBC Source从理论到实战Flink深入浅出:Sql Gateway源码分析Flink深入浅出:JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Applicati...
2020-10-10 17:46:00 380
原创 Kubeflow实战: 入门介绍与部署实践
更多内容关注专辑:机器学习实战1 介绍Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合,内部集成的方式融合机器学习中的很多领域的开源项目,比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段:数据预处理、模型训练、模型预测、服务管理等进行管理。只要安装了k8s,可以在本地、机房、云环境中...
2020-08-07 22:10:00 8418 3
原创 来自马铁大神的Spark10年回忆录
本篇分享来自Martei在Spark AI Submit 2020的开场分享。马铁是谁什么!你不知道马铁是谁?Martei Zaharia(说实话,不知道谁给起的中文名字叫马铁,跟着叫就是了),现任Databricks的CTO,也许Databricks你也不是很熟,Spark总是听过的吧?可以说Spark就出自Martei之手,项目开源后组了个公司专门基于Spark提供企业服务。...
2020-07-27 22:10:00 432
原创 Spark 3.0 新特性 之 自适应查询与分区动态裁剪
Spark憋了一年半的大招后,发布了3.0版本,新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心:BI与AI。下面是本次发布的主要特性,包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。本次主要整理了性能方面的优化,包括了自适应查询与动态分区裁剪。1 自适应查询AQE,Adaptive Query Execution,说的...
2020-07-26 17:43:00 735
原创 《Tornado介绍》—— 读后总结
《Tornado介绍》—— 读后总结 posted @ 2019-01-24 08:29 xingoo 阅读(...) 评论(...) 编辑 收藏
2019-01-24 08:29:00 248
原创 基于TensorFlow的深度学习系列教程 2——常量Constant
基于TensorFlow的深度学习系列教程 2——常量Constant 前面介绍过了Tensorflow的基本概念,比如如何使用tensorboard查看计算图。本篇则着重介绍和整理下Constant相关的内容。基于TensorFlow的深度学习系列教程 1——Hello World!常量的概念在tensorflow中,数据分为几种类型:...
2019-01-05 17:19:00 687
原创 深度学习Tensorflow生产环境部署(下·模型部署篇)
深度学习Tensorflow生产环境部署(下·模型部署篇) 前一篇讲过环境的部署篇,这一次就讲讲从代码角度如何导出pb模型,如何进行服务调用。1 hello world篇部署完docker后,如果是cpu环境,可以直接拉取tensorflow/serving,如果是GPU环境则麻烦点,具体参考前一篇,这里就不再赘述了。cpu版本的可以直接...
2019-01-03 21:05:00 5691 1
原创 深度学习Tensorflow生产环境部署(上·环境准备篇)
最近在研究Tensorflow Serving生产环境部署,尤其是在做服务器GPU环境部署时,遇到了不少坑。特意总结一下,当做前车之鉴。1 系统背景系统是ubuntu16.04ubuntu@ubuntu:/usr/bin$ cat /etc/issueUbuntu 16.04.5 LTS \n \l或者ubuntu@ubuntu:/usr/bin$ uname -m &a...
2019-01-03 20:21:00 734
原创 Crontab和sudo中无法使用TensorFlow ImportError libcublas.so.9.0
最近因为特殊的原因重新安装了python,但是引发了一个很严重的问题——TensorFlow不好使了。比如我下面这个执行文件test.py:import tensorflow as tfprint(tf.__version__)得到的结果:ubuntu@ubuntu:~/workspace$ sudo python test.pyTraceback (most recent ...
2019-01-02 21:27:00 292
原创 基于TensorFlow的深度学习系列教程 1——Hello World!
最近看到一份不错的深度学习资源——Stanford中的CS20SI:《TensorFlow for Deep Learning Research》,正好跟着学习一下TensorFlow的基础,还是收获颇丰,随手整理成博客随时翻阅。为什么选择TensorFlow?自从12年AlexNet获得ImageNet大赛的冠军后,深度学习开始流行起来,也因为硬件的快速发展GPU并行计算配合易...
2018-12-23 14:37:00 216
原创 想要接触人工智能吗?先要学会如何阅读论文
凭借着对算法和AI的向往,终于有机会接触到人工智能的领域。现在的主要工作就是在OCR文字识别,期间也看了不少的论文,从CTPN到Faster RCNN,再到EAST和FOTS。最开始因为刚接触这个领域,很多名词看不懂,论文阅读非常吃力,后来随着知识的积累和深入,现在阅读也变得轻松起来。最近关注爱可可老师的微博,刚好发现了这篇文章——《How to Read a Paper》,感觉非常适...
2018-12-22 17:15:00 237
原创 《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记
《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记 第一章 什么是数据化运营 posted @ 2018-12-09 20:27 xingoo 阅读(...) 评论(...) 编辑 收藏 ...
2018-12-09 20:27:00 1595
原创 《新参者》—— 读后总结
“新参者”在日语中是新加入的人的意思,在这里指代两个人,一个是书中的死者三井峰子;一个是刑警加贺恭一郎。三井峰子刚刚来到人形町附近就被杀害、而加贺恭一郎因工作原因被降职到人形町,通过与当地居民的聊天接触,从家长里短的聊天中发现了事情的真相。其中有很多感人的小故事,虽然最终证实都与凶案无关,但是每个细节都排除了一种作案动机,思路非常巧妙。不在现场时间错乱的保险销售员保险员从死者家...
2018-11-23 22:13:00 1010
原创 《增长黑客》—— 读后总结
《增长黑客》—— 读后总结 之前读到四分之三的时候,手机丢了,无奈放弃微信读书就没继续读;后来换了手机,终于把这本书给续上了。第一章 增长黑客的崛起第二章 创造正确的产品第三章 获取用户第四章 激发活跃第五章 提高留存第六章 增加收入第七章 病毒传播第八章 完整案例附录——关注的指标...
2018-11-16 22:36:00 3037
原创 在Java Web中使用Spark MLlib训练的模型
在Java Web中使用Spark MLlib训练的模型 PMML是一种通用的配置文件,只要遵循标准的配置文件,就可以在Spark中训练机器学习模型,然后再web接口端去使用。目前应用最广的就是基于Jpmml来加载模型在javaweb中应用,这样就可以实现跨平台的机器学习应用了。训练模型首先在spark MLlib中使用mllib包下的逻...
2018-11-15 21:35:00 954
原创 《百面机器学习》—— 读后总结
《百面机器学习》—— 读后总结 posted @ 2018-10-27 15:52 xingoo 阅读(...) 评论(...) 编辑 收藏
2018-10-27 15:52:00 4038 1
原创 《歪笑小说》—— 读后总结
《歪笑小说》—— 读后总结 之前很少接触写作的人或者说周围很少有专职写作的人,因此没有想过作家的世界。通过这本书算是看到另一个陌生又残酷的世界,而这样的世界其实也存在于每个领域。出版社的角度对于出版社来说,最主要的目的其实还是为了赚钱,那么怎么赚钱呢?—— 当然是出畅销的书当然最赚钱啦,但是书在面世之前,是不知道能否热销的。因此最简单的方...
2018-10-26 22:14:00 532
原创 《影响力》—— 读后总结
《影响力》—— 读后总结 这本书在很久以前就想读了,一直到今天才读完,最大的感触就是:平时生活中容易陷入的陷阱在这里都做了科学的解释和论证。尤其是在买东西的时候,可以多一些谨慎,多买一些更有价值的东西,不能被别人的销售技巧给套住。粗略总结互惠:别人在想要你帮忙或者想要你买东西的时候,往往会先给一些优惠。套用那句俗语“那人家的手短,吃人家的...
2018-10-20 12:05:00 1015
原创 《Opencv 3 计算机视觉 python语言实现》· 第二遍 —— 读后笔记
《Opencv 3 计算机视觉 python语言实现》· 第二遍 —— 读后笔记 概览代码实战https://github.com/xinghalo/ml-in-action/tree/master/book-opencv posted @ 2018-10-16 19:32 xing...
2018-10-16 19:32:00 238
原创 程序猿的日常——工作中常用的Shell脚本
程序猿的日常——工作中常用的Shell脚本 工作当中总是会有很多常用的linux或者命令,这里就做一个总结文件远程拷贝如果想把文件从本机拷贝到远程,或者从远程下载文件到本地。# 把本地的jar拷贝到远程机器xxxip的/home/source目录下scp a.jar root@xxxip:/home/source# 拷贝远程的文件到本...
2018-10-11 21:38:00 911
原创 《放学后》—— 读后总结
《放学后》—— 读后总结 这本书看了之后很上瘾,两三天就看完了,故事很反转,结局让人不知所措...故事梗概女子高中老师前岛最近发现有人想要谋杀他,幸好都躲过去了,比如差点在浴室被电死、差点被楼上掉落的花瓶砸死...直到有一天,前岛训练完射箭社后回到更衣室,发现教导主任村桥老师死在更衣室内。男性更衣室被一根木棒抵住,女更衣室虽然跟男更衣室一...
2018-10-07 00:04:00 638
原创 《美团机器学习实践》—— 读后总结
《美团机器学习实践》—— 读后总结 从9月23日开始整理思维导图,前前后后半个月左右,收获确实比第一次阅读要多一些,以后会尽量按这种方式阅读,提高效率。第一章 问题建模第二章 特征工程第三章 常用模型第四章 模型融合第五章 用户画像第六章 POI实体链接第七章 评论挖掘第八章 O2O场景下的查询理解和用户引导第...
2018-09-23 11:58:00 301
原创 MSRA-TD5000数据集使用详解
MSRA-TD5000数据集使用详解 中文检测的数据集,目前最火的应该是清华的CTW,https://ctwdataset.github.io/ 但是它的数据集只存储在微云和google driver,微云空间受限不能完全保存,所以下载的时候很蛋疼。我这边就挑了一个相对较小的数据集——MSRA TD5000,这个数据集支持中英文的倾斜文本检测。...
2018-09-03 18:06:00 566 1
原创 2017CS231n学习笔记——计算机视觉的概述
2017CS231n学习笔记——计算机视觉的概述 本节课主要讲述了cs231n课程的背景和计算机视觉的历史,也主要介绍了目前很重要的一个计算机视觉数据集——IMAGENET。更多内容参考我的AI学习之路课程简介这门课程是由stanford大学计算机视觉李飞飞以及她的学生制作的,也叫做CS231n,是偏专业性的深度学习+计算机视觉课程。目...
2018-09-01 15:37:00 226
原创 Java几种单例模式的实现与利弊
Java几种单例模式的实现与利弊 饿汉式提前new出来实例了,并不是在第一次调用get方法时才实例化,没有进行延迟加载public class Singleton1 { private static Singleton1 instance = new Singleton1(); private Singleton1(){}...
2018-09-01 10:34:00 156
原创 python项目实现配置统一管理的方法
python项目实现配置统一管理的方法 一个比较大的项目总是会涉及到很多的参数,最好的方法就是在一个地方统一管理这些参数。最近看了不少的python项目,总结了两种很有意思的配置管理方法。第一种 基于easydict实现的配置管理首先需要安装numpy、easydict以及yaml:pip install numpy pip install...
2018-08-23 18:20:00 1516
原创 我的AI之路 —— OCR文字识别快速体验版
我的AI之路 —— OCR文字识别快速体验版 OCR的全称是Optical Character Recoginition,光学字符识别技术。目前应用于各个领域方向,甚至这些应用就在我们的身边,比如身份证的识别、交通路牌的识别、车牌的自动识别等等。本篇就先讲一下基于开源软件和大厂服务的文字识别效果,后续会陆续讲解一下机器学习和深度学习实现的方案和原...
2018-08-09 22:44:00 397
原创 吴恩达机器学习笔记 —— 13 支持向量机
本章讲述了SVM,相比于《统计学习方法》,从逻辑回归的角度更容易理解了。更多内容参考 机器学习&深度学习从逻辑回归来看,看损失值与Z的值的关系:代入原来的是指,可以化简公式:总结来说:如果y=1,我们希望z的值大于等于1,如果y=0,我们希望z的值小于-1,这样损失函数的值都会为0.线性可分的决策边界:但是这种情况对于异常点是非常敏感的,比如有一个红点,那么...
2018-08-04 20:25:00 189
原创 吴恩达机器学习笔记 —— 18 大规模机器学习
吴恩达机器学习笔记 —— 18 大规模机器学习 本章讲了梯度下降的几种方式:batch梯度下降、mini-batch梯度下降、随机梯度下降。也讲解了如何利用mapreduce或者多cpu的思想加速模型的训练。更多内容参考 机器学习&深度学习有的时候数据量会影响算法的结果,如果样本数据量很大,使用梯度下降优化参数时,一次调整参数需要计...
2018-08-04 09:59:00 172
原创 我的AI之路 —— 从裸机搭建GPU版本的深度学习环境
我的AI之路 —— 从裸机搭建GPU版本的深度学习环境 之前一直在CPU上跑深度学习,由于做的是NLP方向所以也能勉强忍受。最近在做图像的时候,实在是扛不住了...还好领导们的支持买个虚拟机先体验下。由于刚买的机器,环境都得自己摸索,瞎搞过很多次,也走过很多弯路,所以我就记录下从裸机安装深度学习环境的正确过程。(全程root用户哦!)裸机简介...
2018-08-02 21:33:00 966
原创 吴恩达机器学习笔记 —— 17 推荐系统
吴恩达机器学习笔记 —— 17 推荐系统 本章讲述了推荐系统相关的知识,比如基于内容的推荐算法、基于协同过滤的推荐算法以及实践中遇到的问题。更多内容参考 机器学习&深度学习推荐系统是机器学习在工业界应用最广泛的方向,很多电子商务类、咨询类的平台都在做个性化推荐的工作,通过机器学习的算法让自己的平台个性定制,千人千面。比如我们拥有...
2018-08-01 21:03:00 301
原创 吴恩达机器学习笔记 —— 16 异常点检测
吴恩达机器学习笔记 —— 16 异常点检测 本篇介绍了异常点检测相关的知识更多内容参考 机器学习&深度学习我感觉这篇整理的很好很用心,可以详细参考:https://blog.csdn.net/Snail_Moved_Slowly/article/details/78826088什么是异常点检测?比如针对飞机的引擎做测试,x1代表...
2018-07-31 20:59:00 300
原创 吴恩达机器学习笔记 —— 15 降维
吴恩达机器学习笔记 —— 15 降维 本章重点讲述了降维方法以及其中最主要的PCA主成分分析的原理、使用更多内容参考 机器学习&深度学习降维的作用:数据压缩与可视化降维的第一个作用就是进行数据的压缩,解决磁盘和计算的问题。比如把二维数据降维到一维:或者数据从三维降维到2维。降维的另一个作用就是进行可视化,比如我们的数据有很...
2018-07-30 20:18:00 284
原创 吴恩达机器学习笔记 —— 19 应用举例:照片OCR(光学字符识别)
吴恩达机器学习笔记 —— 19 应用举例:照片OCR(光学字符识别) 本章讲述的是一个复杂的机器学习系统,通过它可以看到机器学习的系统是如何组装起来的;另外也说明了一个复杂的流水线系统如何定位瓶颈与分配资源。更多内容参考 机器学习&深度学习OCR的问题就是根据图片识别图片中的文字:这种OCR识别的问题可以理解成三个步骤:文本...
2018-07-26 20:34:00 483
原创 吴恩达机器学习笔记 —— 14 无监督学习
吴恩达机器学习笔记 —— 14 无监督学习 本章讲述的是第一个无监督的机器学习算法,在无监督的算法中,样本数据只有特征向量,并没有标注的y值。比如聚类算法,它可以用在市场分类、社交网络分析、天体数据分析等等。更多内容参考 机器学习&深度学习在做聚类时,最简单的算法就是k-means,一般的流程是:首先随机选择k个聚类中心点遍历...
2018-07-25 21:25:00 166
jmeter详细使用教程
2013-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人