- 博客(7)
- 资源 (5)
- 收藏
- 关注
原创 记困扰很久的pytorch加载模型OOM,python import执行流程,python“懒运行”,whindows控制ubuntu远程桌面
前提:cudnn已装,7.0.5cuda:9.0.716conda create -n tfgpu16 Python=3.6conda install tensorflow-gpu==1.6.0
2018-10-26 13:03:00 1795
原创 keras gpu的问题
官方这样说道如果是tensorflow、cntk作为后端,那么会自动检测theano可以手动设置但是我这的速度,让人怀疑并没有运行在gpu上(一张图,运行时间近10秒)尝试运行时指定CUDA_VISIBLE_DEVICES=0 python demo.py 运行时间无变化显式设置backendimport keras.backend.tensorflow_backe...
2018-10-24 19:15:09 1815
原创 Spark Structed Streaming的一些主要特性及与Spark Streaming之间的对比
Spark Streaming众所周知,Spark Streaming中的数据结构是Dstream,是对RDD的进一步的封装。Spark Structed Streaming对比
2018-10-20 22:02:32 4994 6
原创 (五)Flink小demo,java+scala,SBT+Maven,socket拒绝访问
Demo-Scala_SBT使用SBT构建flink的Scala项目:1.新建一个scala-SBT项目2.Next目前idea使用的sbt版本为0.13.X系列与我本地的1.0.0版本不同,但是不要紧,不影响执行命令时,会使用本地的SDK。【官方目前主要维护的版本有两个:0.13.X和1.X。需要注意的是,IDEA上的SBT插件暂时是随着0.13.X系列更新的,而我本地是1.0.0】...
2018-10-05 23:37:02 1911
原创 (四): Flink1.6.1 standalone集群模式安装部署,几个常用参数配置
文章目录NameNode检查点异常Flink1.6.1安装前提配置Flink配置master节点JVM内存slavestaskmanager.numberOfTaskSlotsjobstore.cache临时I/O目录启动集群将JobManager / TaskManager实例添加到群集Maven依赖参考NameNode检查点异常安装flink之前,观察到一个NameNode检查点异常:...
2018-10-03 21:50:02 2139
原创 实时大数据平台技术选型概要
文章目录一、DELETED1-1 业务背景、业务场景、业务模式1-2 数据峰值、需求二、难点2-1 数据孤岛2-2 不同数据的定制化数据抽取方案2-3 数据完整性、安全性2-4 单点故障2-5 其他三、架构(粗略)3-1 架构图总览3-2 数据采集3-2-1 分布式消息队列KafkaRabbitMQRocketMQ几种消息中间件的比较3-2-2 日志收集flume + kafkalogstash ...
2018-10-01 16:53:40 7456
原创 (三):Flink数据流编程模型
前言仍然是学概念,以下大部分是对官方doc的翻译,但是也会有些个人的理解(主要是对比Spark),以及查找的一些解决自己的一些疑惑相关资料。从Flink 的数据流编程模型和分布式运行环境的基本概念开始学习会对您了解其他部分的文档有帮助,包括安装以及编程指南。强烈推荐先阅读这两部分文档。数据流编程模型抽象级别Flink提供了不同的抽象级别以支持开发流式、批处理等应用。最底层级的抽象仅...
2018-10-01 16:41:30 1354
Stream Processing with Apache Flink完整书签高清pdf和epub版,以及评价超高的Streaming Systems
2019-06-13
Flink Forward 201809 PPT berlin
2018-10-03
TensorFlow实战PDF+代码,TensorFlow实战Google深度学习框架+代码
2017-09-19
最新MySQL驱动(5.7可用)mysql-connector-java-5.1.40.zip
2017-02-12
李兴华oracle学习笔记(全)PDF
2017-02-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人