TODO集合

从今天开始,我把所有18年起的TODO,都同步到这篇文章。 一方面是方便自己常“回来看看“,记得解决这些疑惑; 另一方面,希望知道/有解决思路的前辈们能留言或者(QQ911283415)指点一二,感激! (序列中所有非链接字体以及【】中的文字,可在文章中搜索定位) 九、2018年06月23...

2018-06-23 22:23:44

阅读数 100

评论数 0

pydoc些许分享

2019-01-06 10:24:35

阅读数 17

评论数 0

keras些许分享

2019-01-06 10:18:37

阅读数 32

评论数 0

keras train_on_batch中合理使用callback进行tensorboard可视化

train_on_batch returns Scalar training loss (if the model has a single output and no metrics) or list of scalars (if the model has multiple outputs ...

2018-12-21 15:51:46

阅读数 118

评论数 0

模型训练batch数据抽样

自定义DataGenerator 生成器,结合佛如循环以及yield来产生数据 但是以下代码暂时不能保证每个epoch,数据有且仅有一次参与训练 以下代码摘自:https://github.com/yongxuUSTC/sednn import numpy as np class Data...

2018-12-20 16:24:01

阅读数 60

评论数 0

随机森林的进一步思考

非数值型特征 首先,对于非数值列,肯定得想办法处理为数值型或者onehot编码。 sklearn中,DictVectorizer可以做这件事: DictVectorizer implements what is called one-of-K or “one-hot” coding for ...

2018-11-28 11:26:16

阅读数 33

评论数 0

pyhon中使用librosa处理音频数据

stage 1 jupyter中“浏览”音频: import IPython.display as ipd # TO play ipd.Audio('./noisex-92/001.wav') librosa官网demo: from __future__ import print_fun...

2018-11-27 21:29:36

阅读数 185

评论数 0

python错误记录

numpy会限制字符串长度 ctpn = np.array(ctpn, dtype=str) # np会截取长度 比如说,line_split[1] = line[1], line[1]长度超过32的,都会截断 stackoverflow,有人这样说: NumPy will use...

2018-11-25 09:21:24

阅读数 65

评论数 0

(六):Flink 编程模板,Batch 示例,远程运行flink作业,CDH中HADOOP_CLASSPATH

java模板 doc 地址:https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html。 新建一个目录,在该目录下: curl https://flink.apac...

2018-11-15 14:43:29

阅读数 244

评论数 0

python3版本的flask环境,使用Python 和 Flask实现restful服务

错误做法 1. 在搭建py3的flask虚拟环境时,virtualenv --no-site-packages py3flask 报错: virtualenv ImportError: cannot import name _remove_dead_weakref 加上了参数–no-site-pa...

2018-11-13 16:12:07

阅读数 62

评论数 0

2018NIMA_ Neural Image Assessment阅读笔记

前言 笔记最初是在有道云做的,没用markdown编写,时间原因,前面先上笔记截图吧。不影响阅读。有时间补上文字版。 笔记截图 文字(未补图) While technical quality assessment deals with measuring low-level degr...

2018-11-13 14:21:12

阅读数 90

评论数 0

记一次随机森林小实践

代码是从Jupyter Notebook导出来的 过程中借鉴了些的数据清洗写法,有时间再补充。 好记性不如烂笔头,免得下次又导出查语法。 py版本 # -*- coding: utf-8 -*- # @Time : 18-11-1 上午10:43 # @Author : wanghai #...

2018-11-01 11:13:38

阅读数 166

评论数 0

记困扰很久的pytorch加载模型OOM,python import执行流程,python“懒运行”,whindows控制ubuntu远程桌面

前提: cudnn已装,7.0.5 cuda:9.0.716 conda create -n tfgpu16 Python=3.6 conda install tensorflow-gpu==1.6.0

2018-10-26 13:03:00

阅读数 90

评论数 0

keras gpu的问题

官方这样说道 如果是tensorflow、cntk作为后端,那么会自动检测 theano可以手动设置 但是我这的速度,让人怀疑并没有运行在gpu上(一张图,运行时间近10秒) 尝试运行时指定 CUDA_VISIBLE_DEVICES=0 python demo.py 运行时间无变化 ...

2018-10-24 19:15:09

阅读数 159

评论数 0

Spark Structed Streaming的一些主要特性及与Spark Streaming之间的对比

Spark Streaming 众所周知,Spark Streaming中的数据结构是Dstream,是对RDD的进一步的封装。 Spark Structed Streaming 对比

2018-10-20 22:02:32

阅读数 1468

评论数 5

(五)Flink小demo,java+scala,SBT+Maven,socket拒绝访问

Demo-Scala_SBT 使用SBT构建flink的Scala项目: 1.新建一个scala-SBT项目 2.Next 目前idea使用的sbt版本为0.13.X系列与我本地的1.0.0版本不同,但是不要紧,不影响执行命令时,会使用本地的SDK。【官方目前主要维护的版本有两个:0.13.X...

2018-10-05 23:37:02

阅读数 280

评论数 0

(四): Flink1.6.1 standalone集群模式安装部署,几个常用参数配置

文章目录NameNode检查点异常Flink1.6.1安装前提配置Flink配置master节点JVM内存slavestaskmanager.numberOfTaskSlotsjobstore.cache临时I/O目录启动集群将JobManager / TaskManager实例添加到群集Mave...

2018-10-03 21:50:02

阅读数 553

评论数 0

实时大数据平台技术选型概要

文章目录一、DELETED1-1 业务背景、业务场景、业务模式1-2 数据峰值、需求二、难点2-1 数据孤岛2-2 不同数据的定制化数据抽取方案2-3 数据完整性、安全性2-4 单点故障2-5 其他三、架构(粗略)3-1 架构图总览3-2 数据采集3-2-1 分布式消息队列KafkaRabbitM...

2018-10-01 16:53:40

阅读数 747

评论数 0

(三):Flink数据流编程模型

前言 仍然是学概念,以下大部分是对官方doc的翻译,但是也会有些个人的理解(主要是对比Spark),以及查找的一些解决自己的一些疑惑相关资料。 从Flink 的数据流编程模型和分布式运行环境的基本概念开始学习会对您了解其他部分的文档有帮助,包括安装以及编程指南。强烈推荐先阅读这两部分文档。 数据流...

2018-10-01 16:41:30

阅读数 369

评论数 0

(二):Flink概述,Flink如何支持批流处理,程序流程

文章目录前言Flink能做什么选择微批处理还是实时处理计算流程(组件)TODO:容错机制的类比、计算资源调度的类比Flink如何支持批流处理参考 前言 以下都尽量对比Spark(或者大数据生态的其他技术)进行理解 Flink能做什么 支持批处理 交互式处理 实时流数据处理 支持用SQL分析 支持...

2018-09-30 15:11:44

阅读数 556

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭