- 博客(4)
- 资源 (9)
- 收藏
- 关注
原创 hadoop资源调度策略方案选择备忘录
今天原来项目交接的同事过来询问hadoop集群运维相关的事情,重新检查了一下集群的各个配置项,由于时间太久,对其中yarn的资源调度配置细节有点记不清了,因此查阅了调度器相关资料,同时回忆了当初调度策略方案的选择过程,整理之后在这里记一下来龙去脉,以防今后又忘掉了。1. 为什么需要调度器集群运行多个任务时,当各个任务需要的资源总和超过集群的总资源时,就需要调度器来决定资源的具体分配。
2017-04-20 17:04:38 579
原创 python中文单字符处理
之前没怎么用python处理中文数据,今天遇到一个问题,记一下。如果x = u'中文文本'那么x是unicode字符串,x[0] = '中'如果x是从文本读的,比如x = codecs.open("test.txt").readlines()[0]那么x不是unicode字符串,x[0:3] = '中'也就是3个字符才是一个中文单字我们可以用isinst
2017-04-10 14:30:06 937
原创 tensorflow使用CNN做文本分类
前言本文写作目的旨在记载tensorflow学习过程中对遇到的op的理解和思考,同时记录用CNN实现文本分类的一种实现思路。文中所用代码来自网络,为了突出主题,对代码作了一定的简化。代码先上代码:文本数据加载及预处理,inputs.pyfrom __future__ import divisionfrom __future__ import absolute_import
2017-04-06 19:06:58 2274 1
原创 tensorflow使用range_input_producer多线程读取数据
先放关键代码:i = tf.train.range_input_producer(NUM_EXPOCHES, num_epochs=1, shuffle=False).dequeue()inputs = tf.slice(array, [i * BATCH_SIZE], [BATCH_SIZE])原理解析:第一行会产生一个队列,队列包含0到NUM_EXPOCHES-1的元素,如果num_
2017-04-06 11:33:00 10294 2
UNIX环境高级编程·part2
2008-10-31
UNIX环境高级编程·part1
2008-10-31
Effective STL(中文)
2008-10-31
C++编程思想(中文)
2008-10-31
程序调试思想与实践(中文版)
2008-10-18
93分钟学会LaTeX2(中文版)
2008-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人