思索的IT脚印

12月1日美国IBM公司发布消息称，该公司研究人员实现了在内存计算技术上的一次重大突破，发明了一种可以运行在100万个相变内存（PCM）上的无监督式机器学习算法，有望比传统计算机在计算速度和能耗利用效率方面提升200倍，非常适合实现人工智能应用中的高密度、低功耗、大规模的并行计算系统。这一成果发表在《自然·通讯》杂志上。内存计算或可计算储存，是近年来新兴的一个概念，其原理是

分布式系统(Distributed System)资料希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多．《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)

上一篇文章提到了数据挖掘、机器学习、深度学习的区别：http://www.cnblogs.com/charlesblc/p/6159355.html深度学习具体的内容可以看这里：参考了这篇文章：https://zhuanlan.zhihu.com/p/20582907?refer=wangchuan  《王川: 深度学习有多深, 学了究竟有几分? (一)》笔记：神经网络的研

5G时代的智能边缘计算AI-EC平台转自http://www.ccf.org.cn/c/2017-10-20/617329.shtml阅读量：1910月20日收藏本文2017年9月初华为透露：首款搭载AI芯片的商务手机将于10月发布并提出：Mobile AI=On_Device AI + Cloud AI。无独有偶，一周后苹果公司也发布了搭载A11可以人脸识别的

YARN资源调度策略转载2016-08-21 21:23:56标签：yarnYARN虽然是从MapReduce发展而来，但其实更偏底层，它在硬件和计算框架之间提供了一个抽象层，用户可以方便的基于YARN编写自己的分布式计算框架，而不用关心硬件的细节。由此可以看出YARN的核心功能：资源抽象、资源管理（包括调度、使用、监控、隔离等等）。从某种程度上说YARN类似于

１．学习的时候，定义不同思考维度。让思维不要无路可循，利用机器学习的方法，定义多个维度去学习、思考。　　　　如如何学习踢足球，定义维度 (转身，护球，背身拿球，传球...)，依次学习在不同维度的方法。　维度定义的范围大小，实际上跟人的学习能力有关，最简单的学习能力就是反射，（输入１，　输出1）, 稍微复杂可以（输入１，输出３）。最初逻辑建立都是(1 v 1 )，熟练之后，可以跳转多步逻辑　，做

问题1：reduce task数目不合适解决方案：需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太小，任务运行缓慢。所以要合理修改reduce的task数目即spark.default.parallelism问题2：shuffle

依据Spark 1.4版在哪里会用到它ExternalSorter是Spark的sort形式的shuffle实现的关键。SortShuffleWriter使用它，把RDD分区中的数据写入文件。 override def write(records: Iterator[Product2[K, V]]): Unit = { if (dep.mapSideCom

目录(?)[+]1 从reduce看Job执行流程1.1 reduce操作以reduce操作为例，看看作业执行的流程def reduce(f: (T, T) => T): T = withScope { val cleanF = sc.clean(f) val reducePartition: Iterator[T] => Option[T] = iter

B~树               1.前言：动态查找树主要有：二叉查找树（Binary Search Tree），平衡二叉查找树（Balanced Binary Search Tree），红黑树 (Red-Black Tree )，B-tree/B+-tree/ B*-tree(B~Tree)。前三者是典型的二叉查找树结构，其查找的时间复杂度O(log2N)与树的深度相关，那么降低树的深

稀疏矩阵是指矩阵中的元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上都是稀疏矩阵，很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式：COO,CSR,DIA,ELL,HYB。 （1）Coordinate（COO）这是最简单的一种格式，每一个元素需要用一个三元组来表示，分别是（行号，列号，数值），对应上图右边的一列。这种方式简单，但

开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生态系统。每一天，都有一大堆“新”框架、“新”类库或“新”工具，犹如雨后春笋般涌出，乱花渐欲“迷”人眼。为了掌控住这些“新玩意”，数据分析的达人们不得不“殚精竭虑”地“学而时习之

开发环境：Linux(Ubuntu 11.04) + JDK 7实例说明：利用JNI调用本地代码的方法来实现一个计算Int数组总和的功能使用JNI调用本地代码，整个开发流程主要包括以下几个步骤：1、创建一个Java类（IntArray.java）；2、使用javac编译该类（生成IntArray.class）；3、使用javah -jni 产生头文件（生成IntArra

**零.看源代码宗旨** 1.有目的性，要知道自己看什么。 2.先看系统流程，知道各个组件功能及交互关系。 3.深入某个组件，比如yarn资源调度平台。 4.准备好纸笔，边看边写边画一、相关组件及安装顺序0.默认jdk1.8,java已经安装1.scala 2.10.6[download](http://www.scala-lang.org/download

0.pip install wheel1.从网上下载与python27对应的 numpy-1.12.1+mkl-cp27-cp27m-win32.whl，用pip命令安装2.pip install scipy3.pip install gensim常见问题：1.ImportError: cannot import name NUMPY_M

本系列文章是本人阅读 《Partern recognition and Machine Learning》系列文章一文章一 多变量曲线拟合1.1Polynomial curve fittingReal model  :   sin(2πx).We sample points from real model with a Gaussian model no