木东的博客

JanusGraph批量导入数据优化批量导入工具：https://github.com/dengziming/janusgraph-util批量导入配置项storage.batch-loading =true 导入的数据必须具有一致性并且和已存在的数据必须具有一致性。（比如：name数据是具有唯一索引（a unique composite index），那么导入的数据在name属性上上和已有的数据不能重复） 下面是优化配置，优化的目的，就是减少批量导入时间。 ID 分

常见算法套路电商品推荐中的常见算法大致如下：基于商品相似度比如食物 A 和食物 B，根据它们的价格、味道、保质期、品牌等维度，可以计算它们的相似程度，可以想象，我买了包子，很有可能顺路带一盒水饺回家。优点：冷启动，只要你有商品的数据，在业务初期用户数据不多的情况下，也可以做推荐。缺点：预处理复杂，任何一件商品，维度可以说至少可以上百，如何选取合适的维度进行计算，涉及到工程经...

文章深度解读了某商业银行做消息队列选型时考虑的因素，包括关键需求、选型要点、选型原则等，同时给出了选型建议、产品对比以及典型场景和二次封装的建议。本文作者在自己丰富实践经验基础上抽象出一些方法论，供读者在做消息队列技术选型时参考。本文主要内容包括以下方面：1 概述2 为什么引入消息队列 何为消息队列 消息队列的优势 消息队列的不足 3 消息队...

编码器和解码器用以执行压缩解压算法。在Hadoop里，编码/解码器是通过一个压缩解码器接口实现的。因此，例如，GzipCodec封装了gzip压缩的压缩和解压算法。下表列出了Hadoop可用的编码/解码器。 压缩格式 Hadoop压缩编码/解码器DEFLATE org.apache.hadoop.io.compress.DefaultCodecgzip org.apache.hadoop.io.c

下面两个命令是把文件从HDFS上下载到本地的命令。get使用方法：Hadoop fs -get [-ignorecrc] [-crc]复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。示例：hadoop fs -get /user/hadoop/file localfilehadoop fs -get hd

Hadoop常常被用作大型数据处理生态系统中的一部分。它的优势在于能够批量地处理大量数据，并将结果以最好的方式与其他系统相集成。从高层次角度来看，整个过程就是Hadoop接收输入文件、使用自定义转换（Map-Reduce步骤）获得内容流，以及将输出文件的结果写回磁盘。上个月InfoQ展示了怎样在第一个步骤中，使用InputFormat类来更好地对接收输入文件进行控制。而在本文中，我们将同大家一起探

超参数优化是深度学习中的重要组成部分。其原因在于，神经网络是公认的难以配置，而又有很多参数需要设置。最重要的是，个别模型的训练非常缓慢。在这篇文章中，你会了解到如何使用scikit-learn python机器学习库中的网格搜索功能调整Keras深度学习模型中的超参数。阅读本文后，你就会了解：如何包装Keras模型以便在scikit-learn中使用，以及如何使用网格搜索。如何网格

keras是python中比较流行的深度学习库，但是keras本身关注的是深度学习。而python中的scikit-learn库是建立在Scipy上的，有着比较有效的数值计算能力。sklearn是一个具有全特征的通用性的机器学习库，它提供了很多在深度学习中可以用到的工具。举个例子：1.可以用sklearn中的k-fold交叉验证方法来对模型进行评估2.模型参数的估计和寻找Keras提供

1) downloads spark-x.x.x-bin-hadoopx.x.tgz from offical websiteand untgz to your path :such as D:\google_downloads\spark-2.0.0-bin-hadoop2.7here we call \Path_spark for short2.1) install

【编者按】继xgboost,cxxnet,minerva之后，DMLC在9月29日发布了新的Project:dmlc/MXNet，MXNet是cxxnet的进化，在设计上经过成熟的思考，文档也很清楚。尤为难得的是，MXNet开发团队把设计笔记也做了分享。笔记的思想不局限于MXNet，也不局限于深度学习，无论对深度学习初学入门还是对高阶提升，都具有很好的参考价值。本文是第一篇设计笔记的译文，深入

概述xgboost可以在spark上运行，我用的xgboost的版本是0.7的版本，目前只支持spark2.0以上版本上运行,编译好jar包，加载到maven仓库里面去：mvn install:install-file -Dfile=xgboost4j-spark-0.7-jar-with-dependencies.jar -DgroupId=ml.dmlc -DartifactId=xgboos...

一、前言在计算广告场景中，需要平衡和优化三个参与方——用户、广告主、平台的关键指标，而预估点击率CTR（Click-through Rate）和转化率CVR（Conversion Rate）是其中非常重要的一环，准确地预估CTR和CVR对于提高流量变现效率，提升广告主ROI（Return on Investment），保证用户体验等都有重要的指导作用。传统的CTR/CVR预估，典型的机器学习方法包...

1. 任务调度概述一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系现成的开源调度系统，比如ooize、azkaban。2. azkaban介绍Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种...

概述为什么需要工作流调度系统l 一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等l 各任务单元之间存在时间先后及前后依赖关系l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：1、  通过Ha...

恒丰银行于2016年1月完成了传统数据仓库向大数据平台数据仓库的迁移，以新的数据仓库平台为基础，结合行内的通用文件传输平台、统一调度平台，规范了源数据系统的数据报送，梳理构建了新的数据模型，大数据平台解决了传统数仓在批量数据处理能力的不足，在相关任务上体验到了从数小时到十几分钟的提升。大数据平台解决了大数据特征中四个V的大数据量（Volume）的处理，我们还需要引入实时处理技术能覆盖数据多样性...

现在公司线上所有的k8s集群对GPU资源的使用都是nvidia-docker 1.0(历史遗留问题)。但是现在的kubernetes1.9推荐使用device plugin的方式来对接外部厂商的资源。这样所有的厂商资源就不要kubernetes去特定的支持，而是各服务厂商只要按照kubernetes提供的device plugin实现自己的一套就可以了。今天就针对nvidia-d...

一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿，K8s有亿：亿级日服务人次。一个目标：容器操作Kubernetes(k8s)是自动化容器操作的开源平台。这些容器操作包括：部署，调度和节点集群间扩展。具体功能：自动化容器部署和复制。实时弹性收缩容器...

写在前面态度决定高度！让优秀成为一种习惯！ 世界上没有什么事儿是加一次班解决不了的，如果有，就加两次！（- - -茂强）为什么是tensorflow on kubernetes？个人觉得最大的优势是：租户隔离 保证不同的用户能够互不干扰 资源包括GPU调度 能够有效利用资源 扩展能力 能够很容易横向扩展 灵活 整个资源分配比较灵活 管理灵活 等等kubernetes集群的...

在写这个的时候，spark版本为2.2.1。基于kubernetes部署的两种方式直接使用kubernetes作为集群管理器(Cluster Manager)，类似与mesos和yarn，使用方式可以看running-on-kubernetes。但是这个部署方式，一是还不成熟，不推荐在生产环境使用。第二是要求k8s版本大于1.6，但我这边版本1.5.1，线上在用，不太想升级，而spark只...

Spark可以以分布式集群架构模式运行，如果我们不熟Spark Cluster，这个时候需要集群管理器帮助我们管理Spark 集群。 集群管理器根据需要为所有工作节点提供资源，操作所有节点。负责管理和协调集群节点的程序一般叫做：Cluster Manager，集群管理器。目前搭建Spark 集群，可以的选择包括Standalone，YARN，Mesos，K8s，这么多工具，在部署Spark集群时...

在Ubuntu上搭建hadoop和spark集群，1台master(namenode)，3台slave(datanode)1. 安装Java 1 2sudo mkdir /usr/local/java/sudo tar xvf jdk-7u79-linux-x64.tgz -C /usr/local/java/

想必学过机器学习的人都知道，学习率、训练迭代次数和模型参数的初始化方式都对模型最后的准确率有一定的影响，那么影响到底有多大呢？我初步做了个实验，在 TensorFlow 框架下使用 Logistics Regression 对经典的 MNIST 数据集进行分类。本文所说的 准确率 均指 测试准确率。代码from tensorflow.examples.tutorials.m

1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shi

本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行

写作缘由尽管Hadoop的框架是用Java写的，但是基于Hadoop运行的程序并不一定要用Java来写，我们可以选择一些其他的编程语言比如Python或者C++。不过，Hadoop的文档以及Hadoop网站上给出的典型Python例子可能让人觉得必须先将Python的代码用Jython转成一个Java文件。显然，如果你需要使用一些Jython所不能提供的Python特性的话这会很不方便。使

本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置 或CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行

当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop

一、前言从毕业加入Google 开始做分布式机器学习，到后来转战腾讯广告业务，至今已经七年了。我想说说我见到的故事和我自己的实践经历。这段经历给我的感觉是：虽然在验证一个新的并 行算法的正确性的时候，我们可以利用现有框架，尽量快速实现，但是任何一个有价值的机器学习思路，都值得拥有自己独特的架构。所以重点在有一个分布式操作 系统，方便大家开发自己需要的架构（框架），来支持相应的算法。如果

场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一

1）处理超大文件　　这里的超大文件通常是指百MB、设置数百TB大小的文件。目前在实际应用中，HDFS已经能用来存储管理PB级的数据了。2）流式的访问数据　　HDFS的设计建立在更多地响应"一次写入、多次读写"任务的基础上。这意味着一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及数据集中的大部

前言这两天把实验室服务器给装成了Ubuntu16.04+cuda8.0+cudnn5.0，本来以为应该没什么问题，结果那折腾得……不说了，都是泪。具体Caffe，Tensorflow，Mxnet的安装教程已经很多了，我这儿就不说了。本文主要想说说Nvidia驱动和Ubuntu桌面冲突的问题，当时为了解决在网上找了一圈，始终没能解决我的问题，所以这儿特意写篇博客，权当做个记录，希望能给遇到同

白话tensorflow分布式部署和开发关于tensorflow的分布式训练和部署， 官方有个英文的文档介绍，但是写的比较简单， 给的例子也比较简单，刚接触分布式深度学习的可能不太容易理解。在网上看到一些资料，总感觉说的不够通俗易懂，不如自己写一个通俗易懂给大家分享一下。1. 单机多GPU训练先简单介绍下单机的多GPU训练，然后再介绍分布式的多机多GPU训练。:单机的多

该文档讲述了如何创建一个集群的tensorflow服务器，以及如何分配在集群计算图。我们假设你熟悉写作tensorflow程序的基本概念。Hello distributed TensorFlow!演示一个简单的TensorFlow集群，执行以下命令：:# Start a TensorFlow server as a single-process "cluster".$ python

Tensorflow学习笔记4：分布式Tensorflow简介Tensorflow API提供了Cluster、Server以及Supervisor来支持模型的分布式训练。关于Tensorflow的分布式训练介绍可以参考Distributed Tensorflow。简单的概括说明如下：Tensorflow分布式Cluster由多个Task组成，每个Task对应一个tf.tr

分布式Tensorflow最近在学习怎么分布式Tensorflow训练深度学习模型,看官网教程看的云里雾里,最终结合着其它资料,终于对分布式Tensorflow有了些初步了解.gRPC (google remote procedure call)分布式Tensorflow底层的通信是gRPC gRPC首先是一个RPC,即远程过程调用,通俗的解释是:假设你在本机上执行一段代码num=

分布式TensorFlow简介前一篇《分布式TensorFlow集群local server使用详解》我们介绍了分布式TensorFlow的基本概念，现在我们可以动手搭建一个真正的分布式TensorFlow集群。分布式TensorFlow集群由多个服务端进程和客户端进程组成，在某些场景下，服务端和客户端可以写到同一个Python文件并起在同一个进程，但为了简化代码让大家更好理解分布式架构，

关于tensorflow的分布式训练和部署， 官方有个英文的文档介绍，但是写的比较简单， 给的例子也比较简单，刚接触分布式深度学习的可能不太容易理解。在网上看到一些资料，总感觉说的不够通俗易懂，不如自己写一个通俗易懂给大家分享一下。如果大家有看不懂的，欢迎留言，我再改文章，改到大学一年级的学生可以看懂的程度。1. 单机多GPU训练先简单介绍下单机的多GPU训练，然后再介

之前讲完变量常量等等基本量的操作，意味着最基本的东西都有了，然后接下来很重要的就是那些量和操作怎么组成更大的集合，怎么运行这个集合。这些就是计算图谱graph和Session的作用了。IV.Graphhttps://www.tensorflow.org/versions/r0.11/api_docs/python/framework.html#Graph一个TensorFlow的运

如何使用Keras进行分布式/多GPU运算？Keras在使用TensorFlow作为后端的时候可以进行分布式/多GPU的运算，Keras对多GPU和分布式的支持是通过TF完成的。with tf.device('/gpu:0'): x = tf.placeholder(tf.float32, shape=(None, 20, 64)) y = LSTM(32)(x) #

该文档讲述了如何创建一个最简单的tensorflow分布式的服务，利用tensorflow的local server服务，如果运行一个最简单的分布式例子。Local server和分布式服务的接口一样，我们将从local server入手，详细解读分布式机器学习集群的用法。Local server的最简单用法!TensorFlow官方文档提供了local server的