wei的专栏

介绍了TensorFlow的系统架构，包括Client，Master，Worker，Kernel的相关概念及运行方式，是一种适合大规模分布式训练的机器学习平台。TensorFlow内核采用C/C++开发，当采用Python API去训练模型的时候，需要不断地用Python调用C/C++底层接口，重复的接口调用一定程度上影响了程序的执行性能。如果有最求高性能运算的朋友，可以尝试用下本文高性能运算章节推荐的方法。

TensorFlow开源一周年以来，已有500+contributors，以及11000+个commits。谷歌已把TensorFlow应用到很多内部项目，如谷歌语音识别，GMail，谷歌图片搜索等。本文主要介绍TensorFlow一些关键技术的使用实践，包括TensorFlow变量、TensorFlow应用架构、TensorFlow可视化技术、GPU使用、以及HDFS集成使用。

本文主要回顾了TensorFlow的发展及使用，讲解了分布式TensorFlow的应用架构及分布式TensorFlow MNIST的模型训练，并对梯度向降法在分布式TensorFlow中的性能进行了比较分析。

1. SparkUI中Jetty服务开发（基本接口）public class ServletContextServer { public static void main(String[] args) throws Exception { //创建服务 Server server = new Server(8080); 

disable 't_point'drop 't_point'create 't_point', {NAME=>'info', COMPRESSION=>'GZ'} describe 't_point'

查看Linux系统的状态,最好安装sysstat软件，安装之后可以使用vmstat、iostat、mpstat分别进行查看。vmstat可以显示如CPU使用,内存使用,虚拟内存使用等，iostat可以显示磁盘的工作负载，mpstat可以显示CPU的负载情况。当然如果要求不高，也可以使用top、uptime等工具，比较简单

1. search

1. split大小的计算公式　　　minSize=max{minSplitSize,mapred.min.split.size} （minSplitSize大小默认为1B）　　　maxSize=mapred.max.split.size（不在配置文件中指定时大小为Long.MAX_VALUE）　　　splitSize=max{minSize,min{maxSize,blockSize

1. solr cloud

1.  创建表

1. config conf/hbase-env.shexport JAVA_HOME=/opt/jdk1export HBASE_CLASSPATH=/opt/hadoop-2.2.0/etc/hadoop2.

1. you can build the maven project and different maven model2. config the tomcat 8 embed

a demo for code reference:import org.apache.spark.SparkContextimport java.util.HashMapimport org.apache.spark.rdd.RDDclass NF(hv: ClassA) extends Serializable { var powerMap: HashMap[Stri

1.

1. 生成证书并导入到jdk的jre 认证库中2. 配置tomcat server

1. 从secondary name node 回复数据：

hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 100

1. build a sh(sparkrun.sh) scripts as follows;#!/usr/bin/env bashexport SPARK_MEM=3gCP=$CLASSPATH:/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0-incubating-bin-hadoop2/assembly/targ

1. install hadoop-yarn 2.2.02. run yarn application command is : yarn jar

1. build a method to simulate a algorithm run (Do not use the thread te)