- 博客(22)
- 收藏
- 关注
RSS订阅原创 深度学习利器： TensorFlow系统架构及高性能程序设计
介绍了TensorFlow的系统架构，包括Client，Master，Worker，Kernel的相关概念及运行方式，是一种适合大规模分布式训练的机器学习平台。TensorFlow内核采用C/C++开发，当采用Python API去训练模型的时候，需要不断地用Python调用C/C++底层接口，重复的接口调用一定程度上影响了程序的执行性能。如果有最求高性能运算的朋友，可以尝试用下本文高性能运算章节推荐的方法。
2017-07-01 11:24:20
677
原创 深度学习利器：TensorFlow使用实战分享
TensorFlow开源一周年以来，已有500+contributors，以及11000+个commits。谷歌已把TensorFlow应用到很多内部项目，如谷歌语音识别，GMail，谷歌图片搜索等。本文主要介绍TensorFlow一些关键技术的使用实践，包括TensorFlow变量、TensorFlow应用架构、TensorFlow可视化技术、GPU使用、以及HDFS集成使用。
2017-07-01 10:51:28
5095
原创 深度学习利器：分布式TensorFlow及实例分析
本文主要回顾了TensorFlow的发展及使用，讲解了分布式TensorFlow的应用架构及分布式TensorFlow MNIST的模型训练，并对梯度向降法在分布式TensorFlow中的性能进行了比较分析。
2017-06-18 10:55:29
1335
1
原创 spark技术分析—sparkUI
1. SparkUI中Jetty服务开发（基本接口）public class ServletContextServer { public static void main(String[] args) throws Exception { //创建服务 Server server = new Server(8080);
2015-08-18 13:04:07
557
原创 hdfs to hbase 快速导入数据
disable 't_point'drop 't_point'create 't_point', {NAME=>'info', COMPRESSION=>'GZ'} describe 't_point'
2014-06-12 10:39:44
652
原创 linux cluster 简单监控
查看Linux系统的状态,最好安装sysstat软件，安装之后可以使用vmstat、iostat、mpstat分别进行查看。vmstat可以显示如CPU使用,内存使用,虚拟内存使用等，iostat可以显示磁盘的工作负载，mpstat可以显示CPU的负载情况。当然如果要求不高，也可以使用top、uptime等工具，比较简单
2014-06-04 15:45:49
980
转载 hadoop map task 数量的确定
1. split大小的计算公式 minSize=max{minSplitSize,mapred.min.split.size} （minSplitSize大小默认为1B） maxSize=mapred.max.split.size（不在配置文件中指定时大小为Long.MAX_VALUE） splitSize=max{minSize,min{maxSize,blockSize
2014-05-21 16:07:31
1010
原创 hbase-0.96.2-hadoop2 config log
1. config conf/hbase-env.shexport JAVA_HOME=/opt/jdk1export HBASE_CLASSPATH=/opt/hadoop-2.2.0/etc/hadoop2.
2014-05-12 17:55:08
516
原创 tomcat embed technolog log (for product)
1. you can build the maven project and different maven model2. config the tomcat 8 embed
2014-05-09 17:31:51
607
原创 spark scala code demo for def class etc.
a demo for code reference:import org.apache.spark.SparkContextimport java.util.HashMapimport org.apache.spark.rdd.RDDclass NF(hv: ClassA) extends Serializable { var powerMap: HashMap[Stri
2014-05-09 17:16:27
427
原创 hadoop 2.2.0 effective test
hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 100
2014-04-28 16:05:42
480
原创 spark running script setting
1. build a sh(sparkrun.sh) scripts as follows;#!/usr/bin/env bashexport SPARK_MEM=3gCP=$CLASSPATH:/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0-incubating-bin-hadoop2/assembly/targ
2014-04-25 16:17:25
636
原创 A demo for parallel computation based on yuan api technology log
1. install hadoop-yarn 2.2.02. run yarn application command is : yarn jar
2014-04-25 14:05:23
670
原创 spark Parallel Computation log
1. build a method to simulate a algorithm run (Do not use the thread te)
2014-04-22 14:54:59
559
原创 hive techooloogy log
1. download: http://mirror.esocc.com/apache/hive/stable/
2014-04-22 14:47:08
443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人