- 博客(22)
- 收藏
- 关注
原创 深度学习利器: TensorFlow系统架构及高性能程序设计
介绍了TensorFlow的系统架构,包括Client,Master,Worker,Kernel的相关概念及运行方式,是一种适合大规模分布式训练的机器学习平台。TensorFlow内核采用C/C++开发,当采用Python API去训练模型的时候,需要不断地用Python调用C/C++底层接口,重复的接口调用一定程度上影响了程序的执行性能。如果有最求高性能运算的朋友,可以尝试用下本文高性能运算章节推荐的方法。
2017-07-01 11:24:20 680
原创 深度学习利器:TensorFlow使用实战分享
TensorFlow开源一周年以来,已有500+contributors,以及11000+个commits。谷歌已把TensorFlow应用到很多内部项目,如谷歌语音识别,GMail,谷歌图片搜索等。本文主要介绍TensorFlow一些关键技术的使用实践,包括TensorFlow变量、TensorFlow应用架构、TensorFlow可视化技术、GPU使用、以及HDFS集成使用。
2017-07-01 10:51:28 5106
原创 深度学习利器:分布式TensorFlow及实例分析
本文主要回顾了TensorFlow的发展及使用,讲解了分布式TensorFlow的应用架构及分布式TensorFlow MNIST的模型训练,并对梯度向降法在分布式TensorFlow中的性能进行了比较分析。
2017-06-18 10:55:29 1343 1
原创 spark技术分析—sparkUI
1. SparkUI中Jetty服务开发(基本接口)public class ServletContextServer { public static void main(String[] args) throws Exception { //创建服务 Server server = new Server(8080);
2015-08-18 13:04:07 559
原创 hdfs to hbase 快速导入数据
disable 't_point'drop 't_point'create 't_point', {NAME=>'info', COMPRESSION=>'GZ'} describe 't_point'
2014-06-12 10:39:44 660
原创 linux cluster 简单监控
查看Linux系统的状态,最好安装sysstat软件,安装之后可以使用vmstat、iostat、mpstat分别进行查看。vmstat可以显示如CPU使用,内存使用,虚拟内存使用等,iostat可以显示磁盘的工作负载,mpstat可以显示CPU的负载情况。当然如果要求不高,也可以使用top、uptime等工具,比较简单
2014-06-04 15:45:49 992
转载 hadoop map task 数量的确定
1. split大小的计算公式 minSize=max{minSplitSize,mapred.min.split.size} (minSplitSize大小默认为1B) maxSize=mapred.max.split.size(不在配置文件中指定时大小为Long.MAX_VALUE) splitSize=max{minSize,min{maxSize,blockSize
2014-05-21 16:07:31 1019
原创 hbase-0.96.2-hadoop2 config log
1. config conf/hbase-env.shexport JAVA_HOME=/opt/jdk1export HBASE_CLASSPATH=/opt/hadoop-2.2.0/etc/hadoop2.
2014-05-12 17:55:08 521
原创 tomcat embed technolog log (for product)
1. you can build the maven project and different maven model2. config the tomcat 8 embed
2014-05-09 17:31:51 614
原创 spark scala code demo for def class etc.
a demo for code reference:import org.apache.spark.SparkContextimport java.util.HashMapimport org.apache.spark.rdd.RDDclass NF(hv: ClassA) extends Serializable { var powerMap: HashMap[Stri
2014-05-09 17:16:27 433
原创 hadoop 2.2.0 effective test
hadoop jar /opt/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 100
2014-04-28 16:05:42 484
原创 spark running script setting
1. build a sh(sparkrun.sh) scripts as follows;#!/usr/bin/env bashexport SPARK_MEM=3gCP=$CLASSPATH:/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0-incubating-bin-hadoop2/assembly/targ
2014-04-25 16:17:25 644
原创 A demo for parallel computation based on yuan api technology log
1. install hadoop-yarn 2.2.02. run yarn application command is : yarn jar
2014-04-25 14:05:23 674
原创 spark Parallel Computation log
1. build a method to simulate a algorithm run (Do not use the thread te)
2014-04-22 14:54:59 566
原创 hive techooloogy log
1. download: http://mirror.esocc.com/apache/hive/stable/
2014-04-22 14:47:08 447
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人