jyli2_11的博客

Hadoop搭建过程一、安装准备虚拟机：CentOS-6.5-x86_64-bin-DVD1.isoJava：jdk-7u79-linux-x64.gzHadoop：hadoop-2.6.0安装过程为先在一台虚拟机中配置好时钟、安好jdk、安装并配置好hadoop再进行克隆操作，之后再在master和slave上分别进行其它配置。二、安装过程1、安装虚拟机下载好的压

windows下安装scala十分简单，先配置好Java，推荐1.7以上版本。在官网下载scalaThe Scala Programming Language  http://www.scala-lang.org/我下载的是msi版本，这个版本不用配置环境变量，直接下一步一直下去即可。安完后在开始命令栏cmd回车，进入命令模式，scala -version 查看。我

最近caffe更新软件坏了两次，然后和师兄重新搭建了两遍。笔记留下，以备不时之需。

今天spark 提交发现这个问题java.lang.OutOfMemoryError: unable to create new native thread以前没有。后来查看发现是linux允许进程数少，不是内存资源不足，而最近实验室做数据库的小伙伴开了很多进程，我再提交就这样了。修改linux允许最大进程数查看用户最大进程数 ulimit -usudo vi /etc/sec

最近老是遇见spark调优的一些问题，转载这篇博客学习。转自http://www.raychase.net/3546下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worke

sudo pip install virtualenv #使用pip或pip3都可以，没啥影响#创建环境，选择你想要的python版本（前提是你的电脑上已经安装好了）virtualenv --system-site-packages --python=python3.5 ~/tensorflow#激活环境cd ~/tensorflowsource bin/activate

今天使用python virtualenv安装TensorFlow gpu版，一直报错各种配置版本按官网来的https://www.tensorflow.org/cuda8.0 cudnn5.1错误如下2017-06-16 13:53:53.632070: W tensorflow/stream_executor/cuda/cuda_driver.cc:523] A non-pri

学校网不太稳定，因此采用本地源方法安装的。笔记是去年整理的了，相应软件版本可能不是很新。Master 192.168.101.133Slave 192.168.101.132 安装准备 各个节点都需要配置1、 hosts文件修改 Centos 下修改 /etc/hosts  windows下也需要修改hosts路径：C:\Windows\Syst