Xmo_jiao-CSDN博客

原创图像语义分割：从头开始训练deeplab v2系列之四【nyu v2数据集】

在之前的博客已经讲过deeplabv2源码解析、基于VOC2012数据集的训练与基于pascal-context数据集的训练，本博客基于nyu数据集进行fine tuning官方源码地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2/overview 但是此源码只是为deeplab网络做相应变形的caffe,如果需要fine tu

2017-09-17 19:20:53 8690 18

原创图像语义分割：从头开始训练deeplab v2系列之三【pascal-context数据集】

在之前的博客已经讲过deeplab v2源码解析与基于VOC2012数据集的训练，本博客基于pascal-context数据集进行fine tuning官方源码地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2/overview 但是此源码只是为deeplab网络做相应变形的caffe,如果需要fine tuning微调网络，还需

2017-09-17 12:13:20 7294 11

原创 linux增加新硬盘修改分区、挂载

最近跑深度学习，从GPU不够用，到电源功率，再到硬盘内存不够用，一路折腾啊。最近500G硬盘内存一个月就用完了，从另外一台windows机器上差一下块1.8T容量的硬盘，准备安装到我Linux的机器上。问题是：新硬盘的分区为windows格式，要转为linux分区格式，在挂载到相应的新目录上 note:如果挂载在就目录上，可能导致旧目录内容不可见1.使用相应的硬盘支架安装硬盘使用过的硬盘安装到新

2017-09-13 15:47:50 2900

原创图像语义分割：从头开始训练deeplab v2系列之二【VOC2012数据集】

基于v2版本的deeplab,使用VGG16模型，在VOC2012，Pascal-context，NYU-v2等多个数据集上进行训练。好记性不如烂笔头, 最近用Deeplab v2跑的图像分割，现记录如下。官方源码地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2/overview 但是此源码只是为deeplab网络做相应变形

2017-09-08 17:28:44 22321 124

原创 linux黑屏重启 caffe 训练深度学习网络crfasrnn deeplab

电脑配置：型号：t3610 系统：Ubuntu14.04 GPU：GTX980Ti（显存6G）电源：680W1.deeplab v2网络训练时出现Data layer prefetch queue empty，几秒后Ubuntu黑屏自动重启 2 crfasrnn 网络训练是电脑运行到Iteration 0, Testing net (#0)就自动重启别人的解决办法： http:/

2017-08-31 16:40:06 2071

原创图像语义分割：从头开始训练deeplab v2系列之一【源码解析】

好记性不如烂笔头, 最近用Deeplab v2跑的图像分割，现记录如下。官方源码地址如下：https://bitbucket.org/aquariusjay/deeplab-public-ver2/overview 但是此源码只是为deeplab网络做相应变形的caffe,如果需要fine tuning微调网络，还需要准备以下文件：txt文件：文件中有数据集的名字列表的txt文件,训练测试

2017-08-22 21:36:05 10936 5

原创 linux常用命令及操作

JAVA安装和卸载默认的java安装和卸载(一般全局文件中找不到java安装目录)apt-get install default-jdkapt-get autoremove default-jdk查看版本信息： Java -version#如果不能卸载干净,jdk彻底卸载：apt-get updateapt-cache search java | awk '{print($1)}' | gr

2017-06-16 21:20:10 493

原创 linux docker安装制作Elasticsearch容器镜像并上传docker hub

linux docker下载安装创建操作系统并启动容器1.ubuntu系统下载dockerapt-get install -y docker.io#查看docker版本docker version### 2.docker拉取镜像#拉取ubuntu镜像或者拉取centos镜像，并创建容器，取决于你想要docker为什么系统，我需要的系统为centosdocker pull centosdock

2017-06-16 18:22:25 2442

原创 elasticsearch5.3.0安装以及与基于jupyter notebook 的spark交互

1.安装elasticsearch1.1 下载并解压Elasticsearch 5.3.0wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar.gztar -zxvf elasticsearch-5.3.0.tar.gz1.2 下载ES-hadoop jar包,安装unzip并解压,将E

2017-06-14 20:29:36 5036

原创基于pyspark 和scala spark的jupyter notebook 安装

spark安装（本次启动一个worker）首先安装spark 打开apache spark官网下载页点这里选择spark版本下载，这里我选spark 2.0.2 在linux系统中使用wget下载，wget是一种从网络上自动下载文件的自由工具，支持断点下载，很好用。没有此工具ubuntu,请使用一下语句安装apt-get install wgetwget https://d3kbcqa49

2017-05-24 11:20:33 11820 6

原创 java从本地读文件并上传Hbase

有兴趣使用的请点下载链接数据文件与源代码下载从本地文件读数据，按行操作String filePath = "/root/input_2";File file=new File(filePath);InputStreamReader in_stream = new InputStreamReader(new FileInputStream(file)); BufferedReader

2017-05-22 11:07:30 3304

原创 java 从hadoop hdfs读取文件进行groupby并显示为条形图

java 从hadoop hdfs读取文件进行groupby并显示为条形图题意：从文件、网络或者数据库中读取数据（格式自定、数据自定），显示统计结果（包括图形两种以上），用户界面自定有兴趣使用的，请点源代码与数据下载链接1 读取数据1.1准备数据此数据为TPCH基准测试集中lineitem.tdl文件中前25行示例：第一行如下 1|1552|93|1|17|24710.35|0.04|0

2017-05-21 01:11:59 1178 1