lwfffff-CSDN博客

原创 Caffe的图像语义分割

（一）下载模型作者在github上开源了代码:https://github.com/shelhamer/fcn.berkeleyvision.org，我们首先将代码下载并且解压到家目录下。项目文件结构很清晰，如果想train自己的model,只需要修改一些文件路径设置即可，这里我们应用已经train好的model来测试一下自己的图片：我们下载voc-fcn32s,voc-fcn16

2017-02-18 18:00:14 2892

原创无GPU配置的Caffe+Ubuntu14.04+64bit的小白配置教程

1、安装开发所需要的一些基本包sudo apt-get install build-essentialsudo apt-get install vim cmake gitsudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-seri

2016-11-21 16:36:35 508

转载海量数据的总结

问题: 假设一个文件中有9 亿条不重复的9 位整数，现在要求对这个文件进行排序。一般解题思路: 1 、将数据导入到内存中 2 、将数据进行排序　（比如插入排序、快速排序） 3 、将排序好的数据存入文件难题: 一个整数为4 个字节即使使用数组也需要900,000,000 * 4byte = 3.4G 内存对于32 位系统，访问2G 以上的内存非常困难，而且

2016-07-24 17:35:30 310

原创 Zookeeper作用

zookeeper是为了“分布式”而诞生的，我反复在说“分布式”，并不是赶潮流，而是被潮流推着向前。在任何互联网生产应用中，哪怕你的公司规模小，访问量用一台服务器足够应付，仍然不能容忍当服务器故障时，没有备用的服务器可切换，这个称为“防止单点故障”，因为你至少要用两台服务器来防止单点故障，所以你已经在“分布式”的服务环境里。这种应用场景叫做master/slave，或者我更喜欢称为主/备模式，

2016-07-21 13:50:32 497

原创基于Hadoop2.7.2+ ICTCLAS2015的并行化中文分词

1、在Linux下安装ICTCLAS2015 (下载最新版本的）Data 要liscencelib取64位的•1) 环境　　Eclipse、Linux、ICTCLAS2015、jna-4.1.0.jar（ JNA类库）•2) 安装ICTCLAS2015　　在Linux下的 Eclipse中新建MapReduce Project，假设工程名为

2016-06-12 12:12:19 650

原创 Hbase的搭建（伪分布式）

http://www-eu.apache.org/dist/hbase/在这里下载 stable/hbase-1.1.5-bin.tar.gzsudo tar-zxf ~/Downloads/hbase-1.1.5-bin.tar.gz -C /usr/localsudo mv/usr/local/hbase-1.1.5 /usr/local/hbasesudo vi

2016-05-22 23:35:02 392

转载 hadoop map与reduce的问题

1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决定？一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的goalSize = totalSize / mapred

2016-05-22 23:31:53 324

转载 Hadoop map和reduce的个数--map和reduce数量之间的关系

一、mapred-default.xml这个文件包含主要的你的站点定制的Hadoop。尽管文件名以mapred开头，通过它可以控制用户maps和 reduces的默认的设置。下面是一些有用变量：名字含义dfs.block.size分布式文件系统中每个数据块的大小（bytes）io.sort.f

2016-05-22 23:29:58 822

原创 Hadoop map与reduce数量

Hadoop的mapreduce 的作业在运行过程中常常碰到一些这样的情况：每一个map或者reduce只有30-40秒钟就结束超大规模的job 时，通常会需要大量的map和reduce的slots 支持，但是job运行起来后，running的map和reduce并没有沾满集群的可用slots当几乎所有的map和 reducers都在调度系统中运行着，此时却有一个或者两个

2016-05-15 14:59:30 554

原创 ubuntu14.4（虚拟机）搭建hadoop 2.7.2

接下来这个是配置环境变量 vim~/.bashrc要做接下来的修改：文件最前头加上：exportexport JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs文件末尾加上：#HADOOP VARIABLES STARTexport JAVA_HOME=/usr/lib/jvm/java-7-ope

2016-04-18 09:24:28 508

lwfffff的博客