兮小熙-CSDN博客

转载美国五大可视分析中心

美国西北太平洋国家实验室（http://www.pnnl.gov ）建立了5个区域性可视分析中心：1.斯坦福大学（http://vis.stanford.edu/ 移到了 http://idl.cs.washington.edu/ ） 2.北卡罗来纳州立大学夏洛特分校和乔治亚理工大学（http://srvac.uncc.edu/ ） 3.普度大学和印第安纳大学医学院（http://eng

2017-07-15 02:10:17 451

转载 HDFS文件读取与写入剖析

一、HDFS读过程1.1 HDFS API 读文件Configuration conf = new Configuration(); 1FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.open(file); String da

2017-06-25 14:26:47 512

通过ZooKeeper构建分布式系统分布式系统是同时跨越多个物理主机，独立运行的多个软件组件所组成的系统。采用分布式去设计系统的原因有很多，分布式系统能够利用多处理器的计算能力，来运行组件，比如并行复制任务。一个系统也许由于战略原因，需要分布在不同的地点，比如一个应用由多个不同地点的服务器提供服务。选取s1,s2,s3为zookeeper管理的集群ZooKeeper安装1.下载并解压zookeepe

2017-05-25 00:48:29 1382

转载 spring核心框架体系结构（jar包依赖）

很多人都在用spring开发Java项目，但是配置maven依赖的时候并不能明确要配置哪些spring的jar，经常是胡乱添加一堆，编译或运行报错就继续配置jar依赖，导致spring依赖混乱，甚至下一次创建相同类型的工程时也不知道要配置哪些spring的依赖，只有拷贝，其实，当初我就是这么干的！　　spring的jar包只有20个左右，每个都有相应的功能，一个jar还可能依赖了若干其他jar，所以

2017-05-20 19:57:04 376

原创 Hbase完全分布式

1.配置hbase-site.xml（hdfs文件系统，分布式开关，zookeeper节点）<configuration><property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</

2017-05-20 18:51:00 352

原创 Hbase初探

一.安装选择一个 Apache 下载镜像，下载 HBase Releases.然后下载后缀为 bin.tar.gz 的文件; 例如 hbase-1.3.0-bin.tar.gz.解压缩，然后进入到那个要解压的目录. 现在你已经可以启动HBase了。但是你可能需要先编辑 conf/hbase-site.xml 去配置hbase.rootdir，来选择HBase将数据写到哪个目录<configurat

2017-05-20 16:13:35 526

原创 Hadoop MapReduce原理

hadoop核心类(五个)1.hdfs :数据存储 Namenode：org.apache.hadoop.hdfs.server.namendoe.NameNode DataNode:org.apache.hadoop.hdfs.server.datanode.DataNode SecondaryNameNode:org.apache.hadoop.hdfs.server.namendoe.S

2017-05-20 15:33:59 347

原创 Hadoop集群模式下运行Mapreduce任务

写了一个Hadoop权威指南中MapReduce处理天气数据的Demo一.MapReduce执行过程map前 map后 mapreduce流程图二.编写Mapper和Reducer类MaxTemperatureMapper MaxTemperatureReducer//mapperimport java.io.IOException;import org.apache.hadoop.io.

2017-04-19 17:18:21 4520

原创 Nginx安装手册

1 nginx安装环境nginx是C语言开发，建议在linux上运行，本教程使用Centos6.5作为安装环境。gcc安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gcc：yum install gcc-c++PCREPCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl 兼容的正则表达式库

2017-04-17 15:27:54 314

原创解决Eclipse使用Maven下载慢的问题

开发过程中在pom.xml中添加pom的时候，默认是需要从中央仓库中下载，但是下载的速度是非常慢的，超过一定的时间可能就觉得是eclipse卡死了。解决办法是在maven中添加阿里的镜像。具体的操作步骤是：方法一：1.找到maven安装目录下conf文件夹下的settings.xml文件 2.在mirrors中添加阿里的镜像 <mirrors> <!-- mirror

2017-04-14 02:04:36 3025

原创 maven新建子聚合项目时报错

Could not calculate build plan: Plugin org.apache.maven.plugins:maven-resources-plugin:2.5 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plug

2017-04-13 23:09:39 1136

原创 myeclipse中项目名有红叉，但项目中文件没有报错的解决方法

查看markers发现Target runtime Apache Tomcat 8.0 is not defined1、导入以前的项目（Markers中注意查看，就在console选项卡旁边），报以下错误，但不影响操作：Description Resource Path Location Type Target runtime Apache Tomcat v8.0 is not defined.

2017-04-12 22:33:32 4978

原创 hadoop2.x配置

hadoop2.x配置1.独立模式没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。将Hadoop2.x压缩包解压后，配置好环境变量，此时便是独立模式输入jps指令，发现没有守护进程root@ubuntu:/mnt/hgfs/Host2VMmare# jps6518 Jps输入Hadoop fs -ls / 指令查看Hadoop文件

2017-04-10 17:47:08 753

转载单例模式

第一种（懒汉，线程不安全）：public class Singleton { private static Singleton instance; private Singleton (){} public static Singleton getInstance() { if (instance == null) { instanc

2017-03-20 21:57:32 308

原创 MongoDB快速入门

一.安装安装的版本是 mongodb-win32-x86_64-2008plus-ssl-3.4.2-signed 狂点下一步就OK了二.启动MongoDB服务安装完成后，在mongoDB文件夹内新建data文件夹用于存储数据然后进入cmd启动MongoDB服务进入mongoDB的bin目录下输入如下命令后回车mongod.exe --dbpath D:\MongoDB\datamongoDB服务

2017-03-15 14:48:27 669

原创 Java高并发程序设计笔记（八）之Future设计模式

Future是多线程开发中一种常用的设计模式，它的核心思想是异步调用。去除了主函数的等待时间，并使得原本需要等待的时间段可以用于处理其他业务逻辑。例如如下的请求调用过程时序图。当call请求发出时，需要很长的时间才能返回。左边的图需要一直等待，等返回数据后才能继续其他操作；而右边的Future模式的图中客户端则无需等到可以调用其他业务逻辑，充分利用了等待时间。服务器段接收到请求后立即返回结果给客户端

2017-03-12 20:02:32 762

原创 Java高并发程序设计笔记（七）锁的优化

锁的竞争必然会导致程序的整体性能下降，为了将这种副作用降到最低，提出一些关于锁的使用建议：1.减少锁的持有时间以下段代码为例public synchronized void syncMethod(){ otherCode1(); mutextMethod(); otherCode2();}在syncMethod方法中只有mutextMethod( )是需要同步的，而oth

2017-03-08 19:29:55 474

原创 Java高并发程序设计笔记（六）之CopyOnWriteArrayList与BlockingQuene

高效读取：CopyOnWriteArrayListJDK提供了CopyOnWriteArrayList,对于它来说读取是完全不用加锁的，写入也不会阻塞读取操作，只有写入和写入之间需要同步等待。这样一来度的性能就会大幅度提升。CopyOnWrite就是在写入操作时，进行一次自我复制，换句话说。当这个List需要修改时，并不修改原有内容（这对于保证当前读线程的数据一致性非常重要），而是对原有数据进行一次

2017-03-08 15:45:21 564

原创 HDFS命令行接口

对HDFS的操作方式 hadoop fs XXXhadoop fs -ls / 查看hdfs根目录下的内容 hadoop fs -lsr / 递归查看hdfs的根目录下的内容 hadoop fs -mkdir /d1 在hdfs创建文件夹d1 hadoop fs -put (linux source) (hdfs destination) 把数据从linux中上传到hdfs的特定路径下

2017-03-02 21:53:57 1048

原创 Java高并发程序设计笔记（五）之Fork/Join框架

一.Fork/Join框架分而治之是一个非常有效的处理大数据的方法，著名的Mapreduce也是采取了分而治之的思想。Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。我们再通过Fork和Join这两个单词来理解下Fork/Join框架，Fork就是把一个大任务切分为若干子任务并行的执行，Joi

2017-03-01 22:10:34 978

原创 Java高并发程序设计笔记（四）之线程池

一.线程池多线程可以最大限度地发挥多核处理器的计算能力，提高生产系统的吞吐量和性能。但是若果不加控制和管理随意使用线程，对系统的性能反而会产生不利的影响。线程的创建和关闭也需要花费时间，如果为每一个小的任务都要创建一个线程，很有可能出现创建和销毁线程的时间远大于真实工作所消耗的时间，反而会得不偿失。其次线程本身也要占用内存空间，大量的线程会抢占宝贵的内存资源，如果处理不当会导致内存溢出，大量的线程回

2017-03-01 18:11:48 879

原创 Hadoop平台执行Wordcount程序

之前搭建好了hadoop的伪分布式环境，今天跑一下hadoop自带的wordCount程序1.在root目录下新建一个文本文档命名为test ，输入一段英文到此文本中 2.将文本文件上传到 hdfs 文件系统中的 input 目录下，打开命令行，输入如下命令hadoop fs -copyFromLocal /root/test input（注：如果 dfs 中不包含 input 目录的话就

2017-02-22 16:44:50 1064

原创 Java高并发程序设计笔记（三）之Volatile与Lock

volatile关键字为了在适当的场合确保线程间的有序性，原子性和一致性，Java使用了一些特殊的关键字或者操作来声明，告诉虚拟机，这些地方要尤其注意，不能随意变化优化目标的指令。关键字volatile就是其中之一。当声明了volatile变量时就等于告诉了虚拟机，这个变量极有可能被某些程序或者线程修改。为了确保这个变量被修改后，应用程序内的所有线程都能看到这个改动，虚拟机必须采取一些特殊的手段，保

2017-02-19 19:53:40 766

原创 Java高并发程序设计笔记（二）

线程的基本操作：新建线程：start()和run()区别start() 会新建一个线程并让线程执行run方法()的代码（不使用） run()只是在当前线程中串行执行run()方法中的代码终止线程：stop()stop()方法过于暴力，强行把执行到一半的线程终止，并立即释放这个线程持有的锁，而这些锁是用来维护数据对象一致性的，若此时写线程写入数据正写到一半，并强行终止，那么对象就会被写坏，与此同时

2017-02-19 16:10:15 362

原创 Hadoop伪分布式环境搭建

hadoop的伪分布式安装

2017-02-16 16:21:49 309

原创 Java高并发程序设计笔记（一）

Java内存模型（JMM）JMM是为了保证多个线程间可以有效地正确地协同工作而诞生的一种规则 JMM的关键技术围绕着多线程的原子性，可见性，有序性来建立的原子性原子性只一个操作时不可中断的，即使是在多线程的环境下，一个操作一旦开始，就不会被其他线程干扰。比如对于一个静态全局变量int i,线程A给它赋值1，线程B给它赋值-1，则不管这连个线程以何种方式赋值，i的值要么是1,要么是-1，线程A和B之

2017-01-04 20:02:22 508

原创 linux 基本命令

一、文件系统的管理tips:输入命令的时候要常用tab键来补全ls 查看目录信息（ ls / ） ls -l 等价于 ll pwd 查看当前所处的路径 cd 切换目录 (cd /) ,如果不带参数则切换到用户主目录 mkdir 创建文件夹 mkdir -p a/b/c 如果要创建的文件夹的父目录不存在，则自动创建 rmdir 删除空文件夹 (只能删除空文

2016-12-11 15:43:20 648

原创 java虚拟机学习笔记

java虚拟机精讲笔记（一）

2016-11-18 20:32:34 318

兮小熙的博客