- 博客(42)
- 资源 (9)
- 收藏
- 关注
原创 Spark 1.3.1 部署
参考:http://my.oschina.net/leejun2005/blog/3949281 安装环境Spark 1.3.1需要JDK1.6或更高版本,我们这里采用jdk 1.7.0_67Spark 1.3.1需要Scala 2.10或更高版本,我们这里采用scala 2.11.62 部署HadoopSpark目前支持多种分布式部署方式:1、Standa
2015-05-25 15:48:35
496
1
原创 Python字符串操作
去空格及特殊符号s.strip().lstrip().rstrip(',')复制字符串#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2连接字符串#strcat(sStr1,sStr2)sStr1 = 'strcat'sStr2 = 'append
2014-09-18 10:23:05
417
TCP三次握手、四次挥手
转自:http://blog.csdn.net/bird67/article/details/4871541TCP(Transmission Control Protocol) 传输控制协议TCP是主机对主机层的传输控制协议,提供可靠的连接服务,采用三次握手确认建立一个连接:位码即tcp标志位,有6种标示:SYN(synchronous建立联机)...
2014-09-17 17:45:00
82
转载 free命令详解
转载:http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html
2014-09-16 17:02:15
1154
原创 CentOS6.5编译部署64位Hadoop2.2.0
1、root用户,建立haoop用户useradd -g root hadoop 2、下载jdk、maven、hadoop-src(64位hadoop需要自己编译)环境变量:sudo vim /etc/profileJAVA_HOME=/usr/local/jdk1.7.0_25JRE_HOME=$JAVA_HOME/jreCLASSPATH=.:$JAVA_HOME/
2014-07-07 22:41:05
895
转载 Shallow heap & Retained heap
zhuan所有包含Heap Profling功能的工具(MAT, Yourkit, JProfiler, TPTP等)都会使用到两个名词,一个是Shallow Size,另一个是 Retained Size. 这是两个在平时不太常见的名词,本文会对这两个名词做一个详细的解释。 Shallow Size 对象自身占用的内存大小,不包括它引用的对象。 针对非数组类型的对象,它的
2014-05-29 16:55:31
502
HTTP状态码列表
状态码状态码英文名称中文描述100Continue继续。客户端应继续其请求101Switching Protocols切换协议。服务器根据客户端的请求切换协议。只能切换到更高级的协议,例如,切换到HTTP的新版本协议20...
2014-05-07 09:23:00
101
转载 Singleton(二)
0)Eager initialization如果程序一开始就需要某个单例,并且创建这个单例并不那么费时,我们可以考虑用这种方式:123456789public class Singleton { private static final Singleton INSTANCE = new Singleton(); p
2014-05-06 00:56:16
501
sleep和wait
1、这两个方法来自不同的类分别是,sleep来自Thread类,和wait来自Object类。sleep是Thread的静态类方法,谁调用的谁去睡觉,即使在a线程里调用了b的sleep方法,实际上还是a去睡觉,要让b线程睡觉要在b的代码中调用sleep。2、最主要是sleep方法没有释放锁,而wait方法释放了锁,使得其他线程可以使用同步控制块或者方法。sleep不出让系统资源;w...
2014-05-05 23:12:00
78
转载 显示适配
function a(){ document.write( "屏幕分辨率为:"+screen.width+"*"+screen.height +""+ "屏幕可用大小:"+screen.availWidth+"*"+screen.availHeight +""+ "屏幕分辨率的高:"
2014-04-24 21:32:08
465
synchronized
概述synchronized 关键字,代表这个方法加锁,相当于不管哪一个线程(例如线程A),运行到这个方法时,都要检查有没有其它线程B(或者C、 D等)正在用这个方法,有的话要等正在使用synchronized方法的线程B(或者C 、D)运行完这个方法后再运行此线程A,没有的话,直接运行。它包括两种用法:synchronized 方法和 synchronized 块。synchronize...
2014-04-23 15:22:00
87
Linux环境变量
环境变量的设置echo JAVA_HOME=/usr/local/jdk1.7.0_21export设置只对当前的bash登录session有效,注销后失效。这是存在内存里面的。也可以写入一般的文件,之后source它。或者写到/etc/profile 等文件里,不同的地方效果不同。系统设置相关的文件/etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录...
2014-04-21 18:40:00
71
VMWare
VMWare安装Ubuntu 12开启虚拟机的Unity Mode模式终端中输入:sudo add-apt-repository ppa:gnome3-team/gnome3sudo apt-get updatesudo apt-get install gnome-shell更新完成后,注销,选择 Gnome Classic - No Effects桌面,就可以进入Unity模...
2014-04-13 11:08:00
97
转载 Java集合类说明及区别
Collection├List│├LinkedList│├ArrayList│└Vector│ └Stack└SetMap├Hashtable├HashMap└WeakHashMapCollection接口 Collection是最基本的集合接口,一个Collection代表一组Object,即Collection的元素(Elements)。一
2013-09-10 18:50:09
715
转载 Java hashcode 与 equals 的关系
先来看能表明hashcode和equals的关系的几句话:equals()相等的两个对象,hashcode()一定相等;equals()不相等的两个对象,却并不能证明他们的hashcode()不相等。反过来:hashcode()不等,一定能推出equals()也不等;hashcode()相等,equals()可能相等,也可能不等。我觉得这样表达两者之
2013-09-10 18:25:30
407
什么是项目与项目管理
什么是项目与项目管理一、 什么是项目 所谓项目,简单地说,就是在既定的资源和要求的约束下,为实现某种目的而相互联系的一次性工作任务。一般来说,项目具有如下的基本特征:1、 明确的目标其结果只可能是一种期望的产品,也可能是一种所希望得到的服务。2、 独特的性质每一个项目都是唯一的。3、 资源成本的约束性每一项目都需要运用各种资源来实施,而资源是有限的。4、 项目实施的一次性项目不能重复。5、 项目的...
2013-08-27 19:36:00
103
原创 Java基本数据类型及长度
Java语言提供了八种基本类型。六种数字类型(四个整数型,两个浮点型),一种字符类型,还有一种布尔型。 1、整数:包括int,short,byte,long 2、浮点型:float,double 3、字符:char 4、布尔:boolean基本型别大小最小值最大值char16-bitUnicode 0Unicode 2^1
2013-08-16 17:58:16
479
转载 Java Singleton(一)
概念:在Java应用程序中,一个类Class只有一个实例存在运用:1)系统资源,如文件路径,数据库链接,系统常量等2)全局状态化类,类似AutomicInteger的使用优缺点:1)节省内存有利于垃圾回收2)只能使用在特定的环境下,受限制于JVM和容器 单例作用范围的前提是在一个ClassLoad下。所以像分布式应用EJB就要
2013-08-07 18:06:57
469
转载 MySQL中的insert ignore into, replace into等的一些用法总结
在MySQL中进行条件插入数据时,可能会用到以下语句,现小结一下。我们先建一个简单的表来作为测试:CREATE TABLE `books` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `name` VARCHAR(200) NOT NULL, PRIMARY KEY (`id`), UNIQUE KEY `NewI
2013-08-02 12:24:10
562
转载 7个示例科普CPU Cache
大多数读者都知道cache是一种快速小型的内存,用以存储最近访问内存位置。这种描述合理而准确,但是更多地了解一些处理器缓存工作中的“烦人”细节对于理解程序运行性能有很大帮助。在这篇博客中,我将运用代码示例来详解cache工作的方方面面,以及对现实世界中程序运行产生的影响。下面的例子都是用C#写的,但语言的选择同程序运行状况以及得出的结论几乎没什么影响。示例1:内存访问和运行
2013-07-31 17:02:12
543
转载 JDK5.0的11个主要新特征
1 泛型(Generic) 1.1 说明 增强了java的类型安全,可以在编译期间对容器内的对象进行类型检查,在运行期不必进行类型的转换。而在j2se5之前必须在运行期动态进行容器内对象的检查及转换 减少含糊的容器,可以定义什么类型的数据放入容器ArrayList listOfIntegers; // is new to the syntaxInteg
2013-07-26 01:56:00
475
原创 Java String\StringBuffer\Stringbuilder
String是final不可变的,对String类的任何改变,都是返回一个新的String类对象。把String类的引用传递给一个方法,该方法对String的任何改变,对原引用指向的对象没有任何影响,这一点和基本数据类型相似。StringBuffer是字符串变量,它的对象是可以扩充和修改的,所以StringBuffer在进行字符串处理时,不生成新的对象,在内存使用上要优于String。Stri
2013-07-26 01:49:07
315
原创 Spring3.0任务调度
nameSpace引入xmlns:task="http://www.springframework.org/schema/task"xsi:schemaLocation引入http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-3.0.xsd
2013-07-25 20:10:56
432
Maven使用教程
Maven介绍什么是maven相信很多人都已经对它已经有了或多或少的了解,这里给一个专业的定义:Maven是标准、存储格式以及一些软件用以管理和描述项目。它为构建、测试、部署项目定义了一个标准的生命周期。它提供了一个框架,允许遵循Maven标准的所有项目,方便的重用公用的构建逻辑。Maven项目存在的Apache软件基金会,是一个开源社区,它开发的软件工具,基于一个通用的软件对象模型(...
2013-07-17 12:00:00
110
转载 REST设计原则
简介REST (REpresentation State Transfer,表述性状态转移) 。REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。REST 定义了一组体系架构原则,您可以根据这些原则设计以系统资源为中心的 Web 服务,包括使用不同语言编写的客户端如何通过 HTTP 处理和传输资源状态。 如果考虑使用它的 Web 服务
2013-07-04 17:43:32
1468
原创 JVM学习之二:内存管理
内存管理机制内存空间划分为:Sun JDK在实现时遵照JVM规范,将内存空间划分为堆、JVM方法栈、方法区、本地方法栈、PC寄存器。 堆:堆用于存储对象实例及数组值,可以认为Java中所有通过new创建的对象的内存都在此分配,Heap中对象所占用的内存由GC进行回收,在32位操作系统上最大为2GB,在64位操作系统上则没有限制,其大小可通过-Xms和-Xmx来控制,-Xms为
2013-06-19 00:38:50
452
原创 JVM学习之一:内存组成
堆(Heap)和非堆(Non-Heap) 内存按照官方的说法:“Java 虚拟机具有一个堆,堆是运行时数据区域,所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆(Heap memory)之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要管理两种类型的内存:堆和非堆。简单来说堆就是Java代码可及的内存,是留给开
2013-06-19 00:02:09
476
原创 jstat命令
1. jstat -gc pid可以显示gc的信息,查看gc的次数,及时间。其中最后五项,分别是young gc的次数,young gc的时间,full gc的次数,full gc的时间,gc的总时间。2.jstat -gccapacity pid可以显示,VM内存中三代(young,old,perm)对象的使用和占用大小,如:PGCMN显示的是最小perm的内存使用量,PGC
2013-06-18 17:02:17
345
原创 Strom配置
Storm的配置文件一般存放在$STORM_HOME/conf下,通常名为storm.yaml,它符合yaml格式要求。配置详解以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Based storm 0.6.0):配置项配置说明storm.zookeeper.port
2013-05-23 11:13:31
1644
原创 Strom命令
关闭nimbus相关进程kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'` 关闭supervisor上的所有storm进程kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print
2013-05-23 10:50:33
637
转载 ZooKeeper典型应用场景一览
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是,ZK并非天生就是为这些应用场景设计的,都是后来众多开发者根据其框架的特性
2013-05-20 18:47:16
373
转载 Storm入门教程 第五章 一致性事务
Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题。Transactional Topology目前已经不再维护,由Trident来实现事务性topology,但是原理相同
2013-05-14 10:44:13
473
转载 Storm入门教程 第四章 消息的可靠处理
4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建。我们来思考一下流式的“单词统计”的例子:sto
2013-05-14 10:43:30
522
原创 Storm入门教程 第三章 Storm安装部署步骤
3.1 Storm集群组件Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下:1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。2.
2013-05-14 10:31:16
1098
转载 Storm入门教程 第二章 构建Topology
在运行一个Storm任务之前,需要了解一些概念:TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs,而在Storm上运行的是拓扑(topology),这两者之间是非
2013-05-14 10:26:36
546
转载 Storm入门教程 第一章 前言
1.1 实时流计算互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求,软件行业除了个人操作系统之外,数据库(更精确的说是关系型数据库)应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前,很多银行别说实时转账,连实时查询都做不到,但是数据库和高速网络改变了这个情况。随着互联网的更进一步发
2013-05-14 10:23:50
504
Storm入门教程 第一章 前言
1.1 实时流计算互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求,软件行业除了个人操作系统之外,数据库(更精确的说是关系型数据库)应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前,很多银行别说实时转账,连实时查询都做不到,但是数据库和高速网络改变了这个情况。随着互联网的更进一步发展,...
2013-05-14 10:23:00
71
原创 eclipse
MyEclipse速度优化1、关闭自动更新 Window > Preferences > Myeclipse > Maven4Myeclipse > Maven > 禁用Download repository index updates on startup。 2 、关闭validation validation有一堆,什么xml、jsp、jsf、
2013-04-19 17:23:59
698
原创 Lucene
1. 全文检索的基本原理Lucene 是一个高效的,基于Java 的全文检索库。所以在了解Lucene之前要费一番工夫了解一下全文检索。什么叫做全文检索呢?这要从我们生活中的数据说起。我们生活中的数据总体分为两种:结构化数据和非结构化数据 。结构化数据: 指具有固定格式或有限长度的数据,如数据库,元数据等。 非结构化数据: 指不定长或无固定格式的数据,如邮件,word文档等。
2013-04-18 16:47:35
441
CASIA语音情感语料库
2022-03-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人