Java海洋-CSDN博客

转载 spark初始：spark腾讯雅虎优酷成功应用解析

问题导读：1. Spark vs MapReduce 有哪些优势？2.Spark有哪些成功应用案例？3.与Hive相比，Shark有哪些特性？Spark作为Apache顶级的开源项目，项目主页见http://spark.apache.org。在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、Spark Streaming、MLbas

2014-07-22 14:38:47 6158

转载 hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令

sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown

2014-07-22 10:06:16 2341

转载 SSH免登录设置

最近在搞hadoop所有涉及到了master到slave的登陆，为了简便所有将master访问所有slave都配置成了免登陆方式，具体步骤：1、在master机器上创建密钥：ssh-keygen -t rsa -P ''会在.ssh文件夹下生成公钥：id_rsa.pub；密钥：id_rsa2、将公钥添加至authorized_keys中：cat ~/.ssh

2014-07-20 22:36:40 865

原创 ubuntu自带VI编辑器不好用的解决办法

新装的ubuntu12.04，本人绝对新手，在使用VI编辑器编辑文本时觉得实在是难用，因此找了几个解决方法如下：1. 安装vim full版本由于Ubuntu预安装的是tiny版本，就会导致我们在使用上的产生不便。所以我们要安装vim的full版本。首先，先卸掉旧版的vi，输入以下命令： sudo apt-get remove vim-common然后安装full版

2014-07-20 22:35:49 1160

转载 JVM性能调优

最近因项目存在内存泄漏，故进行大规模的JVM性能调优，现把经验做一记录。一、JVM内存模型及垃圾收集算法1.根据Java虚拟机规范，JVM将内存划分为：New（年轻代） Tenured（年老代）永久代（Perm）其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:...

2014-07-20 15:25:25 60375 1

转载 <s:form action="login"...与<s:form action = "login.action".的区别

1、它表示的是form id="login" name="login" action="/Action/login/login.action" method="post">因为它使用了struts标签，后面会自动加.action,而且namespace会起作用2.它表示的是form id="login" name="login" action="lo

2014-07-16 15:35:02 12695

原创 PreparedStatement 使用like

PreparedStatement 使用like在使用PreparedStatement进行模糊查询的时候废了一番周折，以前一直都没有注意这个问题。一般情况下我们进行精确查询，sql语句类似：select * from table where name =?，然后调用 PreparedStatement的setString等方法给？指定值。那么模糊查询的时候应该怎么写呢？我首先尝试了：se

2014-07-15 16:37:11 2082

转载 Tomcat：IOException while loading persisted sessions: java.io.EOFException解决手记

一直用tomcat一段时间都正常无事，最近一次启动tomcat就发生以下异常：严重: IOException while loading persisted sessions: java.io.EOFException严重: Exception loading sessions from persistent storage原因是tomcat对硬盘的session读取失败，

2014-07-10 17:26:27 2492

转载 MyEclipse远程调试Tomcat

程序就是这么一个神奇的东西，有时你的一个项目，在本机上运行得还是好好的，可当你把这货放到了服务器上，同样的条件就是结果不一样。于是就灰常想看一下程序在远程运行时候的状态，希望让程序在远程运行，还可以在本机打断点跟一下，这就用到了用eclipse远程调试Tomcat。记得以前好久之前研究了一下，怎么也没弄成功。最近终于OK啦。一、调试准备首先得有一个在远程服务器上的Tomcat与一个

2014-07-07 09:34:02 1116

原创 tomcat自动记录访问日志

默认情况下Tomcat并不记录访问日志文件(access log)： Catalina/conf/server.xml；将文件中这一段的注释去掉，然后将pattern的值改为combined ，这个模式下记录的日志比较详细。 directory="logs" prefix="localhost_access_lo

2014-07-04 17:47:12 14407

原创 JVM调优工具之VisualVM介绍1

这时候要注意 Xmx和MaxPermSize的和不要超过系统支持最大的jvm堆的大小，否则tomcat也无法启动。可以通过java -Xmx###M -version 来测试系统支持最大的jvm大小，如java -Xmx1280M -version,报错就不行，不报错xian

2014-07-04 17:31:49 9736 1

原创 JConsole使用手册详解

一篇Sun项目主页上介绍JConsole使用的文章，前段时间性能测试的时候大概翻译了一下以便学习，今天整理一下发上来，有些地方也不知道怎么翻，就保留了原文，可能还好理解点，呵呵，水平有限，翻的不好，大家多多包涵。JConsole毕竟是JDK自带的东西，功能虽然没有一些商业软件那么强大，但是稳定性好，在大压力情况下也不会发生什么问题。而且，提供了相对全面的系统监控功能，还是值得一用的。

2014-07-04 16:09:30 47987 1

原创 MyEclipse部署按钮失效

如果用着MyEclipse哪一天部署按钮突然d

2014-06-30 15:57:03 2983

转载 Ubuntu下安装eclipse

环境：Ubuntu 10.04步骤：1、安装配置JDK，详见http://blog.csdn.net/gavin_dinggengjia/article/details/73638632、下载eclipse从官网http://www.eclipse.org/downloads/下载Eclipse IDE for Java EE Developers的Li

2014-06-28 17:50:59 711

原创 ThreadLocal介绍和用法

ThreadLocal是什么　　ThreadLocal是什么呢？其实ThreadLocal并非是一个线程的本地实现版本，它并不是一个Thread，而是thread local variable（线程局部变量）。也许把它命名为ThreadLocalVar更加合适。线程局部变量（ThreadLocal）其实的功用非常简单，就是为每一个使用该变量的线程都提供一个变量值的副本，是每一个线程都可以独

2014-06-25 16:07:57 2376

集合是编程中最常用的数据结构。而谈到并发，几乎总是离不开集合这类高级数据结构的支持。比如两个线程需要同时访问一个中间临界区（Queue），比如常会用缓存作为外部文件的副本（HashMap）。这篇文章主要分析jdk1.5的3种并发集合类型（concurrent，copyonright，queue）中的ConcurrentHashMap，让我们从原理上细致的了解它们，能够让我们在深度项目开发中获益非浅

2014-06-25 14:57:56 965

原创 tomcat内存和线程数配置

一、Tomcat的JVM提示内存溢出查看%TOMCAT_HOME%\logs文件夹下，日志文件是否有内存溢出错误二、修改Tomcat的JVM1、错误提示：java.lang.OutOfMemoryError: Java heap spaceTomcat默认可以使用的内存为128MB，在较大型的应用项目中，这点内存是不够的，有可能导致系统无法运行。常见的问题是报Tom

2014-06-25 14:46:57 9623

原创 JAVA中的线程以及与进程的区别

一、进程与应用程序的区别　　　　进程（Process）是最初定义在Unix等多用户、多任务操作系统环境下用于表示应用程序在内存环境中基本执行单元的概念。以Unix操作系统为例，进程是Unix操作系统环境中的基本成分、是系统资源分配的基本单位。Unix操作系统中完成的几乎所有用户管理和资源分配等工作都是通过操作系统对应用程序进程的控制来实现的。　　　　C、C++、Java等语

2014-06-25 14:25:29 7076

转载 JVM系列四:生产环境参数实例及分析【生产环境实例增加中】

ava application项目（非web项目）改进前：-Xms128m-Xmx128m-XX:NewSize=64m-XX:PermSize=64m-XX:+UseConcMarkSweepGC-XX:CMSInitiatingOccupancyFraction=78-XX:ThreadStackSize=128-Xloggc:logs/gc.log-Dsun.rmi.dgc.

2014-06-25 11:42:41 959

转载 JVM系列三:JVM参数设置、分析

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置不同

2014-06-25 11:40:57 1089

转载 JVM系列二:GC策略&内存申请、对象衰老

JVM里的GC(Garbage Collection)的算法有很多种，如标记清除收集器，压缩收集器，分代收集器等等,详见HotSpot VM GC 的种类现在比较常用的是分代收集（generational collection,也是SUN VM使用的,J2SE1.2之后引入），即将内存分为几个区域，将不同生命周期的对象放在不同区域里:young generation，tenu

2014-06-25 11:39:24 955

转载 JVM系列一：JVM内存组成及分配

java内存组成介绍：堆(Heap)和非堆(Non-heap)内存按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要管理两种类型的内存：堆和非堆。简单来说堆就是Java代码可及的内存，是留给开发

2014-06-25 11:12:06 871

原创 tomcat5.5 server文件配置详解

1.精简Tomcat和配置文件 1．删除不需要的管理应用和帮助应用，提高tomcat安全性。# 删除webapps下所有文件# rm –fr $CATALINA_HOME/webapps/*# 删除server/wenapps下所有文件# rm –fr $CATALINA_HOME/server/webapps/* 2．精简sever.xml配置文件使用tomc

2014-06-24 14:31:52 1445

转载互联网界产品经理和项目经理

前几日写了一篇博文《》，没想到写了之后很快被广泛转载，也有很多人表达了对文章观点的赞许之意。我想很多看过的（没看过的建议先看一下）网友一定会接下去关心另外一个问题：既然这种产品经理+项目经理的组织结构设置具备很好的优势，如何才能打造这种黄金组合呢？应该说在“如何”这个问题上，还是有很多学问可以展开来说的。不过我忽然想起前几天和原来的一个领导在争论我原来的一个同事能力的问题。我们都一直认为这

2014-06-23 15:48:06 4037

转载增加tomcat内存

就在今天,我把数据库的数据读出来,放在LIST里,晕.具然出现TOMCAT内存益处,在网上查查看,看了一个方法,还可以,现在告诉大家, Tomcat默认可以使用的内存为128MB，在较大型的应用项目中，这点内存是不够的，轻微时，会使系统性能急剧下降，严重时,将导致系统无法运行，影响系统的稳定性。当内存不够用时，常见的问题就是报tomcat内存益处错误，从儿导致客户端包500错误的，如下

2014-06-22 22:10:43 1015

原创 Zookeeper应用详解记录

引子云计算越来越流行的今天，单一机器处理能力已经不能满足我们的需求，不得不采用大量的服务集群。服务集群对外提供服务的过程中，有很多的配置需要随时更新，服务间需要协调工作，这些信息如何推送到各个节点？并且保证信息的一致性和可靠性？众所周知，分布式协调服务很难正确无误的实现，它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气？Zookeeper是一个不错的选择。Zookeeper

2014-06-22 22:06:34 6732

转载查看tomcat当前并发数

如何在WINDOW下配置TOMCAT APR： APR是什么呢，（Tomcat can use the Apache Portable Runtime to provide superior scalability, performance, and better integration with native server technologies. ）Windo

2014-06-22 19:49:49 22445 1

原创如何保障项目组写出高质量的代码

Java项目开发过程中，由于开发人员的经验、Java代码编写习惯，以及缺乏统一的标准和管理流程，往往导致整个项目的代码质量较差，难于维护，需要较大的测试投入和周期等问题。这些问题在一个项目组初建、需求和设计均具有不完全可预期性和完备性的全新项目中将尤为突出。可以采用以下步骤来保证和提高整个项目的代码质量：统一编码规范、代码样式;静态代码分析(staticcodereview);单元测试;持续集

2014-06-10 16:20:59 3268 1

原创 Hadoop MapReduce具体运行过程

先看一段代码：　　package com.abc;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.

2014-06-08 17:34:53 1279

转载从入门到精通我是这样学习算法的

这篇文章讲了什么? 我这些年学习数据结构和算法的总结。一些不错的算法书籍和教程。算法的重要性。初学第一次接触数据结构是在大二下学期的数据结构课程。然而这门课程并没有让我入门——当时自己正忙于倒卖各种MP3和耳机，对于这些课程根本就不屑一顾——反正最后考试划个重点也能过，于是这门整个计算机专业本科最重要的课程就被傻逼的我直接忽略过去了。直到大三...

2014-06-05 16:40:48 20841 11

转载 Hadoop运行原理

我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+

2014-06-04 14:36:46 876

原创 Hadoop集群三种作业调度算法

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简

2014-05-29 10:14:51 4743

转载 hadoop安全性问题

对于处理大数据的组织来说这意味着什么？意味着你拥有的数据越多，对数据的保护就越重要。意味着不仅要安全有效地控制离开自有网络的数据，还必须做好网络内部的数据访问控制。依据数据的敏感程度，我们可能要确保数据分析师能看到的数据是可以让他们分析的数据，并且必须明白发布这些数据及其分析结果可能产生的后果。仅Netflix数据泄漏一个案例就足以表明，即使已经试图对数据做了“匿名化”处理，也可能会发布一些意料之

2014-05-28 16:55:16 6627

转载监控组合ganglia和nagio安装步骤

本帖最后由 pig2 于 2014-5-20 09:39 编辑Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。而ganglia又依赖于一个web服务器用来显示集群状态，用rrdtool来存储数据和生成曲线图，需要xml解析因此需要e

2014-05-27 18:05:02 2753

原创 HDSF主要节点讲解(二)工作原理

hadoop数据写入和读之原理分析

2014-05-27 17:14:50 2109

原创 HDFS主要节点讲解(一)节点功能

简单明了的介绍下HDFS几个节点

2014-05-27 16:08:59 8480

原创一个服务器部署多个tomcat出现端口占用问题

如果服务器已经有部署tomcat，则要修改server.xml中的端口，tomcat默认都是8005，还有这里，要把原来8009修改成别的

2014-05-23 11:01:29 1226

转载 HDFS之Qurom Journal Manager（QJM）实现机制分析

1.前言1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年，已经相对稳定成熟。虽然如此，NFS也有缺点不能满足HDFS的在线存储业务：网络单点及其存

2014-05-08 21:45:05 3555