- 博客(116)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 多线程辅助类-CountDownLatch的用法
CountDownLatch，一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。主要方法 public CountDownLatch(int count); public void countDown(); public void await() throws InterruptedException 构造方法参数指定
2014-10-20 18:45:41
737
原创 内部类访问外部类方法中的参数-使用final
class Outer { private String name = "hello world . "; public void fun(final String s) { class Inner { public void print() { System.out.pr
2014-10-16 14:25:52
858
原创 flume 日志收集单节点
转自：flume 是 cloudera公司研发的日志收集系统，采用3层结构：1. agent层，用于直接收集日志;2.connect 层，用于接受日志; 3. 数据存储层，用于保存日志。由一到多个master管理1和2层节点。本文采用单节点试用flume日志处理。 下载flume下载页面https://github.com/cloudera/fl
2014-09-29 11:47:40
726
转载 syslog格式
1、syslog格式介绍 在Unix类操作系统上，syslog广泛 应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备 的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 完整 的syslog日志中包含产生日志的程序模块（F
2014-09-29 11:38:23
1715
转载 linux下syslog使用说明
转自：http://blog.chinaunix.net/uid-25120309-id-3359929.htmlsyslog 系统日志应用 1) 概述 syslog是Linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。程序，守护进程和内核提供了访问系统的日志信息。因此，任何希望生成日志信息的程序都可以向 syslog 接口
2014-09-29 10:57:06
1633
转载 进程优先级、nice值
ID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDroot 1 0.0 0.0 10368
2014-09-23 14:55:54
876
转载 机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读
2014-09-18 15:56:49
4296
转载 awk实现求和、平均、最大值和最小值的计算操作
0、准备和数据文件比如有一个数据文件，只有一列（在之前可以通过各种手段过滤出只有数字这一列），比如操作的响应时间Txt代码 490898 1189235 20212 1494270 146515 29369 23563 563027 22976 127809 16813 551646 18858 18977 1、求和ca
2014-09-17 16:34:10
10367
转载 深入理解WeakHashmap
(一) 查看API文档，WeakHashmap要点如下：1. 以弱键 实现的基于哈希表的 Map。在 WeakHashMap 中，当某个键不再正常使用时，将自动移除其条目。更精确地说，对于一个给定的键，其映射的存在并不阻止垃圾回收器对该键的丢弃，这就使该键成为可终止的，被终止，然后被回收。丢弃某个键时，其条目从映射中有效地移除2. WeakHashMap 类的行为部分取决于垃圾回收
2014-09-16 10:44:20
667
转载 Hive文件格式
转自：http://www.cnblogs.com/Richardzhu/p/3613661.htmlhive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SE
2014-09-05 14:27:33
2559
转载 rcfile
zha 在当前的基于Hadoop系统的数据仓库中，数据存储格式是影响数据仓库性能的一个重要因素。Facebook于是提出了集行存储和列存储的优点于一身的RCFile文件存储格式，据说当前在Facebook公司内部，其数据仓库的文件存储格式都是RCFile，另外盛大内部的数据仓库使用的也是RCFile文件存储格式。 我们现在正在进入一个大数据时代，何为“大数据”？它不仅仅就
2014-09-05 12:02:08
3651
原创 书写优雅的shell脚本（六）- shell中的命令组合（&&、||、（））
shell 在执行某个命令的时候，会返回一个返回值，该返回值保存在 shell 变量 $? 中。当 $? == 0 时，表示执行成功；当 $? == 1 时，表示执行失败。 有时候，下一条命令依赖前一条命令是否执行成功。如：在成功地执行一条命令之后再执行另一条命令，或者在一条命令执行失败后再执行另一条命令等。shell 提供了 && 和 || 来实现命令执行控制的功能，shell 将根据
2014-09-04 16:27:16
5621
转载 虚拟内存
转自：什么是虚拟内存 虚拟内存是用硬盘空间做内存来弥补计算机RAM空间的缺乏。当实际RAM满时（实际上，在RAM满之前），虚拟内存就在硬盘上创建了。当物理内存用完后，虚拟内存管理器选择最近没有用过的，低优先级的内存部分写到交换文件上。这个过程对应用是隐藏的，应用把虚拟内存和实际内存看作是一样的。 技术细节：对于英特尔 IA-32 处理器（包括 386、奔腾等）而言，
2014-08-23 23:21:43
768
转载 虚拟内存管理的作用/好处
摘自：1. 读写内存的安全性物理内存本身是不限制访问的，任何地址都可以读写，而操作系统要求不同的页面具有不同的访问权限，这是利用CPU模式和MMU的内存保护机制实现的。例如，Text Segment被只读保护起来，防止被错误的指令意外改写，内核地址空间也被保护起来，防止在用户模式下执行错误的指令意外改写内核数据。这样，执行错误指令或恶意代码的破坏能力受到了限制，顶多
2014-08-23 23:12:37
690
转载 用/proc/stat计算cpu的占用率
在Linux下，CPU利用率分为用户态，系统态和空闲态，分别表示CPU处于用户态执行的时间，系统内核执行的时间，和空闲系统进程执行的时间，三者之和就是CPU的总时间，当没有用户进程、系统进程等需要执行的时候，CPU就执行系统缺省的空闲进程。从平常的思维方式理解的话，CPU的利用率就是非空闲进程占用时间的比例，即CPU执行非空闲进程的时间 / CPU总的执行时间。在Linux系统中，CPU时间的
2014-08-23 22:45:46
3446
1
原创 Runtime.getRuntime().addShutdownHook(Thread)
Runtime.getRuntime().addShutdownHook(Thread)为虚拟机添加jing
2014-08-11 17:37:29
459
原创 $HADOOP_HOME/bin/hadoop脚本文件分析
#!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information
2014-08-11 13:00:13
7278
1
原创 ${varname:-defaultvalue}
${varname:-defaultvalue}的意思是：如果varname存在且非null，则返回其值；否则，返回v。用途：如果变量未定义，则返回默认值。
2014-08-11 10:50:18
759
原创 出现Insufficient space for shared memory file错误解决
今天shutdown用户的tomcat，出现了上面的错误日志，意思是说存储临时文件的目录空间不够了，df了下，系统根目录空间已经100%了
2014-07-30 17:01:14
8020
转载 org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误
当遇到如下错误的时候 可能以为是regionserver 挂掉或者其他原因导致连接不上regionserver 但后面提示了Hbase 表statistic_login 具体信息Thu Jan 17 15:30:12 CST 2013, org.apache.hadoop.hbase.client.ScannerCallable@5ec136e9, org.apache.hadoop.h
2014-07-30 16:55:38
5299
转载 linux防火墙过滤规则
一、linux防火墙基础防火墙分为硬件防火墙和软件防火墙。1.概述linux 防火墙体系主要工作在网络层，针对TCP/IP数据包实施过滤和限制，属于典型的包过滤防火墙。包过滤机制：netfilter管理防火墙规则命令工具：iptablesnetfilter 指linux内核中实现包过滤防火墙的内部结构，不依程序或文件的形式存在，属于“内核态”的防火墙
2014-07-30 16:41:11
10204
转载 NIO与IO的区别
分类： java2012-04-23 09:54 1994人阅读 评论(0) 收藏 举报nio是new io的简称，从jdk1.4就被引入了。现在的jdk已经到了1.6了，可以说不是什么新东西了。但其中的一些思想值得我来研究。这两天，我研究了下其中的套接字部分，有一些心得，在此分享。 首先先分析下：为什么要nio套接字？ nio的主要作用就是用来解决速度差异的。举个例子
2014-07-29 11:00:11
12071
原创 关于python代码的性能
在python中性能测试是一个很难应付的任务，因为它在反复地优化，也许版本和版本之间差别很大。python中的一个主要的原则是，首先为了简单和可读性去编写代码，在程序运行后，并证明了确实有必要考虑性能后，再考虑性能问题。更多的情况是代码本身就已经足够快了。如果确实需要提高代码的性能，那么python提供了帮助你实现的工具，包括time以及timeit模块和profile模块。
2014-07-28 14:16:41
413
原创 java中wait和notify
javapublic class Test {static Apple apple = new Apple();public static void main(String[] args) {for (int i=0; inew ProducerThread(apple).start();new CustomerThread(apple).start();}}
2014-07-23 18:19:05
630
转载 sql注入原理与实践
原文地址：http://www.cnblogs.com/rush/archive/2011/12/31/2309203.html1.1.1 摘要日前，国内最大的程序员社区CSDN网站的用户数据库被黑客公开发布，600万用户的登录名及密码被公开泄露，随后又有多家网站的用户密码被流传于网络，连日来引发众多网民对自己账号、密码等互联网信息被盗取的普遍担忧。网络安全成为了现在互联网
2014-07-23 09:50:01
733
转载 hadoop Namenode因硬盘写满无法启动
当写元数据的分区写满，可能导致namenode挂掉从而导致及时清理出大块的空间也无法启动namenode，那此时系统namenode会报错org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string:“”这是因为edit文件错误，此时执行 prin
2014-07-16 12:38:36
856
转载 内部类 final变量的生命周期
(1).内部类是外部类的一个成员，就像外部类的成员方法一样，所以内部类有权限访问外部类的所有成员，包括private的。(2).内部类不能访问外部类方法中的局部变量，除非变量是final的(一般发生在方法中定义的内部类)。这是因为局部变量的生命周期原因。class Outer{ private int a; public class Inner{
2014-07-03 10:21:28
4529
2
转载 Netty代码分析
转自：Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序[官方定义]，整体来看其包含了以下内容：1.提供了丰富的协议编解码支持，2.实现自有的buffer系统，减少复制所带来的消耗，3.整套channel的实现，4.基于事件的过程流转以及完整的网络事件响应与扩展，5.丰富的example。本文并不对Netty实际使用中可能出现的问题做分
2014-06-30 16:26:15
495
原创 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法
order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order by 和数据库中的
2014-06-30 14:30:05
536
原创 classname.this 和 this的使用场景
今天在写代码时，发现在写了一个内部内，而在内部类中需要调用外部类的实例的方法，直接时候用this调用发现调用的不是外部类而是内部类，于是查找资料原来需要使用外部类的classname.this这样的调用，特此记录在此！示例：class A { public void callSomething(){ new Thread(){
2014-06-11 16:58:57
1205
转载 HTML锚点
以前只是知道有锚点这么个东西，一直没有用到，昨天做毕设用到了锚点，现在总结一下控制锚点的几种情况： 1. 在同一页面中[html] view plaincopya name="add">a> a href="#add">跳转到adda> 2. 在不同页面中，锚点定位在a.html中，从另外一个
2014-06-11 14:31:12
483
转载 a href=#与 a href=javascript:void(0) 的区别
a href=#与 a href=javascript:void(0) 的区别分类： javaScript2010-01-14 15:01 39881人阅读 评论(0) 收藏 举报javascriptcgiajaxfirefoxfunction浏览器a href="#"> 点击链接后，页面会向上滚到页首，# 默认锚点为 #TOP 点击链接后，页面不动，只打开链接
2014-06-11 14:23:42
579
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人