- 博客(116)
- 资源 (1)
- 收藏
- 关注
转载 多线程辅助类-CountDownLatch的用法
CountDownLatch,一个同步辅助类,在完成一组正在其他线程中执行的操作之前,它允许一个或多个线程一直等待。主要方法 public CountDownLatch(int count); public void countDown(); public void await() throws InterruptedException 构造方法参数指定
2014-10-20 18:45:41
756
原创 内部类访问外部类方法中的参数-使用final
class Outer { private String name = "hello world . "; public void fun(final String s) { class Inner { public void print() { System.out.pr
2014-10-16 14:25:52
878
原创 flume 日志收集单节点
转自:flume 是 cloudera公司研发的日志收集系统,采用3层结构:1. agent层,用于直接收集日志;2.connect 层,用于接受日志; 3. 数据存储层,用于保存日志。由一到多个master管理1和2层节点。本文采用单节点试用flume日志处理。 下载flume下载页面https://github.com/cloudera/fl
2014-09-29 11:47:40
730
转载 syslog格式
1、syslog格式介绍 在Unix类操作系统上,syslog广泛 应用于系统日志。syslog日志消息既可以记录在本地文件中,也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备 的syslog消息进行统一的存储,或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 完整 的syslog日志中包含产生日志的程序模块(F
2014-09-29 11:38:23
1730
转载 linux下syslog使用说明
转自:http://blog.chinaunix.net/uid-25120309-id-3359929.htmlsyslog 系统日志应用 1) 概述 syslog是Linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。程序,守护进程和内核提供了访问系统的日志信息。因此,任何希望生成日志信息的程序都可以向 syslog 接口
2014-09-29 10:57:06
1670
转载 进程优先级、nice值
ID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDroot 1 0.0 0.0 10368
2014-09-23 14:55:54
886
转载 机架感知
1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时,HDFS会尽量让读
2014-09-18 15:56:49
4305
转载 awk实现求和、平均、最大值和最小值的计算操作
0、准备和数据文件比如有一个数据文件,只有一列(在之前可以通过各种手段过滤出只有数字这一列),比如操作的响应时间Txt代码 490898 1189235 20212 1494270 146515 29369 23563 563027 22976 127809 16813 551646 18858 18977 1、求和ca
2014-09-17 16:34:10
10382
转载 深入理解WeakHashmap
(一) 查看API文档,WeakHashmap要点如下:1. 以弱键 实现的基于哈希表的 Map。在 WeakHashMap 中,当某个键不再正常使用时,将自动移除其条目。更精确地说,对于一个给定的键,其映射的存在并不阻止垃圾回收器对该键的丢弃,这就使该键成为可终止的,被终止,然后被回收。丢弃某个键时,其条目从映射中有效地移除2. WeakHashMap 类的行为部分取决于垃圾回收
2014-09-16 10:44:20
675
转载 Hive文件格式
转自:http://www.cnblogs.com/Richardzhu/p/3613661.htmlhive文件存储格式包括以下几类:1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;SE
2014-09-05 14:27:33
2592
转载 rcfile
zha 在当前的基于Hadoop系统的数据仓库中,数据存储格式是影响数据仓库性能的一个重要因素。Facebook于是提出了集行存储和列存储的优点于一身的RCFile文件存储格式,据说当前在Facebook公司内部,其数据仓库的文件存储格式都是RCFile,另外盛大内部的数据仓库使用的也是RCFile文件存储格式。 我们现在正在进入一个大数据时代,何为“大数据”?它不仅仅就
2014-09-05 12:02:08
3658
原创 书写优雅的shell脚本(六)- shell中的命令组合(&&、||、())
shell 在执行某个命令的时候,会返回一个返回值,该返回值保存在 shell 变量 $? 中。当 $? == 0 时,表示执行成功;当 $? == 1 时,表示执行失败。 有时候,下一条命令依赖前一条命令是否执行成功。如:在成功地执行一条命令之后再执行另一条命令,或者在一条命令执行失败后再执行另一条命令等。shell 提供了 && 和 || 来实现命令执行控制的功能,shell 将根据
2014-09-04 16:27:16
5640
转载 虚拟内存
转自:什么是虚拟内存 虚拟内存是用硬盘空间做内存来弥补计算机RAM空间的缺乏。当实际RAM满时(实际上,在RAM满之前),虚拟内存就在硬盘上创建了。当物理内存用完后,虚拟内存管理器选择最近没有用过的,低优先级的内存部分写到交换文件上。这个过程对应用是隐藏的,应用把虚拟内存和实际内存看作是一样的。 技术细节:对于英特尔 IA-32 处理器(包括 386、奔腾等)而言,
2014-08-23 23:21:43
797
转载 虚拟内存管理的作用/好处
摘自:1. 读写内存的安全性物理内存本身是不限制访问的,任何地址都可以读写,而操作系统要求不同的页面具有不同的访问权限,这是利用CPU模式和MMU的内存保护机制实现的。例如,Text Segment被只读保护起来,防止被错误的指令意外改写,内核地址空间也被保护起来,防止在用户模式下执行错误的指令意外改写内核数据。这样,执行错误指令或恶意代码的破坏能力受到了限制,顶多
2014-08-23 23:12:37
696
转载 用/proc/stat计算cpu的占用率
在Linux下,CPU利用率分为用户态,系统态和空闲态,分别表示CPU处于用户态执行的时间,系统内核执行的时间,和空闲系统进程执行的时间,三者之和就是CPU的总时间,当没有用户进程、系统进程等需要执行的时候,CPU就执行系统缺省的空闲进程。从平常的思维方式理解的话,CPU的利用率就是非空闲进程占用时间的比例,即CPU执行非空闲进程的时间 / CPU总的执行时间。在Linux系统中,CPU时间的
2014-08-23 22:45:46
3517
1
原创 Runtime.getRuntime().addShutdownHook(Thread)
Runtime.getRuntime().addShutdownHook(Thread)为虚拟机添加jing
2014-08-11 17:37:29
466
原创 $HADOOP_HOME/bin/hadoop脚本文件分析
#!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information
2014-08-11 13:00:13
7306
1
原创 ${varname:-defaultvalue}
${varname:-defaultvalue}的意思是:如果varname存在且非null,则返回其值;否则,返回v。用途:如果变量未定义,则返回默认值。
2014-08-11 10:50:18
772
原创 出现Insufficient space for shared memory file错误解决
今天shutdown用户的tomcat,出现了上面的错误日志,意思是说存储临时文件的目录空间不够了,df了下,系统根目录空间已经100%了
2014-07-30 17:01:14
8037
转载 org.apache.hadoop.hbase.NotServingRegionException: Region is not online 错误
当遇到如下错误的时候 可能以为是regionserver 挂掉或者其他原因导致连接不上regionserver 但后面提示了Hbase 表statistic_login 具体信息Thu Jan 17 15:30:12 CST 2013, org.apache.hadoop.hbase.client.ScannerCallable@5ec136e9, org.apache.hadoop.h
2014-07-30 16:55:38
5311
转载 linux防火墙过滤规则
一、linux防火墙基础防火墙分为硬件防火墙和软件防火墙。1.概述linux 防火墙体系主要工作在网络层,针对TCP/IP数据包实施过滤和限制,属于典型的包过滤防火墙。包过滤机制:netfilter管理防火墙规则命令工具:iptablesnetfilter 指linux内核中实现包过滤防火墙的内部结构,不依程序或文件的形式存在,属于“内核态”的防火墙
2014-07-30 16:41:11
10314
转载 NIO与IO的区别
分类: java2012-04-23 09:54 1994人阅读 评论(0) 收藏 举报nio是new io的简称,从jdk1.4就被引入了。现在的jdk已经到了1.6了,可以说不是什么新东西了。但其中的一些思想值得我来研究。这两天,我研究了下其中的套接字部分,有一些心得,在此分享。 首先先分析下:为什么要nio套接字? nio的主要作用就是用来解决速度差异的。举个例子
2014-07-29 11:00:11
12081
原创 关于python代码的性能
在python中性能测试是一个很难应付的任务,因为它在反复地优化,也许版本和版本之间差别很大。python中的一个主要的原则是,首先为了简单和可读性去编写代码,在程序运行后,并证明了确实有必要考虑性能后,再考虑性能问题。更多的情况是代码本身就已经足够快了。如果确实需要提高代码的性能,那么python提供了帮助你实现的工具,包括time以及timeit模块和profile模块。
2014-07-28 14:16:41
423
原创 java中wait和notify
javapublic class Test {static Apple apple = new Apple();public static void main(String[] args) {for (int i=0; inew ProducerThread(apple).start();new CustomerThread(apple).start();}}
2014-07-23 18:19:05
640
转载 sql注入原理与实践
原文地址:http://www.cnblogs.com/rush/archive/2011/12/31/2309203.html1.1.1 摘要日前,国内最大的程序员社区CSDN网站的用户数据库被黑客公开发布,600万用户的登录名及密码被公开泄露,随后又有多家网站的用户密码被流传于网络,连日来引发众多网民对自己账号、密码等互联网信息被盗取的普遍担忧。网络安全成为了现在互联网
2014-07-23 09:50:01
738
转载 hadoop Namenode因硬盘写满无法启动
当写元数据的分区写满,可能导致namenode挂掉从而导致及时清理出大块的空间也无法启动namenode,那此时系统namenode会报错org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string:“”这是因为edit文件错误,此时执行 prin
2014-07-16 12:38:36
868
转载 内部类 final变量的生命周期
(1).内部类是外部类的一个成员,就像外部类的成员方法一样,所以内部类有权限访问外部类的所有成员,包括private的。(2).内部类不能访问外部类方法中的局部变量,除非变量是final的(一般发生在方法中定义的内部类)。这是因为局部变量的生命周期原因。class Outer{ private int a; public class Inner{
2014-07-03 10:21:28
4541
2
转载 Netty代码分析
转自:Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序[官方定义],整体来看其包含了以下内容:1.提供了丰富的协议编解码支持,2.实现自有的buffer系统,减少复制所带来的消耗,3.整套channel的实现,4.基于事件的过程流转以及完整的网络事件响应与扩展,5.丰富的example。本文并不对Netty实际使用中可能出现的问题做分
2014-06-30 16:26:15
506
原创 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法
order byorder by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order by 和数据库中的
2014-06-30 14:30:05
547
原创 classname.this 和 this的使用场景
今天在写代码时,发现在写了一个内部内,而在内部类中需要调用外部类的实例的方法,直接时候用this调用发现调用的不是外部类而是内部类,于是查找资料原来需要使用外部类的classname.this这样的调用,特此记录在此!示例:class A { public void callSomething(){ new Thread(){
2014-06-11 16:58:57
1224
转载 HTML锚点
以前只是知道有锚点这么个东西,一直没有用到,昨天做毕设用到了锚点,现在总结一下控制锚点的几种情况: 1. 在同一页面中[html] view plaincopya name="add">a> a href="#add">跳转到adda> 2. 在不同页面中,锚点定位在a.html中,从另外一个
2014-06-11 14:31:12
491
转载 a href=#与 a href=javascript:void(0) 的区别
a href=#与 a href=javascript:void(0) 的区别分类: javaScript2010-01-14 15:01 39881人阅读 评论(0) 收藏 举报javascriptcgiajaxfirefoxfunction浏览器a href="#"> 点击链接后,页面会向上滚到页首,# 默认锚点为 #TOP 点击链接后,页面不动,只打开链接
2014-06-11 14:23:42
588
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人