2013年12月_飞火流云

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载大数据存取的选择：行存储还是列存储？

转自: http://f.dataguru.cn/thread-220305-1-1.html目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存储

2013-12-31 23:00:39 627

转载 kernel: CPU0: Temperature/speed normal错误的解决办法

Posted by tiandi on 九月 9, 2013 Views: 37105今天单位一台linux的mail server突然自己关机，其实上星期四已经关过一次了，当时我人不在机房，也没想仔细查看一下，只是以为可能电源线路有问题，造成的关机，因为这台机器一直很稳定，经常工作1年半载的没啥问题，连显示器都给我拿掉了。（可以ssh，要显示器干吗。。。)

2013-12-30 16:01:40 3183

转载 diff 和 patch

作为程序员，了解diff&patch命令是非常必要的。比如说我们发现某个项目有bug代码，而自己又没有svn的提交权限，那么此时最合适的解决方法就是用diff命令做一个补丁发给项目成员。项目成员通过patch命令可以立刻知道你的意图。有人会说直接传一个新文件不是更简单？不要忘了，一个patch文件尺寸更小传输更快，而且可以明显的看到都做了哪些修改。保证当前目录是demo名录：

2013-12-26 15:44:18 650

原创 ns2.33 安装问题记录

期间各种艰辛，开始想用cygwin来进行安装，最后发现问题各种，最后终于遇到段错误，就是直接执行ns后报段错误，换了2.33~2.35都是各种问题，3天后放弃win7上ns2安装，换成linux, 这会半天就搞定了。问题记录:1. 编译器的问题，系统默认icc编译器，改下环境变量就好了。export CC=/usr/bin/gcc2. undefine

2013-12-26 11:24:17 754

转载 NS2.33安装

转自: http://blog.163.com/zhuandi_h/blog/static/18027028820125742050658/系统：win7,winXpcygwin安装教程： 1.下载NS2.33http://sourceforge.net/projects/nsnam/files/allinone/或http://download.c

2013-12-23 21:09:34 875

原创 Yarn的Mailing list

http://mail-archives.apache.org/mod_mbox/hadoop-yarn-issues/201312.mbox/browserhttp://mail-archives.apache.org/mod_mbox/hadoop-yarn-dev/201312.mbox/browser这里附上一段提问学习的方法，转自: http://www.hadoop

2013-12-23 17:18:34 1002

原创 Yarn 2.2.0 未解决问题记录

始终未找到具体的作业运行界面, 看到屏幕输出里有一句：INFO mapreduce.Job: The url to track the job: http://localhost:11000/proxy/application_1387789147154_0001/就想把proxy配起来,结果在yarn-site.xml中配了yarn.web-proxy.address后，发现起是起来了，

2013-12-23 16:58:21 1140

转载 Hadoop 2.2.0 (YARN)搭建笔记(作者的工作很细致,赞一个!)

转自: http://blog.csdn.net/codepeak/article/details/13170147 最近工作需要，摸索着搭建了Hadoop 2.2.0(YARN)集群，中间遇到了一些问题，在此记录，希望对需要的同学有所帮助。本篇文章不涉及hadoop2.2的编译，编译相关的问题在另外一篇文章《hadoop 2.2.0 源码编译笔记》中说

2013-12-23 15:32:59 938

原创 Yarn 2.2.0安装

问题:1. 版本库的问题: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableStarting namenodes on [Java HotSpot(TM) 64-Bit

2013-12-23 12:01:02 1195

原创 sar 获取CPU利用率

sar -u 2 500 > cpu.txt每隔2s采一次，500次采样，结果存入cpu.txt

2013-12-21 10:57:43 1713

转载如何查看linux系统CPU利用率

转自: http://dccharlie.blog.51cto.com/2689144/595279当linux系统被某一个进程占用时，它无法处理其它进程的请求。余下等待处理的请求必须等到CPU空闲。这个时候，系统会变得很慢。以下命令将能够帮助你识别CPU的利用率，从而解决与CPU相关的问题。查明CPU利用率是一项重要的任务。linux系统附带了报告CPU利

2013-12-21 09:55:27 773

原创 vnc启动后连接无法看到图形界面

去掉~/.vnc/xstartup中以下两行前面的#号,让vnc加载默认图形界面程序# unset SESSION_MANAGER# exec /etc/X11/xinit/xinitrc保存退出后重启vncserver服务即可。

2013-12-20 21:20:52 2581

原创 BootStrap思想

1979年美国Stanford大学统计系教授Bradley Efron[1]在总结、归纳前人研究成果的基础上提出一种新的非参数统计方法——Bootstrap方法，1980年魏宗舒教授向国内做了首次介绍并将Bootstrap译作“自助法”。Bootstrap方法是一类非参数Monte Carlo方法,其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计推断。 Bootstrap方法因为充分

2013-12-19 17:32:03 2114

原创 MapReduce任务创建和分配流程

这篇文章写的不错 http://blog.csdn.net/jackydai987/article/details/6227365总结下主要流程:1. JobClient.runJob() 根据用户设置的InputFormat类将输入数据进行切分，将相应的信息放在 job.jar, job.split和job.xml这三个文件中并存入HDFS.2. :JobTra

2013-12-18 20:03:41 1176

原创 SSH无密码登陆失效

ssh 登陆本机，之前配置好的，突然失效了，后来发现是/home/liuqiang的权限不对，chmod -R 755 /home/liuqiang 后，重新生成公钥并复制到自己的id_pub下，OK

2013-12-18 12:11:14 930

转载 Java多线程总结之线程安全队列Queue

转自: http://blog.csdn.net/luckykapok918/article/details/8278194在Java多线程应用中，队列的使用率很高，多数生产消费模型的首选数据结构就是队列。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例子是ConcurrentLinkedQueue，

2013-12-10 09:35:13 1272

原创 Java 集合类

Collection --List ：将以特定次序存储元素。所以取出来的顺序可能和放入顺序不同。 --ArrayList / LinkedList / Vector --Set ：不能含有重复的元素 --HashSet / TreeSet Map --HashMap -- HashTable

2013-12-10 09:06:21 596

原创 CFTool-matlab工具

命令行中敲入 : cftool ，即可获取工具包的界面，可以进行数据拟合等操作。

2013-12-09 17:42:11 753

转载 java 集合类Array、List、Map区别和联系

java集合类主要分为以下三类：第一类：Array、Arrays第二类：Collection ：List、Set第三类：Map ：HashMap、HashTable 一、Array ， ArraysJava所有“存储及随机访问一连串对象”的做法，array是最有效率的一种。1、效率高，但容量固定且无法动态改变。array还有一个缺点是，无

2013-12-09 15:35:35 660

原创 Java线程池适用范围

查自API文档:ExecutorService threadPool = Executors.newFixedThreadPool(3);// 创建可以容纳3个线程的线程池 newFixedThreadPool:Creates a thread pool that reuses a fixed number of threads operating off a sha

2013-12-08 20:46:34 833

转载 Java 线程池

转自: http://blog.csdn.net/ghsau/article/details/7443324自JDK5之后，Java推出了一个并发包，java.util.concurrent，在Java开发中，我们接触到了好多池的技术，String类的对象池、Integer的共享池、连接数据库的连接池、Struts1.3的对象池等等，池的最终目的都是节约资源，以更小的开销做更多的事情，从而

2013-12-08 20:40:49 743

原创 System.exit()函数

System.exit(int status)是中止当前虚拟机的运行，也就是强制性的推出程序。那个参数是状态码，0表示正常退出程序，其他值表示异常退出。

2013-12-08 19:49:45 1742

原创 Thread的run方法和start方法

public class ThreadTest { static Integer slots = 0; static Integer tasks = 0; /** * @param args */ public static void main(String[] args) { Test t = new Test();// t.start(); t.run() ;

2013-12-08 17:35:07 1045

转载 Java Executors(线程池)

转自: http://blog.csdn.net/coding_or_coded/article/details/6856014 Sun在Java5中，对Java线程的类库做了大量的扩展，其中线程池就是Java5的新特征之一，除了线程池之外，还有很多多线程相关的内容，为多线程的编程带来了极大便利。为了编写高效稳定可靠的多线程程序，线程部分的新增内容显得尤为重要。

2013-12-06 20:51:04 584

原创 shell 生成测试脚本

expr 命令用途求表达式变量的值。语法expr Expression描述expr 命令读入 Expression 参数，计算它的值，然后将结果写入到标准输出。您必须对 Expression 参数应用以下规则：用空格隔开每个项。用 \ （反斜杠）放在 shell 特定的字符前面。对包含空格和其他特殊字符的字符串要用引号括起来。整

2013-12-05 22:29:46 639

原创防火墙规则修改

首先备份原有iptabls文件，然后:iptables -A INPUT -p tcp -s 202.117.10.9 -j ACCEPTiptables -A INPUT -p tcp -s 202.117.10.35 -j ACCEPTiptables -A INPUT -p tcp --dport 22 -j DROPservice iptab

2013-12-03 21:18:02 1198

转载 java使用Runtime.exec执行linux命令

转自: http://huajianhsiu.iteye.com/blog/1772775使用sh -c ，不然会报 can not create Process error =2的错误!一、Runtime.getRuntime().exec()执行命令情况： Runtime.getRuntime().exec("cmd /c your command")

2013-12-03 16:18:55 15847 1

转载 hadoop jar xxxx.jar的流程

转自:http://hi.baidu.com/dt_zhangwei/item/a58239fb46f3f110d7ff8cbf搞清楚 hadoop jar xxxx.jar 执行的流程： jar文件是如何分发的JobClient(不一定是hadoop集群的节点)利用bin/hadoop脚本运行jar包，以hadoop-0.20.2-examples.jar为例子：hadoop j

2013-12-02 17:23:22 989

转载 word上标下标的快捷键

下标为ctrl+= 以下摘自 http://tech.163.com/05/1212/10/24P09GJN00091NGR.html 常用快捷键快捷键　　　　　　　　　作用 Ctrl+B　　　　　　　　　使字符变为粗体 Ctrl+I　　　　　　　　　使字符变为斜体??? Ctrl+U　　　　　　　　　为字符添加下划线 Ctrl+Shift

2013-12-01 14:59:57 2522