2016年02月_kelsel

12月 11月 10月 09月 08月 07月 04月 03月 02月 01月

原创 select, poll, epoll

项目 select poll epoll 监听个数 1024 不限制最大可以打开文件的数目 IO效率线性扫描全部的集合线性扫描全部的集合只调用活跃的，callback 内核与用户空间的消息传递 2次 2次 1次（mmap共享一块内存）参考select/poll/epoll 对比

2016-02-24 14:12:28 352

原创 Windows多线程/进程同步（1）

互斥：是指某一资源同时只允许一个访问者对其进行访问，具有唯一性和排它性。但互斥无法限制访问者对资源的访问顺序，即访问是无序的。同步：是指在互斥的基础上（大多数情况），通过其它机制实现访问者对资源的有序访问。在大多数情况下，同步已经实现了互斥，特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源。 Windows同步互斥的种类项目原子操作（ Inte

2016-02-23 18:58:12 527

原创堆与栈浅析（1）

每个线程分配一个stack，每个进程分配一个heap。stack是线程独占的，heap是线程共用的。堆 Heap在windows平台下，堆的默认大小是1M。不过，可以通过malloc/free动态调整。栈 Stack程序运行出现栈溢出stack overflow，也就是栈溢出（没人听过堆溢出吧）。表明栈是有固定大小的。在windows平台下，栈的默认大小是1M，栈的大小的信息是包含在可执行

2016-02-23 15:46:04 825

原创 could only be replicated to 0 nodes instead of minReplication (=1)

Exception in thread “main” org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ckelsel/test.log could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datan

2016-02-04 22:22:29 3650

原创 Eclipse远程调试Java应用程序

1. 准备java项目1. 创建java应用程序public class Test { /** * @param args */ public static void main(String[] args) { System.out.println("This is Debug Server"); }}2. 导出jar Project-

2016-02-04 17:45:11 760

原创 Hadoop: NameNode is in safe mode.

safe mode：只读状态关闭 hadoop dfsadmin -safemode leave开启 hadoop dfsadmin -safemode enter查询 hadoop dfsadmin -safemode get阻塞直到安全模式解除 hadoop dfsadmin -safemode wait

2016-02-04 17:05:56 513

原创 hadoop实战（3）之MaxTemperature

软件软件/OS 版本 Hadoop 2.6.3 Eclipse Kepler 4.31. 下载noaa的数据 ftp地址 ftp://ftp.ncdc.noaa.gov/pub/data/gsod 1944年的所有数据 ftp://ftp.ncdc.noaa.gov/pub/data/gsod/1944/gsod_1944.tar2. 创建Mav

2016-02-04 14:39:55 393

原创 VirtualBox搭建Hadoop2.7.2环境（2）——本机模式

1. 软件软件/OS 版本 Hadoop 2.7.2 Ubuntu 14.04 (32位） VirtualBox 4.3.24 openjdk 1.7.0_91 ssh - rsync -2.下载安装软件包1) 下载解压Hadoop 2.7.2 tar -xf hadoop-2.7.2.tar.gz ~/2) 命令行安装 sudo

2016-02-03 12:52:47 500

原创 VirtualBox搭建Hadoop2.7.2环境（1）——伪分布式

2016-02-02 18:03:59 760

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2016-02-02 17:01:17 280