- 博客(6)
- 收藏
- 关注
转载 通过管道将wget文件落地到hdfs
部门同事经常会通过wget去拉相应的日志文件到本地的机器,最近最近存储全部切换到hdfs上了,所以将wget的文件方便快捷的保存到hdfs就变成很急切的需求。目前同步文件一般都采用不落地的方式,即不写本地的磁盘,直接将读到的数据同步到目标地。因为我们的hdfs是使用了hfds-fuse的,所以自然就会想到通过fuse来实现。但是经过测试,通过fuse会报错误,应该是因为在数据传输到
2012-11-11 22:35:14
1318
原创 最近写c++程序的心得
随笔1) 用valgrand时,tcmalloc要去掉,这点不做的话,总认为程序没有内存泄漏。2)写程序时,就要考虑内存回收的问题。越到后面越麻烦
2012-11-05 22:17:08
507
转载 C++泛型编程:源起、实现与意义
为什么泛型泛型编程(Generic Programming)最初提出时的动机很简单直接:发明一种语言机制,能够帮助实现一个通用的标准容器库。所谓通用的标准容器库,就是要能够做到,比如用一个List类存放所有可能类型的对象,这样的事情;熟悉一些其它面向对象的语言的人应该知道,如Java里面这是通过在List里面存放Object引用来实现的。Java的单根继承在这里起到了关键的作用。然而单根继承对
2012-10-19 06:41:21
2608
原创 zookeeper全分析之我见一
最近一直在看zookeeper的代码和文章。原因一个是项目越来越依赖zk, 我也要给同事们分享一下zk。 有些心得,觉得很有必要记下来。 本人接触java一年多时间,看java代码不是很深入,我且把看懂的和知道的写来了。 一. zookeeper 基本介绍 1)Why zookeeper? 一般分布式应用需要一个主
2012-04-21 12:18:51
4557
1
转载 Paxos算法之旅(四)zookeeper代码解析
ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版,虽然具体实现有很多差异。ZooKeeper概要的介绍可以看官方文档:http://hadoop.apache.org/zookeeper 这里我们重点来看下它的内部实现。ZooKeeper集群中的每个server都要知道其他成员,通过在配置文件zoo.cfg中
2012-04-19 21:26:45
1589
原创 我的第一篇博客
从今往后我要写博客了。 我想这是我今后经常做的一件事情了。 当作练练文笔,积累积累知识,共享给同样跟我一样想在技术领域有作为的人!
2012-04-19 21:21:51
218
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人