- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用nohup在后台运行scp
需要从远程拷贝一个比较大的文件，所以要让SCP在后台运行 google搜了一下都是说使用ssh的public key让两台机器可以不用密码连接 但不是每个人都有这个条件允许两台机器无密码通行的 所以可以使用下面的方法实现 1.nohup scp user@server:path/file localpath 2.输入密码 3.按Ctrl+z挂起当前进程 4.使用命令bg让挂起的进程继
2012-12-12 10:42:43
10146
1
原创 在pig中读取RCFILE文件
RCFILE是FACEBOOK公司使用的一种数据存储结构 通过把相同列的数据存放在一起从而得到一个很高的压缩比 RCFILE集成在HIVE中，在HIVE并没有提供PIG读取数据的结构 但是在PIG的第三方库中有人贡献了读取RCFILE的PIGLOAD接口HiveColumnarLoader 使用方法很简单： /*先注册jar包，需要用到的有这样3个*/ register /tmp/pi
2012-12-10 14:34:15
1655
原创 Hadoop Archive小记
Hadoop中所有文件的信息都记录在Namenode的内存中 因为Hadoop的设计是处理大数据，理想的数据文件应该是BLOCKSIZE的倍数 为了避免小文件占用过多的系统内容,Hadoop提供了Archive来管理小文件 不过har有可能使用的不是很多，在hive，pig，甚至hadoop中都有一些BUG，很多应用都有问题 在这里做个记录 1.文件夹模糊匹配 在使用hadoop
2012-12-03 16:21:33
1858
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人