关闭

MapReduce 程序本地调试 / Hadoop 操作本地文件系统

将 hadoop 主目录下的 conf 下的配置文件全部置空. 此时运行 hadoop 命令将使用本地文件系统, 可以在本地运行 mapreduce 程序, 操作磁盘上的文件. 例如: kentHadoopUnit jar NewsProcessMR.jar view.txt out view  这将在本地执行 mapreduce 程序, 这可以方便本地做调试....
阅读(3887) 评论(2)

相同名称的多进程程序的启动和停止

我们经常会遇到这种开发问题, 在同一台机器上后台启动多个进程. 这时我们需要使用脚本来启动,停止,监控每个进程,那么由于进程名称相同,使用 ps -ef | grep $excname 的形式无法区分每个进程, 此时我们该怎么办呢? 有一种解决办法是在启动每个进程时记录其进程号,然后在停止,监控该进程时只需对进程号操作就可以了. 办法如下: 启动时记录进程...
阅读(2266) 评论(0)
    个人资料
    • 访问:1321334次
    • 积分:13210
    • 等级:
    • 排名:第1059名
    • 原创:222篇
    • 转载:44篇
    • 译文:0篇
    • 评论:167条