hadoop个人笔记,仅供自己参考

hadoop可以看做成一个软件,就是运行在linux系统上。

对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls

将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt  b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put  *.txt    (集群下指定的摸个目录)/user/hadoop/hkcm。说明,hadoop集群默认的根目录是/user/hadoop(我们这里按照的目录),所以,可以直接写成hkcm也行。

查看hadoop所有的命令:hadoop fs

运行hadoop:hadoop    jar    jar包     类名    输入文件目录    输出文件目录

例如,运行hadoop  demo中wordcount例子,首先要转到hadoop安装目录下,然后,命令如下:hadoop jar hadoop-examples-1.0.4.jar wordcount hkcm/input hkcm/output,其中,我把搜有的输入文件放在hadoop的/user/hadoop/hkcm/input目录下,指定的输出结果存放在/user/hadoop/hkcm/output,特别说明,输出目录必须让程序自动生成,如果自己先手动建立,那么会报错。


查看jar中类:jar   tvf    XXX.jar

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值