![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Ubuntu
播种生活
热爱技术,热爱生活
展开
-
hadoop-quickstart-命令行方式打包运行wordcount
在hadoop环境配置完成后,运行第一个例子程序: 1,创建文件 #echo "hello world" >> test1.txt #echo "hello hadoop" >> test2.txt 2,上传文件到hdfs #cd ../hadoop #bin/hadoop dfs -put ../input in #bin/hadoop dfs -ls ./in/*原创 2014-03-24 22:28:17 · 576 阅读 · 0 评论 -
如何添加或删除ubuntu用户和组
转载来源:adolfmc - 博客园 在创建用户时,需要为新建用户指定一用户组,如果不指定其用户所属的工作组,自动会生成一个与用户名同名的工作组。创建用户user1的时候指定其所属工作组users,例:useradd –g users user1 一、创建用户: 1、使用命令 useradd 例:useradd user1——创建用户user1 useradd –e 12/3转载 2014-03-24 22:20:57 · 456 阅读 · 0 评论 -
mapreduce--如何设置reducer的个数
1,在缺省情况下,一个mapreduce的job只有一个reducer;在大型集群中,需要使用许多reducer,中间数据都会放到一个reducer中处理,如果reducer数量不够,会成为计算瓶颈。 2,reducer的最优个数与集群中可用的reducer的任务槽数相关,一般设置比总槽数稍微少一些的reducer数量;hadoop文档中推荐了两个公式: 0.95*NUMBER_OF_NODE原创 2014-04-06 22:28:36 · 4087 阅读 · 0 评论