hadoop
CottonDuke
这个作者很懒,什么都没留下…
展开
-
hadoop伪分布式非ha搭建
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性转载 2016-10-24 14:31:06 · 435 阅读 · 0 评论 -
hadoop yarn .fair.FairScheduler
由于yarn只能使用一种调度器,所以要想使用Fair Scheduler首先要在yarn-site.xml中将配置参数yarn.resourcemanager.scheduler.class 设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。 Fair Scheduler的配置选项包括两部转载 2017-03-06 14:31:54 · 609 阅读 · 0 评论 -
hadoop 编程
FileSystem import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import org.apache.commons.compress.utils原创 2017-03-28 22:57:35 · 340 阅读 · 0 评论 -
hadoop 递归列出文件
@Test public void listFiles() throws Exception { // listFiles列出的是文件信息,而且提供递归遍历 RemoteIterator files = fs.listFiles(new Path( "hdfs://hadoop0:9000/flow"), true); while (files.hasNext()) { L转载 2017-05-20 14:55:10 · 1524 阅读 · 0 评论 -
yarn 集群上运行项目
查看yarn 集群上运行的项目 yarn application --list原创 2017-04-06 19:54:16 · 663 阅读 · 0 评论 -
hadoop伪分布式ha框架搭建CNSZ22VL3578
1配置文件 hadoop core-site.xml fs.defaultFS hdfs://ns1 hadoop.tmp.dir /home/hadoop/app/hadoop-2.4.1/tmp ha.zookeeper.quorum wuke05:2181,wuke06:2181,wuke07:原创 2016-03-01 11:20:06 · 608 阅读 · 0 评论