yarn编码获取application列表

1、 新建maven工程 2、 编写代码 package Yarn.Yarn; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.PrintStream; import java.io....

2016-06-16 16:21:38

阅读数 5082

评论数 1

wordcount

1·、新建maven工程 pom.xml文件内容如下: junit junit 3.8.1 test org.apache.hadoop hadoop-mapreduce-client-core 2.3.0 org.apache.hadoop ...

2016-06-07 16:19:30

阅读数 253

评论数 0

relief算法研究

最近由于工作需要,对数据进行降维处理,通过对各种算法的研究,想寻找一种比较理想的算法,处理数据维度,达到降维的目的,对PCA进行研究,但是PCA是对当前多维数据的空间变换,无法达到物理降维的目的,因此想选择物理降维的算法,因此对卡方算法和relief算法进行相关研究,这两种算法是对数据的物理降维,...

2016-05-24 17:51:51

阅读数 5391

评论数 0

hive设置reduce的最大值

hive.exec.reducers.max(默认为999) 计算reducer数的公式很简单: N=min(参数2,总输入数据量/参数1) 通常情况下,有必要手动指定reducer个数。考虑到map阶段的输出数据量通常会比输入有大幅减少,因此即使不设定reducer个数,重设参数2还是必要的。依...

2016-05-10 16:14:45

阅读数 1014

评论数 0

window客户端访问HDFS

通过widows客户端访问Hadoop集群,读取HDFS文件 使用平台为eclipse,CDH5.1.0,hdf2.3.0 1、新建java project 2、在集群中找到core-site.xml和hdfs-site文件拷贝到java project的工程下,放置到bin文件夹下 在src右键...

2016-04-21 17:11:33

阅读数 2748

评论数 0

solr查询返回JSON格式

SolrDocumentList docs = response.getResults(); 1、JSONObject返回类似{"SolrDocument":{“1”:{},“2”:{}} Map mapDoc = new HashMap(); int count = 1; f...

2015-09-11 15:20:17

阅读数 4371

评论数 0

Cloudera在Ubuntu的安装部署

1. 安装前的准备  准备好Ubuntu离线source,配置/etc/apt/source.list  准备好Cloudera Hadoop离线source,配置/etc/apt/source.list.d/cloudera.list  同步集群的/etc/hosts  ss...

2015-08-08 13:29:05

阅读数 2913

评论数 0

行存储和列存储--大数据应用选择

目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是:谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase采用列存储,Mo...

2015-05-23 21:28:27

阅读数 2202

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭