- 博客(7)
- 资源 (60)
- 收藏
- 关注
原创 /bin/bash: line 0: fg: no job control一般解决方法
测试版本:CDH5.0,(Hadoop2.3)在使用windows调用Hadoop yarn平台的时候,一般都会遇到如下的错误:2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co
2014-05-29 15:12:04 19406 2
原创 hadoop多文件格式输入
版本:CDH5.0.0 (hdfs:2.3,mapreduce:2.3,yarn:2.3)hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:123,good number124,common number125,bad numberuser:zhangsan,123lisi,124w
2014-05-19 17:32:57 5388 3
原创 Hadoop MapReduce链式实践--ChainReducer
版本:CDH5.0.0,HDFS:2.3.0,Mapreduce:2.3.0,Yarn:2.3.0。场景描述:求一组数据中按照不同类别的最大值,比如,如下的数据:data1:A,10A,11A,12A,13B,21B,31B,41B,51data2:A,20A,21A,22A,23B,201B,301B,401B,501最后输出为:A,23B,501假如这样的逻辑的m
2014-05-14 23:15:34 4093 1
原创 HBase0.96数据导入以及Kettle操作HBase问题
版本:cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式,一种是直接导入,一种是转换为HFile,然后再次导入。1. HDFS数据为(部分):[root@node33 data]# hadoop fs -ls /inp
2014-05-08 17:04:12 9100 3
原创 Hive实践(hive0.12)
版本:cdh5.0.0+hadoop2.3.0+hive0.12一、原始数据:1. 本地数据[root@node33 data]# lltotal 12936-rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv[root@node33 data]# head -n 3 hbase-data.csv 1,1.52101,13
2014-05-06 13:11:59 2298
原创 Kettle调用Hadoop Job Executor实践(spoon5.0.1+cdh5.0.0)
版本:Spoon:5.0.1 stableCDH:5.0.0Hadoop:2.3.0(CDH自带Hadoop)。一、调用Hadoop Job Executor前准备:1.下载shim包(可以到官网下载:http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version,或者下载这个:h
2014-05-05 20:57:46 5491 1
Mahout案例实战 约会推荐
2015-03-11
FP关联规则置信度
2014-11-19
libimesti推荐系统
2014-09-30
nmon 和 nmon analyser工具
2014-09-24
easyui+spring+struts+hibernate 实例
2014-09-16
MR Unit test需要的相关jar包
2014-07-29
Mahout贝叶斯分类不含标签数据
2014-07-20
Mahout算法调用展示平台2.1-part3
2014-07-06
Mahout算法调用展示平台2.1-part2
2014-07-06
mahout0.9源码(支持hadoop2)
2014-04-09
博客推荐系统源码
2014-02-18
web平台调用hadoop集群2.0
2014-01-03
hadoop启动时间写入文件
2013-12-20
监控hadoop任务信息
2013-12-18
web 工程调用hadoop集群1.4
2013-12-02
flex datagrid doubleclick 实例
2013-11-22
flex dispatchEvent 实例工程
2013-11-19
web 工程调用hadoop集群1.3
2013-11-17
flex 调用java
2013-11-12
svd mahout算法
2013-10-31
读取HDFS序列化文件解析key、value可视化输出
2013-10-25
spark-yarn_2.10-1.6.0-cdh5.7.3.jar
2016-12-24
hotspot关联规则
2015-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人