- 博客(5)
- 收藏
- 关注
RSS订阅转载 mapReduce中 wordcount 实现、提交集群、运行
该例子实现了 hdfs 中某目录下所有文件中出现单词数量的统计。 一共使用到了三个java类： WordcountMapper 负责声名 mapTask WordcountReducer 负责声名 ReduceTask Wordcou...
2018-04-27 23:28:00
275
转载 hadoop 自带 workcount
1、启动 hdfs 并建立目录，上传文件 #启动 hadoop start-dfs.sh #... #创建一个多层级的目录结构 hadoop fs -mkdir -p /wordcount/input #将本地文件 a.txt 上传至目录中。也可以上传多个文件 hadoop fs...
2018-04-23 23:33:00
187
转载 DataNode不启动解决记录
现象： nameNode 正常启动，其他几台机器的 dataNode 均未启动；50070中无 Live Node。 查看 dataNode 日志： tail -1000 $HADOOP_HOME/logs/hadoop-hadoop-datanode-[hostname].log...
2018-03-27 00:25:00
136
转载 Java 运行时如何获取泛型的类型
在 Java 中对于下面最简单的泛型类 class A<T> { public void foo() { //如何在此处获得运行时 T 的具体类型呢？ } } 设想我们使用时 new A<String>().foo(); 是否能在...
2018-01-30 13:15:00
340
转载 mysql千万级数据入库，提升插入速度
需求：将文本文件中包含的一千万int型id数据插入mysql中，并求得出现频率最高的前10条。 文本文件：http://pan.baidu.com/s/1gd08g3D。内容是一行一个int型id。 本文只探讨mysql插入速度。分别从数据库和代码两方面进行总结。 ...
2015-02-28 16:47:00
1293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人