- 博客(15)
- 资源 (18)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Mapreduce实战：序列化与反序列化 int，int[]，string[][]
最新一期《中国IT产业发展报告》在2016中国（深圳）IT领袖峰会上正式公布，数字中国联合会常务理事李颖称，中国IT产业完成了从要素驱动向效率驱动的过渡，目前正在由效率驱动向创新驱动发展。
2016-03-28 05:13:22
2220
转载 Hadoop实战：*********MapReduce的性能调优（二）*********
Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task
2016-03-22 22:54:28
2321
转载 Hadoop实战：*********MapReduce的性能调优（一）*********
这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred.tasktracker.map.tasks.maximummapred.reduce.tasks & mapred.tasktracker.
2016-03-22 22:49:15
3127
原创 Ubuntu 突然上不去网了怎么办
到家了也想看看程序，打开WIN8上的虚拟机VM，然后启动Ubuntu....................................像往常一样等待着界面，输入密码，然后修改程序。。。。。。。。。。。。。。一切就绪后，准备编译项目，突然无法get到网络了，what is wrong？第一次遇到。。。。。。。。。。==================================
2016-03-22 11:17:50
3166
1
转载 CentOS下tar解压 gz解压 bz2等各种解压文件使用方法
大致总结了一下linux下各种格式的压缩包的压缩、解压方法。但是部分方法我没有用到，也就不全，希望大家帮我补充，我将随时修改完善，谢谢！ .tar 解包：tar xvf FileName.tar 打包：tar cvf FileName.tar DirName （注：tar是打包，不是压缩！） ———————————————
2016-03-22 08:07:20
8847
转载 hadoop Safe mode is ON 的解决办法
搭了一个hadoop集群环境，近期总是出现读写文件错误的情况，查看name node的日志显示 （Safe mode is ON）Safe mode is ON. The ratio of reported blocks 0.2000 has not reached the threshold 0.9990. Safe mode will be turned off aut
2016-03-19 22:30:40
9435
原创 Hadoop实战：使用Combiner提高Map/Reduce程序效率
好不容易算法搞定了，小数据测试也得到了很好的结果，可是扔到进群上，挂上大数据就挂了，无休止的reduce不会结束了。。。。。。。。。。。。。。。。====================================================================这才想起还有个combiner！！！！！！！！！！！！！！！！！！！！！我们知道，MapReduce是分为
2016-03-19 03:05:31
1612
原创 Hadoop实战： Linux报 tmp 磁盘存储不足
Linux 权限真是一大堆呀，在Linux下进行试验，突然来了个tmp磁盘存储不足。。。。。。。。。。。。。。。。。。然而，我却没有权限给tmp增加容量。。。。。。。。。。。。。只有修改配置文件了！！！！！！！！！！！===================================================================编辑conf/core-site
2016-03-18 01:45:25
2432
原创 空间可视化——地图是怎么炼成的
承接上几节试验结果，继续coding！！！！！！！！！！==========================================================================
2016-03-17 03:44:24
2345
1
原创 Java 中如何对 Iterator<Text> values 实现两次遍历
Just like this！！！！！！！！！！！！！！！！=============================================================== public static class Reduce extends MapReduceBase implements Reducer { @Override public voi
2016-03-17 02:48:16
5393
原创 windows下：Failed to set permissions of path: \tmp\ \.staging to 0700
这个官方的bug之前遇到过。。。。。。。。。。。。。。。。。。。。。可是。。。。。。。==================================================12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
2016-03-16 14:31:13
3323
转载 MapReduce的输入输出格式
默认的mapper是IdentityMapper，默认的reducer是IdentityReducer，它们将输入的键和值原封不动地写到输出中。默认的partitioner是HashPartitinoer，它根据每条记录的键进行哈希操作来分区。 输入文件：文件是MapReduce任务的数据的初始存储地。正常情况下，输入文件一般是存在HDFS里。这些文件的格式可以是任意的；我
2016-03-12 00:22:47
2037
1
原创 retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
还没开工，集群 就挂了，昨天还好好的，谁动了我的集群骂人骂人发火发火敲打敲打于是乎，开启google、百度模式，答案都试了个变，log反复看，还是不行。尼玛，我去页面看看……不看不知道，一看吓一跳，我的集群已成为了别人的集群。突然想起沙特大哥曾说过，不要采用默认端口，因为集群很多人用，容易冲突，好吧，我错了。更多文章点击这里查看
2016-03-11 04:37:29
6223
1
原创 Python & Hadoop
由于试验的需要，需要调整大量的参数，索性就采用Python写个脚本去执行hadoop命令。------------------------------------------------------------------------------------------------------------------------------Python，今天是第一次接触，按照例子写了一个执
2016-03-09 04:41:54
2155
1
原创 How to decompress a .bz2 file 解压
Try the following:bzip2 -d filename.bz2------------------------------------------------------------------------------------Note, that this command will not preserve original archive file.
2016-03-08 03:22:25
660
GeoComputational Modelling
2018-08-27
OGC Discrete Global Grid Systems 全球离散网格系统 （修订版）
2017-06-11
A field survey system for land consolidation based on 3S and speech recognition
2017-03-22
Spatial Interpolation Methods Study Based on Geostatistics for Population
2017-03-22
Data Analytics with Hadoop
2017-03-13
ESRI官方Shape文件技术文档白皮书
2015-08-17
Hadoop 权威指南 第三版 （全英版）
2015-05-01
Hadoop 如何将结果分配到指定的机器上去？
2016-04-14
如何从一个分类集合中取出一个子集？？
2016-02-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人