![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
天边龙一条
算法学渣,研究各种最优化算法,组合优化算法
经典的线性规划,线性搜索,动态规划,背包问题,工件排序,
现代算法 遗传算法、蚁群、模拟退火---
然而都不会
展开
-
MapReduce 的简单例子 WordCount的实现
MapReduce 是由Google公司的JeffreyDean 和 Sanjay Ghemawat 开发的分布式编程模型。 学过并行算法的同学们应该知道其实现原理。不懂可以看课件以及博客。附上一张原理图: 然后我们要编写map 和 reduce 程序,这里当然是用火的不能再火的hadoop,具体的逻辑就写在注释里了,代码如下 map package wordCount; imp原创 2017-11-13 17:54:20 · 1114 阅读 · 3 评论 -
hadoop 测试出现Server IPC version 9 cannot communicate with client version 4
一开始是RPC.getProxy这个方法编译不通过,按照提示继承了VersionedProtocol还是不行,接着对RPC.getProxy进行强转, 总算没问题了,然后运行。。。。 好戏才刚开始,,会提示报Server IPC version 9 cannot communicate with client version 4,这个问题搞了好久都没解决。。。。 其实根本原因 depen原创 2017-09-18 19:15:38 · 1569 阅读 · 0 评论 -
Mapreduce 的简单例子2 多个文件的数字排序
并行算法能算很多东西,不只是计数,wordCount是一个比较简单的例子,很多其他的请参见我上传的基于mapreduce 的并行算法的设计。 今天来实现一个排序的简单例子。实现过程从简,因为具体的流程在我写的wordCount中已经详细的写在注释里了 首先输入是一堆文件file1、file2……里面存着数字,具体的逻辑是先对数字进行分块,比如100-200放在一起,200-300……然后每组分原创 2017-11-16 20:57:04 · 2355 阅读 · 1 评论