dashen0-CSDN博客

原创 hadoop学习总结

青涩的大一，以为大学就是早上与伙伴篮球场上挥洒汗水，下午寝室四人开黑，晚上又是三五成群烧烤摊畅饮啤酒。转眼间已经大二下，大学生活已然过半。看着身边，陆仁贾在台上演示精致的app小游戏，宋兵乙在分享各种实习趣事，而故事的主角，却还在思考如何安全的度过今年期末考试。冲动，确实是一时冲动，看见豪翔跟家园学长在台上讲打算成立云计算小组的计划后，我第一个举起了手，也是在那时候，遇到了今天的小伙...

2014-06-18 00:09:14 931

关于hadoop完全分布式集群搭建

由于毛毛多原因一直没机会跑一个完全分布式，上次由于网络不稳定失败后就一直没在搞过，想想还是做点笔记备忘下。已经安装好hadoop环境下：1、配置host文件，即确定各结点ip2、配置ssh无密码登录3、配置namenode，修改site4、配置hadoop-env.sh文件，导入 jdk 就好5、配置maste与slaves结点文件6、一致hadoop，分别向各结点复...

2014-05-25 11:04:32 133

原创 MapReduce编程模型之OutputFormat接口分析

OutputFormat主要用于描述数据输出的格式，它能够将用户提供的key/value对写入特定格式的文件中。与InputFormat相似，OutputFormat也是一个接口，旧版API有两个方法：RecordWriter<K,V> getRecordWriter(FileSystem ignored,JobConf job,String name,Progressab...

2014-05-16 17:11:18 182

bat批处理

在用支持向量机处理手写识别时，需要一个保存模板图片路径与0~9标签的文本txt，如下：实现步骤：（这里路径为D:\nums）step1、到路径D:\nums\train0下，新建 "p.txt"，输入dir /b/s/p/w *.jpg>num.txt 保存并重命名为 "p.bat"，双击运行可得--> "num.txt"，内容如下：继续新建 "pp.t...

2014-05-13 20:19:57 138

机器学习：支持向量机实现手写识别

不知不觉，学习脑与科学已经将近3个月了，虽然对上课老师讲的纯理论提不起一点兴趣，但是不得不说，这玩意儿确实有它吸引人的地方，比如计算机视觉，比如今天的机器学习。机器学习可以说是人工智能的核心，是它使计算机拥有了智能，简单说，它使计算机有了学习的能力。MS李给了五种机器学习算法实现手写识别（否则挂科）：自适应增强；支持向量机；贝叶斯分类器...

2014-05-10 00:52:01 787 1

原创 MapReduce编程模型之InputFormat接口分析

最近小组任务是在MapReduce编程模型，分析其接口体系结构，即InputFormat、Mapper、Partitioner、Reducer和OutputFormat五个接口的分析，我的任务是分析InputFormat接口，当时觉得不就是几个接口吗，还用得着五个人来分工，回家一晚上就可以全部搞定，好在当时没有冲动，现在花了一周（其实只有假期里）总算勉强玩转一个，想想还有点小...

2014-05-02 21:55:28 634

demo备忘

WordCount，小demo备忘/usr/local/hadoop# bin/hadoop namenode -format/usr/local/hadoop# bin/start-all.sh/usr/local/hadoop# jps/usr/local/hadoop# sudo mkdir test/usr/local/hadoop# la/usr/local/h...

2014-05-02 19:31:11 114

原创哈希表我的初中

前些天胡哥给讲哈希表，悔恨自己没提前看下书，导致后来小伙伴们登台讨论的热火朝天时自己只能充当观众，那酸爽，唉... 当天回家恶补数据结构，发现哈希表其实还是挺容易理解的，就是在实现上面会感觉无从下手，因为自己还没有真正处理过大数据（虽然最近在研究大数据~~），只好自己敲个小程序cos下。当天在胡哥课上除了哈希表基本思想外，印象最深的就是哈希表的冲突...

2014-05-02 13:35:23 117

原创基于Opencv下RGB图像转HSV，并分离成单通道R/G/B与H/S/V

刚刚把去年写过的几篇博文下架了，感觉没下什么功夫在上面，不太值得小伙伴们费神，干脆全部删掉，重新开始嘛这学期我们大智能开始第一波专业课，基于Opencv下的计算机视觉处理，感觉比较有趣，希望通过不断的学习能够在日后做出自己喜欢的作品。这次博文属于我的第一个课程实验，初次接触，印象最为深刻。 1）初次接触这是...

2014-05-01 22:35:25 3353 1

dashen0的博客