- 博客(69)
- 资源 (13)
- 收藏
- 关注
原创 路漫漫其修远兮,吾将上下而求索
从享受生活的角度上来说:“程序员并不是一种最好的职业,有两种人可以做程序员,第一,你不做程序员,你就没有什么工作可做,或者说是即使有可以做的工作但是你非常不愿意去做;第二,你非常痴迷和爱好程序,并且在这方面有一些天赋和优势。程序员的结局也是有两种:第一,默默退休,第二以程序员为起点或跳板,注意积累,跟对了好的老板或团队,找到和很好的搭档自己创业,成为IT金领和富翁。”而成为一名优秀的程序员之路
2011-11-03 09:03:33 548
原创 面试资料整理
面试需要准备的东西还挺多的,今天开个汇总贴吧,随时记录。基础知识整理:数据结构复习:http://mooc.study.163.com/learn/ZJU-1000033001?tid=1000044001#/learn/announce。抽时间复习一下,配合一些考研的指导书,效果还是很好的。算法:https://oj.leetcode.com/,什么编程之美啦,剑指Off
2015-07-01 16:53:53 866
原创 排序算法总结
排序算法经常被用来考察一个人的基础能力。因此,对学过的排序算法进行总结,梳理,教材参照网易云课堂里面的浙大开设的数据结构课程里讲到的排序的内容,附上链接:http://mooc.study.163.com/learn/ZJU-1000033001?tid=1000044001#/learn/content?type=detail&id=1000112012&cid=100015100,在此感谢。如
2015-07-01 13:20:34 3029 3
原创 Sun考试认证题目解析(强力推荐,巩固基础)
转载请注明出处:http://www.ming-yue.cn/java-basic/。巩固java基础,面试突击必备!
2015-05-13 14:22:08 966
原创 leetcode-java题解(每天更新)
说明:选用java,重在体会,性能不是最优。欢迎转载:http://www.ming-yue.cn/leetcode-java-solutions/。先给出一个leetcode的已有答案,为什么上来直接给出答案,因为这个好多答案写的都非常简洁,不太易懂,还是建议先自己做,答案只是参考http://www.ninechapter.com/solutions/。1,https://le
2015-03-09 11:29:52 2672 2
原创 用hadoop计算PI值
摘要:最近研究hadoop的一个例子,计算PI值,本以为hadoop不适合这种密集型的计算,却发现了在hadoop自带的examples里,竟然有PiEstimator这个例子,于是深入研究一下,首先感谢博主http://thinkinginhadoop.iteye.com/blog/710847。
2014-08-30 10:19:39 7113 1
原创 HBase编程实例
摘要:在前文中安装了Hbase,通过Hbase shell可以进行一些操作,但是和实际的编程实例联系起来不方便,因此本文介绍有关Hbase编程的实例。
2014-08-23 21:23:25 4104
原创 Hadoop Pipes编程之C++实现WordCount
Hadoop虽然用java实现,但是同样可以支持其他语言的Map和Reduce。由于需要学习C++方面的Hadoop实现,所以最近一直在研究Hadoop Streaming编程,其中Hadoop pipes允许C++程序员编写mapreduce程序,它允许用户混用C++和Java的RecordReader, Mapper, Partitioner,Rducer和RecordWriter等五个组件,
2014-04-25 23:18:02 2053
原创 Hadoop中文词频统计
学习Hadoop都免不了WordCount,但是都是最简单的例子,而且都是以空格为划分的英文词频的统计,相比于中文,英文的统计显得简单很多,因为中文涉及到很多语义及分词的不同,通常不好统计中文词频,即使是现在的技术,也没有完全能符合人们标准的中文词频统计工具出现,不过现阶段还是有可以使用的工具的,比如IK Analyzer,今天就来尝试一下。先感谢看到的博客指导:http://www.cn
2014-04-13 14:35:24 5240 7
原创 MapReduce Job中全局共享数据的处理办法
在编写MapReduce程序时,经常会遇到这样的问题,全局变量如何保存?如何让每个处理都能获取保存的这些全局变量?使用全局变量是不可避免的,但是在MapRdeuce中直接使用代码级别的全局变量是不现实的。主要是因为继承Mapper基类的Map阶段类的运行和继承Reducer基类的Reduce阶段类的运行都是独立的,并不共享一个Java虚拟机的资源,因此,下面介绍三种在MapReduce编程中相对有
2014-04-13 10:18:46 2943
转载 WEKA 数据挖掘可视化分析平台的研究
利用WEKA编写数据挖掘算法 WEKA是由新西兰怀卡托大学开发的开源项目。WEKA是由JAVA编写的,并且限制在GNU通用公众证书的条件下发布,可以运行在所有的操作系统中。WEKA工作平台包含能处理所有标准数据挖掘问题的方法:回归、分类、聚类、关联规则挖掘以及属性选择。作为数据挖掘爱好者自然要对WEKA的源代码进行分析并以及改进,努力写出自己的数据挖掘算法。下面着重介绍一下如何利用WE
2013-12-06 13:54:51 1347
WEKA 数据挖掘可视化分析平台的研究
利用WEKA编写数据挖掘算法 WEKA是由新西兰怀卡托大学开发的开源项目。WEKA是由JAVA编写的,并且限制在GNU通用公众证书的条件下发布,可以运行在所有的操作系统中。WEKA工作平台包含能处理所有标准数据挖掘问题的方法:回归、分类、聚类、关联规则挖掘以及属性选择。作为数据挖掘爱好者自然要对WEKA的源代码进行分析并以及改进,努力写出自己的数据挖掘算法。下面着重介绍一下如何利用...
2013-12-06 13:54:00 544
原创 Zookeeper3.4.5配置安装
Zookeeper是一个为分布式应用所涉及的开源协调服务。它可以为用户提供同步、配置管理、分组和命名等服务。用户可以使用Zookeeper提供的接口方便的实现一致性、组管理、leader选举以及某些协议。Zookeeper提供一个易于编程的环境,所以它的文件协调使用了我们熟悉的目录树结构。Zookeeper是使用Java语言编写的,但是它支持Java和C两种语言接口。Zookeeper的设计母的是
2013-12-06 08:59:52 2070
Zookeeper3.4.5配置安装
Zookeeper是一个为分布式应用所涉及的开源协调服务。它可以为用户提供同步、配置管理、分组和命名等服务。用户可以使用Zookeeper提供的接口方便的实现一致性、组管理、leader选举以及某些协议。Zookeeper提供一个易于编程的环境,所以它的文件协调使用了我们熟悉的目录树结构。Zookeeper是使用Java语言编写的,但是它支持Java和C两种语言接口。Zookeeper的设计母...
2013-12-06 08:59:00 174
原创 HBase配置安装
HBase是一个开源的高可靠性、高性能、可伸缩、并非建立在关系模型基础上的分布式数据库,用以存储大规模结构化数据,是非关系型(NoSQL)数据库,由Chang等人基于Google的Bigtable开发而成的。HBase的目标是存储并处理大型的数据,更具体来说是只需要使用普通的硬件配置即可处理成千上万的行和列组成的大数据。 转载请注明出处: http://hanlaiming.fre
2013-12-05 21:17:13 1138
HBase配置安装
HBase是一个开源的高可靠性、高性能、可伸缩、并非建立在关系模型基础上的分布式数据库,用以存储大规模结构化数据,是非关系型(NoSQL)数据库,由Chang等人基于Google的Bigtable开发而成的。HBase的目标是存储并处理大型的数据,更具体来说是只需要使用普通的硬件配置即可处理成千上万的行和列组成的大数据。 转载请注明出处:http://hanlaiming.fr...
2013-12-05 21:17:00 124
原创 利用Mahout实现在Hadoop上运行K-Means算法
K-Means算法是基于分划分的最基本的聚类算法,是学习机器学习、数据挖掘等技术的最基本的 知识,所以掌握其运行原理是很重要的。 转载请注明出处: http://hanlaiming.freetzi.com/?p=144 一、介绍Mahout Mahout是Apache下的开源机器学习软件包,目前实现的机器学习算法主要包含有协同过滤/推荐引擎,聚类和分类三
2013-11-21 22:40:28 2837
利用Mahout实现在Hadoop上运行K-Means算法
K-Means算法是基于分划分的最基本的聚类算法,是学习机器学习、数据挖掘等技术的最基本的 知识,所以掌握其运行原理是很重要的。 转载请注明出处:http://hanlaiming.freetzi.com/?p=144 一、介绍Mahout Mahout是Apache下的开源机器学习软件包,目前实现的机器学习算法主要包含有协同过滤/推荐引擎,聚类和分类三个部分。...
2013-11-21 22:40:00 167
原创 MapReduce工作机制总结
总结从MapReduce程序中的JobClient.runJob(conf)开始,给出了MapReduce执行的流程图(如下),并分析了流程图中的四个核心实体,结合实际代码介绍了MapReduce执行的详细流程。 MapReduce的执行流程简单概括如下:用户作业执行JobClient.runJob(conf)代码会在Hadoop集群上将其启动。启动之后Jo
2013-11-07 20:19:48 1331
MapReduce工作机制总结
总结从MapReduce程序中的JobClient.runJob(conf)开始,给出了MapReduce执行的流程图(如下),并分析了流程图中的四个核心实体,结合实际代码介绍了MapReduce执行的详细流程。MapReduce的执行流程简单概括如下:用户作业执行JobClient.runJob(conf)代码会在Hadoop集群上将其启动。启动之后...
2013-11-07 20:19:00 163
原创 hadoop实现单表和多表关联
转载请注明:http://hanlaiming.freetzi.com/?p=123在mapreduce上编写简单应用后,开始学习稍微高级一点的单表关联和多表关联。在学习过程中我参考了这篇文章,谢谢http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html,里面很多基本的内容很实用。一、单表关联。实
2013-11-05 19:29:27 1894
hadoop实现单表和多表关联
转载请注明:http://hanlaiming.freetzi.com/?p=123在mapreduce上编写简单应用后,开始学习稍微高级一点的单表关联和多表关联。在学习过程中我参考了这篇文章,谢谢http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html,里面很多基本的内容很实用。一、单表关联。...
2013-11-05 19:29:00 717
原创 在eclipse下编写简单mapreduce程序
转载请注明:http://hanlaiming.freetzi.com/?p=117前两天搭建好了hadoop环境,昨天完成了hadoop的eclipse插件编译,所以今天测试一下一些简单的mapreduce程序如何在eclipse上运行。首先说明我的实验环境:ubuntu版本12.04,hadoop版本1.2.1,java版本1.7.0_45,eclipse版本4.2Ju
2013-10-31 22:35:37 1727
在eclipse下编写简单mapreduce程序
转载请注明:http://hanlaiming.freetzi.com/?p=117前两天搭建好了hadoop环境,昨天完成了hadoop的eclipse插件编译,所以今天测试一下一些简单的mapreduce程序如何在eclipse上运行。首先说明我的实验环境:ubuntu版本12.04,hadoop版本1.2.1,java版本1.7.0_45,eclipse版本4.2...
2013-10-31 22:35:00 447
原创 hadoop1.2.1下编译及安装eclipse4.2插件
转载请注明出处:http://hanlaiming.freetzi.com/?p=115hadoop1.2.1环境安装完成后,准备着手开发Mapreduce程序,但是总在文本里编辑java代码肯定不是回事,所以开始安装eclipse插件。我在安装前参考了这篇博文http://blog.csdn.net/summerdg/article/details/12874841,在此谢谢博主
2013-10-29 14:11:56 1116 2
hadoop1.2.1下编译及安装eclipse4.2插件
转载请注明出处:http://hanlaiming.freetzi.com/?p=115hadoop1.2.1环境安装完成后,准备着手开发Mapreduce程序,但是总在文本里编辑java代码肯定不是回事,所以开始安装eclipse插件。我在安装前参考了这篇博文http://blog.csdn.net/summerdg/article/details/12874841,在此谢谢...
2013-10-29 14:11:00 107
原创 ubuntu下修改environment后无法使用sudo的解决办法
转载请注明:http://hanlaiming.freetzi.com/?p=111今天傻傻的修改了ubuntu12.04下的/etc/environment,将其中的usr/bin删掉了,结果导致sudo和好多命令用不了,而且关键是修改这个environment文件需要sudo权限,所以很尴尬。网上推荐的办法是进入recovery模式进行指令调整,但是很麻烦,在镔哥的帮助下,我学
2013-10-28 20:15:13 1345
ubuntu下修改environment后无法使用sudo的解决办法
转载请注明:http://hanlaiming.freetzi.com/?p=111今天傻傻的修改了ubuntu12.04下的/etc/environment,将其中的usr/bin删掉了,结果导致sudo和好多命令用不了,而且关键是修改这个environment文件需要sudo权限,所以很尴尬。网上推荐的办法是进入recovery模式进行指令调整,但是很麻烦,在镔哥的帮助下,...
2013-10-28 20:15:00 236
原创 有关名字的测试
也许你不会发现,自己的名字蕴含怎样命运。我也不信,嘿嘿,我是相信科学的~~但是无聊的时候发现这个测试,还是挺有意思的,建议大家试一下,有些地方说的很对哦,下面贴出我的测试结果。。得分:81(吉)天格:18分(金)人格:25分(土)地格:16分(土)外格:9分(水)总格:33分(火)「***」的“三才”解析
2013-10-27 19:21:09 1037
有关名字的测试
转载自:http://hanlaiming.freetzi.com/?p=107也许你不会发现,自己的名字蕴含怎样命运。我也不信,嘿嘿,我是相信科学的~~但是无聊的时候发现这个测试,还是挺有意思的,建议大家试一下,有些地方说的很对哦,下面贴出我的测试结果。。得分:81(吉)天格:18分(金)人格:25分(土)地格:16分(土...
2013-10-27 19:21:00 170
原创 在wordpress中实现分类目录下文章只显示标题
转载请说明出处http://hanlaiming.freetzi.com/?p=95相信很多人都建立了自己的分类目录,但是wordpress默认显示文章全文,这样让读者看起来很不舒服。官网上很多解决方法是要在主页上只显示文章标题,可将wp-content/themes/default/index.php文件中的:" rel="bookmark" title="P
2013-10-26 15:59:22 6188
在wordpress中实现分类目录下文章只显示标题
转载请说明出处http://hanlaiming.freetzi.com/?p=95相信很多人都建立了自己的分类目录,但是wordpress默认显示文章全文,这样让读者看起来很不舒服。官网上很多解决方法是要在主页上只显示文章标题,可将wp-content/themes/default/index.php文件中的:<h2><a href="&...
2013-10-26 15:59:00 1666
原创 ubuntu下hadoop全分布安装
个人历时3天遭遇各种问题才安装好,虽然网上很多教程,但是还是自己写一个总结一下转载请注明出处:http://hanlaiming.freetzi.com/?p=771.实验环境Ubuntu12.04Hadoop1.2.1Java1.6.0_13 2.实验准备1.在所有机器上安装ubuntu12.04,过程不赘述。在安装过程中命
2013-10-25 21:47:44 1549
ubuntu下hadoop全分布安装
个人历时3天遭遇各种问题才安装好,虽然网上很多教程,但是还是自己写一个总结一下转载请注明出处:http://hanlaiming.freetzi.com/?p=771.实验环境Ubuntu12.04Hadoop1.2.1Java1.6.0_132.实验准备1.在所有机器上安装ubuntu12.04,过程不赘述。在安装过程中...
2013-10-25 21:47:00 154
原创 教你如何用免费域名打造属于自己的博客
现阶段网络上的博客太多了,我自己就有好多个,不可否认,这些大公司比如新浪、百度、腾讯、csdn等等好多社区都可以申请博客,而且功能什么的也比较完善,但是我们拥有的权限太少了,如果你有闲暇的时间,有这样的想法,那么今天我就和大家一起学习一下如何自己做管理员,创建自己的博客。 首先,我先交待一下我所拥的工具——wordpress,这是一个开源的个人博客平台,现在很多人使用,而且功能很完善,评
2013-10-10 22:02:45 1621
技术宅:教你如何自己打造属于自己的博客
现阶段网络上的博客太多了,我自己就有好多个,不可否认,这些大公司比如新浪、百度、腾讯、csdn等等好多社区都可以申请博客,而且功能什么的也比较完善,但是我们拥有的权限太少了,如果你有闲暇的时间,有这样的想法,那么今天我就和大家一起学习一下如何自己做管理员,创建自己的博客。 首先,我先交待一下我所拥的工具——wordpress,这是一个开源的个人博客平台,现在很多人使用,而且功...
2013-10-10 22:02:00 175
转载 从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)
从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)从hadoop框架与MapReduce模式中谈海量数据处理前言几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术
2013-04-10 22:59:24 979 1
从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)
从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)从hadoop框架与MapReduce模式中谈海量数据处理前言几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且...
2013-04-10 22:59:00 87
原创 ihelper使用方法及功能介绍
运行ihelper之前,需要确保你的电脑安装了java jdk1.6以上,如果没有安装,到http://www.java.com/zh_CN/下载合适你电脑的jdk,之后就可以运行一、注册账号用户可以根据邮箱注册ihelper的账号,实现管理功能,注意邮箱要真实可靠,360会提示你程序想使用邮件功能是否允许,一定要允许二、登录功能Ihelper判定用户输入的用户名和密码是否
2013-04-06 16:53:59 2543
ihelper使用方法及功能介绍
运行ihelper之前,需要确保你的电脑安装了java jdk1.6以上,如果没有安装,到http://www.java.com/zh_CN/下载合适你电脑的jdk,之后就可以运行一、注册账号用户可以根据邮箱注册ihelper的账号,实现管理功能,注意邮箱要真实可靠,360会提示你程序想使用邮件功能是否允许,一定要允许二、登录功能Ihelper判定用户输入的用户名和密码是否匹配...
2013-04-06 16:53:00 369
斯坦福大学自然语言处理公开课课件汇总
2013-12-16
cd-hit-user-guide.pdf 学习cd-hit新手必备!
2013-12-10
putty,可用于链接远程服务器
2013-12-10
android应用大量详细源码
2011-12-15
Connector-j
2011-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人