- 博客(23)
- 收藏
- 关注
原创 上课地点安排-2015年北邮《海量数据处理中的云计算》课程公告
自2015年3月9日起,为便于使用试验环境,上课地点由教3楼237,调整到明光楼7层,北邮宽带网络监控教研中心会议室,请大家相互转告!
2015-03-06 15:08:30 884
原创 2015年北邮《海量数据处理中的云计算》课程预告
2015年北邮研究生课程《海量数据处理中的云计算》将于2015年3月2日开课。为帮助同学们达到理论+实践两手硬的效果,今年的课程进行重大改革,将采用MOOC+翻转课堂的形式进行。将采用小班教学,课外使用课程自建MOOC平台自学理论视频、依照实践视频下载Docker Image动手操作,课堂上进行小班讨论。以达到既掌握理论知识,又学会Hadoop相关技术组件实际操作的目标。
2015-01-29 22:08:13 939
原创 专家讲堂系列:虚拟化和云中的大数据-路广(Vmware)
题目:虚拟化和云中的大数据摘要:随着大数据及相关应用的普及,如何将其虚拟化并置于云端运行成为企业关心的问题。这里将分享企业面临的挑战,VMware在此领域的最新进展,和我们所预见的发展趋势。专家简历:路广,现任VMware中国研发中心高级开发经理,负责领导vSphere Big Data Extensions开发团队的工作。他于2009年加入VMware中国研发中心,并曾先后负
2014-06-03 11:29:13 1441
原创 北京邮电大学《Hadoop大数据处理》课程2014年讲义-C11.整合、管理与未来
北京邮电大学《Hadoop大数据处理》课程2014年讲义-C11. 整合、管理与未来下载链接:vdisk.weibo.com/s/avMylD7Wo2DE5
2014-05-21 13:25:37 1325
原创 北京邮电大学《Hadoop大数据处理》课程2014年讲义-C10.Hive Pig
北京邮电大学《Hadoop大数据处理》课程2014年讲义-C9.HBase(3)下载链接:vdisk.weibo.com/s/avMylD7Wop6WA
2014-05-14 13:00:42 1138
原创 北京邮电大学《Hadoop大数据处理》课程2014年讲义-C9.HBase(3)
北京邮电大学《Hadoop大数据处理》课程2014年讲义-C.HBase(3)
2014-05-07 13:24:16 1220
原创 北京邮电大学《Hadoop大数据处理》课程2014年讲义-C8.HBase(2)
北京邮电大学《Hadoop大数据处理》课程2014年讲义-C8.HBase(2)下载链接:vdisk.weibo.com/s/avMylD7Wozdmu
2014-04-30 15:57:56 1091
原创 北京邮电大学《Hadoop大数据处理》课程2014年讲义-C7.HBase(1)
北京邮电大学《Hadoop大数据处理》课程2014年讲义-C7.HBase(1)
2014-04-23 17:50:23 1355
原创 北京邮电大学《Hadoop大数据处理》课程2014年讲义
Hadoop大数据处理讲义-C0. 课程介绍Hadoop大数据处理讲义-C1. 海量数据处理概论Hadoop大数据处理讲义-C1.2 海量数据处理概论(2)Hadoop大数据处理讲义-C2. Google核心云计算技术Hadoop大数据处理讲义-C2.2 Google核心云计算技术(2)Hadoop大数据处理讲义-C3. Hadoop体系架构Hado
2014-04-08 13:48:25 2252 2
原创 Windows下Cygwin环境的Hadoop安装(0)- 序言及步骤索引
正式的Hadoop生产环境,应该是在linux环境下部署,但是为了研究和实验方便,大家经常需要在自己常用的windows工作环境下安装hadoop。在windows下运行hadoop,通常有两种方式:一种是用VM方式安装一个linux操作系统,这样基本可以实现全linux环境的hadoop运行;另一种是通过cygwin模拟linux环境。后者的好处是使用比较方便,安装过程也简单。因为我是打算快速安
2014-04-06 22:24:25 1205
原创 Wordcount Combiner性能测试
在mapreduce程序的运行过程中,map阶段产生的数据存放在本地磁盘中,reduce阶段节点通过远程访问的形式读取进行下一步计算。如果能够减少map阶段产生的数据量就能够大幅度提升体统性能。Combiner是减少map阶段产生数据量的重要措施。本文档重点研究了combiner函数对于wordcount程序运行时间的影响。本文档的研究方法是:在运行wordcount程序过程中,针
2014-04-06 22:20:28 1374
转载 在Eclipse上运行Hadoop程序,DistributedCache找不到文件缓存的问题
2014期李海波同学作品 【原文链接】前一段时间在网上找了一个K-means算法的分布式实现,里面涉及到分布式缓存DistributedCache的问题,我在eclipse中运行MapReduce程序,运行后在命令窗口中明明显示分布式缓存已经建立,但是程序就是读取不到文件,网上各种查找方法,没有解决。后面我采用一种折中的办法,就是在每个Map或者Reduce中采用FileS
2014-04-06 22:16:01 2500
原创 Windows下Cygwin环境的Hadoop安装(4)- 在Eclipse中建立hadoop开发环境
在使用hadoop的过程中,不可避免地遇到一些问题需要对hadoop代码进行改进,这就要求我们必须建立一个可修改hadoop代码的开发环境,下面的过程,我们就来建立一个基于Eclipse的hadoop开发环境。- 安装AntHadoop的编译需要Ant的支持,从这里下载并安装最新的Ant:http://ant.apache.org/bindownload.cgi。安装完成后,别忘了将
2014-04-06 22:12:35 1046
原创 Windows下Cygwin环境的Hadoop安装(3)- 运行hadoop中的wordcount实例遇到的问题和解决方法
在前面的步骤中,我们已经建立了hadoop环境,下面该运行一个实例了,就拿hadoop自带的wordcount练手吧。- 建立本地数据文件在我们准备的hadoop本地文件夹data下建立一个data_in文件夹,并在此文件夹下创建两个数据文件,分别是file1.txt和file2.txt。file1.txt中保存一个句子:Hello world!file2.txt中保存一个句子:I
2014-04-06 22:08:32 1328 2
原创 Windows下Cygwin环境的Hadoop安装(2)- Hadoop安装和配置
在上一步安装好cygwin环境后,下面进入hadoop安装。 - 安装JDKHadoop运行需要jdk环境,我下载了最新的jdk7u5版本(http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1637583.html)在下面的列表中选择合适的版本,我选择的是Windows X86版本。
2014-04-06 22:07:42 1562 1
原创 Windows下Cygwin环境的Hadoop安装(1)- Cygwin安装和配置
在windows下通过安装cygwin模拟linux环境,然后再安装hadoop,是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下:- 下载安装文件最新的cygwin安装文件setup.exe下载地址在这里:http://cygwin.com/install.html。用最新版本的cygwin就可以,我用的是2.774版本的安装程序。- 安装cyg
2014-04-06 22:06:21 1531
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人