- 博客(6)
- 资源 (12)
- 问答 (2)
- 收藏
- 关注
原创 mapreduce job提交的几种运行方式
总共整理下来有三大类: 集群上直接通过jar包来调用,输入和输出文件必须都存在hdfs集群上 linux环境下,在eclipse中集群或本地调用程序,以及输入和输出文件存于集群或本地 windows环境下,在eclipse中集群或本地调用程序,以及输入和输出文件存于集群或本地
2017-10-31 18:09:24 1753 1
原创 Hadoop-MapReduce之WordCount的实现
longsl / Mapreduce的wordcount计数器实现 程序做一些补充笔记wordcount计数逻辑简单概述: 从文件夹中读取文本文件,即源数据 计数分为map阶段和reduce两阶段实现,map阶段将单词做分割,并将每个单词打上标记—><key:word,value:1>的形式. 在reduce阶段,将key值相同的word做一个合并
2017-10-30 22:55:41 493
原创 三个月的实习教会了我什么?
一个懵懵懂懂的、有着一腔热血和一股干劲的,还未进入大四的应届毕业生,在他的大三暑期,提前走上了实习的道路。这一举动对他自己的影响说大不大,说小也不小。为什么这么说呢?
2017-10-28 23:28:41 1538
原创 hadoop2.x的编译过程总结
hadoop2.x的编译过程总结所有编译过程都可以在说明xml中得到有关信息,要进行编译的目的是,hadoop2.x中的lib包是32位的,而我们实际学习和生产的机器大都是64位,这使得我们要重新进行编译。1.准备工作a) hadoop2.x的源码包,这里以hadoop-2.4.1-src.tar.gz为例。 b) apache-maven-3.0.5-bin.tar.gz c) findbugs-
2017-10-28 09:36:11 408
原创 hadoop2.x 伪分布式环境搭建 | 适用于hadoop伪分布式集群环境搭建
转载请注明出处:http://blog.csdn.net/coder__cs/article/details/78372646 本文出自【elon33的博客】 通过详细介绍Hadoop2.4版本的伪分布环境搭建,来阐述适用于hadoop伪分布式集群环境搭建的具体步骤。 1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -
2017-10-28 08:36:53 891
原创 CENTOS 7 如何设置防火墙
With RHEL 7 / CentOS 7, firewalld was introduced to manage iptables. IMHO, firewalld is more suited for workstations than for server environments.It is possible to go back to a more classic iptables se
2017-10-04 18:14:44 396
hadoop-2.7.5-bin压缩包,适合在window平台运行hadoop和spark程序,其中的文件已做替换
2018-01-30
仅利用session和application实现聊天室
2017-04-18
Java编写 航班信息查询管理系统
2016-05-11
Java编写的 航班信息查询管理系统
2016-05-04
React Native 可以走多远,应用场景有多广,未来行业发展前景如何?
2016-07-04
大数据对于一个自学的大学生难吗?
2016-06-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人