- 博客(5)
- 资源 (28)
- 收藏
- 关注
原创 Hadoop学习---第四篇Mapreducer里的Partitioner
Partitioner就是对map输出的key进行分组,不同的组可以指定不同的reduce task处理;Partition功能由partitioner的实现子类来实现每写一段代码都会加深理解,程序里记录了自己的理解FlowBean类源码:package cn.zxl.flowcountpartitioner;import java.io.DataInput;import j
2015-05-31 11:03:37 3077 1
原创 Hadoop学习---第三篇Hadoop的第一个Mapreduce程序
Mapreducer程序写了好几个了,但是之前一直都没有仔细的测试过本地运行和集群上运行的区别,今天写了一个Mapreduce程序,在此记录下来。 本地运行注意事项有以下几点:1、本地必须配置好Hadoop的开发环境2、在src里不加入配置文件运行,或者如果本地的src里有mapred-site.xml和yarn-site.xml配置文件,那么mapreduce.framework.n
2015-05-30 21:50:13 1098
原创 Hadoop学习---第二篇搭建Hadoop开发环境
Hadoop集群搭建好了,我们就可以开发了,那么就涉及到Hadoop开发环境的搭建。 Hadoop最好是在Linux系统上的Eclipse里开发,这就能省好多麻烦事。在Linux的Eclipse里开发就只需导入Hadoop的jar包就行,jar包需要哪些根据自己的开发需求而定,不清楚那就导入所有的jar包。因为我们大部分人都习惯了在windows里开发,所以在windows搭建Ha
2015-05-28 20:11:56 757
原创 Hadoop学习---第一篇搭建Hadoop集群
开始学习大数据,为了更好的掌握大数据技术,写此博客来记录自己的学习本环境是基于CentOS6.4 32位,jdk1.7,Hadoop2.4.1搭建1、新建一台虚拟机,安装好Linux CentOS系统 2、修改虚拟机IP地址,用root身份登录:vim /etc/sysconfig/network-scripts/ifcfg-eth0,修改为以下内容然后保存 DEVICE="
2015-05-24 23:09:05 970
原创 Linux学习一----------Linux制作本地yum源
刚刚开始学习,以此作为笔记记录自己所学一、挂载文件把iso文件放到虚拟机里,可以选择共享文件或者通过连接Linux的工具上传上去我的上传在/root/CentOS-6.6-x86_64-bin-DVD1.iso创建挂载地点:mkdir /root/iso挂载镜像文件:mount -o loop /root/CentOS-6.6-x86_64-bin-DVD1.iso /roo
2015-05-18 18:55:03 6054
hive systemctl启停hiveserver2和metastore服务.pdf
2021-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人