Hadoop
文章平均质量分 61
Valar_Morghulis
Open your world
展开
-
在ubuntu上安装maven
下载mavenhttp://maven.apache.org/download.cgi 解压用压缩管理器打开,解压至home目录下配置环境变量sudo gedit /etc/profile添加export M2_HOME=/home/weibo/apache-maven-3.0.5(视自己的情况而定)export M2=$M2_HOME/bine原创 2014-07-22 18:12:37 · 757 阅读 · 0 评论 -
Ubuntu 的libstdc++.so.5安装
今天运行程序的时候总是有一个libstdc++5的错误,纠结了好长时间。网上百度了下终于找到了这个问题的原因和解决办法。具体的实现如下:选择自动安装sudo apt-get install libstdc++5 选择手动安装:.下载安装包: wget-c http://free.nchc.org.tw/ubuntu//pool/universe/g/gc原创 2014-08-02 16:29:26 · 8767 阅读 · 0 评论 -
Hadoop的Combiner
Hadoop的Combiner原创 2014-08-05 09:28:31 · 1063 阅读 · 0 评论 -
Hadoop里的Partitioner
Haooop Partitioner原创 2014-08-04 17:27:18 · 948 阅读 · 0 评论 -
hadoop之WordCount源码分析
最近在研究hadoop,第一个想要要开始研究的必定是wordcount程序了。看了《hadoop应用开发实战讲解》结合自己的理解,对wordcount的源码进行分析。原创 2014-08-05 11:54:52 · 1012 阅读 · 0 评论 -
hadoop的wordcount的修改版
//这个是在原来的基础上修改以后得到的,将其中的分词的依据给换掉了,并且进行词频统计的时候会自动的忽略大小写 packageorg.apache.hadoop.mapred; importjava.io.IOException;importjava.util.ArrayList;importjava.util.Iterator;importjava.util.List;原创 2014-09-01 10:06:32 · 1021 阅读 · 0 评论 -
hadoop之单机模式与伪分布式模式部署
参考wenz我的环境是ubuntu12.10+hadoop1.1.0.Hadoop的运行模式有以下三种。单机模式(standalone)单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与转载 2014-07-26 19:33:59 · 680 阅读 · 0 评论 -
Hadoop伪分布模式配置部署
二、Hadoop伪分布式模式配置本实验需要按照上一节单机模式部署后继续进行操作1. 配置core-site.xml, hdfs-site.xml,mapred-site.xml及yarn-site.xml1).修改core-site.xml:$ sudo gvim /usr/local/hadoop/etc/core-site.xmlconfigurat原创 2014-12-23 21:07:48 · 1832 阅读 · 1 评论 -
Hadoop单机模式安装
1. 添加用户及用户组创建用户hadoop$ sudo adduser hadoop需要输入shiyanlou的密码:shiyanlou。并按照提示输入hadoop用户的密码。2. 添加sudo权限将hadoop用户添加进sudo用户组$ sudo usermod -G sudo hadoop四、安装及配置依赖的软件包1. 安装openssh-server、ja原创 2014-12-23 21:02:14 · 1149 阅读 · 0 评论