Hadoop
冰诺莫语
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记_linux网络配置及静态ip设置
学习Hadoop,会配置Hadoop集群,学习阶段,不可能为了学习购买多台实体机,因此可以采取使用虚拟机的方式,虚拟机软件有很多,例如:VMWare,VirtualBox等。在此,我们使用VMWare来进行虚拟多台机器。 VMWare安装过程网上有很多教程,在此就不多做介绍。我使用的电脑是win7旗舰版x64操作系统,安装完VMWare之后,电脑上会出现两个虚拟网卡VMware Network A原创 2015-05-25 09:20:25 · 2027 阅读 · 1 评论 -
Hadoop学习笔记_伪分布式安装
在上一篇文章中,我们已经设置了linux的静态ip,那么下面我们需要做一些linux操作系统上的配置,之后再进行伪分布式安装。 1.首先,在大家上网的过程中,比如当大家想进行搜索时,一般可能会选择百度或者google,此时我们会打开浏览器,输入域名,然后进行搜索,而不是输入ip地址,同理,在linux上,我们可以设置linux的hostname来代替ip地址,使人们更加容易记忆。下面打开终端,看原创 2015-05-25 09:21:18 · 480 阅读 · 0 评论 -
Hadoop学习笔记_初识Hadoop
Hadoop是适合大数据的分布式存储与计算平台,分布式存储即HDFS(Hadoop Distributed File System),计算平台即MapReduce。Hadoop是分布式存储数据,在存储过程中会有数据通过网路进行传输,会受到带宽等方面的限制,因此如果在小数据规模下使用Hadoop,很可能并不如当前的解决方法效率高,因此Hadoop适合大数据的规模。 当前额Hadoop存在各种版本,原创 2015-05-25 09:21:06 · 522 阅读 · 0 评论 -
ubuntu下hadoop eclipse插件编译+windows下eclipse中安装+连接hadoop
最近在学习hadoop,花了不少时间来编译及安装hadoop的eclipse插件,记下来以后使用以及让别人少走弯路。 编译环境: os:Ubuntu15.04 jdk:1.6.0_43 安装后并配置环境变量 ant:1.9.6 解压后配置环境变量 eclipse4.4.2 解压后即可 hadoop1.2.1 编译过程: 编译hadoop很简单,但是直接编译代码生成的插原创 2015-08-13 16:09:41 · 505 阅读 · 0 评论 -
Hadoop学习笔记_Ubuntu下伪分布式安装及配置
1.环境准备Linux操作系统:ubuntu15.04 x86版 Jdk:jdk1.6.0_43 Hadoop:1.2.12.环境配置1.hadoop使用过程中会用到ssh连接,因此需要安装ssh 2.hadoop由java编写,因此运行需要jvm,安装jdk 3.hadoop使用过程中连接其他节点需要ssh,经常输入密码不便,建议配置免密码登录 4.修改一下主机名之类的,改成有意义的名字原创 2015-08-02 13:44:33 · 357 阅读 · 0 评论 -
Hadoop学习笔记_linux网络配置及静态ip设置
学习Hadoop,会配置Hadoop集群,学习阶段,不可能为了学习购买多台实体机,因此可以采取使用虚拟机的方式,虚拟机软件有很多,例如:VMWare,VirtualBox等。在此,我们使用VMWare来进行虚拟多台机器。 VMWare安装过程网上有很多教程,在此就不多做介绍。我使用的电脑是win7旗舰版x64操作系统,安装完VMWare之后,电脑上会出现两个虚拟网卡VMware Networ...2014-08-13 12:47:35 · 380 阅读 · 0 评论 -
Linux常用命令
下面我们来介绍一些简单的linux常用命令,本文使用的linux为CentOS 首先我们使用root用户登陆进操作系统,打开终端之后,如下所示: [root@localhost~]# 其中,root代表登陆所使用的用户,localhost代表主机名。后面的~或者其他名称为当前所在目录。~代表当前用户的home目录。linux中的文件系统是树结构,该文件系统的树根成为根目录,使用"/"来表示...2014-08-14 17:56:26 · 98 阅读 · 0 评论 -
Hadoop学习笔记_初识Hadoop
Hadoop是适合大数据的分布式存储与计算平台,分布式存储即HDFS(Hadoop Distributed File System),计算平台即MapReduce。Hadoop是分布式存储数据,在存储过程中会有数据通过网路进行传输,会受到带宽等方面的限制,因此如果在小数据规模下使用Hadoop,很可能并不如当前的解决方法效率高,因此Hadoop适合大数据的规模。 当前额Hadoop存在各种版...原创 2014-09-02 22:27:41 · 175 阅读 · 0 评论 -
Hadoop学习笔记_伪分布式安装
在上一篇文章中,我们已经设置了linux的静态ip,那么下面我们需要做一些linux操作系统上的配置,之后再进行伪分布式安装。 1.首先,在大家上网的过程中,比如当大家想进行搜索时,一般可能会选择百度或者google,此时我们会打开浏览器,输入域名,然后进行搜索,而不是输入ip地址,同理,在linux上,我们可以设置linux的hostname来代替ip地址,使人们更加容易记忆。下面打开终...原创 2014-11-18 22:17:00 · 120 阅读 · 0 评论