HADOOP
虎纠卫
纸上得来终觉浅,绝知此事要躬行!码农一枚
展开
-
hadoop实践(一)环境准备
1、 安装linux或者安装linux虚拟机本人是安装linux虚拟机centos ,至于网上很多用乌班图,我觉的因为是实践,所以基本无差2、 安装ssh linux 一般自带 rpm -qa |grep ssh 3、创建 hadoop用户 用root用户登录 创建用户组: groupadd hadoop原创 2016-06-12 14:04:04 · 859 阅读 · 0 评论 -
CDH5.0.2实践(四)离线安装实践
CDH5 主要是用在开发环境中使用,经历了多次重装,所以觉得有必要整理一下如何进行删除、离线安装原创 2017-07-25 11:45:01 · 663 阅读 · 0 评论 -
CDH5实践(三)Cloudera Manager 5卸载步骤
Cloudera Manager 5卸载步骤转自http://www.jianshu.com/p/d3d5751e7ec5转载 2016-09-19 21:52:50 · 10550 阅读 · 0 评论 -
CDH5实践(二)Cloudera Manager 5安装Hive,HBase,Impala,Spark等服务
转载自博客:http://blog.csdn.net/yangzhaohui168/article/details/33403555Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试,就采用了Clou转载 2016-09-11 21:47:50 · 6671 阅读 · 0 评论 -
CDH5实践(一)本地Yum软件源安装Cloudera Manager 5
以下内容转自博文:http://blog.csdn.net/yangzhaohui168/article/details/30118175Cloudera Manager 5(以下简称CM)默认采用在线安装的方式,给不能联互联网或者网络不畅的用户带来了不便,由于网络问题,屡装屡败的挫折感,让初次学习CDH用户真心体验到万事开头难。本文讲解了在CentOS 6环境下搭建本地Yum转载 2016-09-11 21:12:32 · 7180 阅读 · 1 评论 -
hadoop实践(七):hbase伪分布式部署
HBase的安装对应与hadoop的三种版本,也有单机版和伪分布式、全分布式三种方式。 全分布式采用一组zookeeper来进行保持集群软件之间的一致性,具体在下一节说明。一、目标 在伪分布式发布的hadoop主机上,安装配置hbase,并验证可用性二、准备 1) 环境说明: 主机: linux虚拟机centos6.5 hadoo原创 2016-06-20 16:28:29 · 1011 阅读 · 0 评论 -
hadoop实践(四) hadoop伪分布式发布
集群发布试验后,后续要转向hadoop开发,所以下面要进行伪分布式发布和eclipse结合的实践。hadoop伪分布式发布第一步 规划 主机: 192.168.136.155, hostname master 主机操作系统; centos6.5 (虚拟机) (注: 我尝试设置主机hostname为 localhost,不原创 2016-06-14 00:12:24 · 905 阅读 · 0 评论 -
hadoop实践(五)win10+eclipse+hadoop2.6.4 开发环境
本人环境为win10(才从win7升级) eclipse是 Kepler Service Release 1 在win10下,安装了vm workstation,其上安装了centos6.5 ,并在上面部署了hadoop2.6.4的伪分布式安装一、 目标 设置win10下的eclipse开发环境,并且可以在此环境上开发hadoop应用原创 2016-06-15 00:23:27 · 9285 阅读 · 1 评论 -
hadoop实践(六)eclipse 打包和liunx下运行
在eclipse环境下开发的代码,可以打包并放入到linux环境的 hadoop 下运行。第一步:打包前提是已经安装了打包工具,fatjar。 首先eclipse右上角,从map/reduce 切换到java, 点击工程,右键会出现fat jar。 选中fatjar,打开打包配置界面。 执行finished后,eclip原创 2016-06-15 23:29:57 · 1047 阅读 · 0 评论 -
hadoop实践(三)hadoop 集群配置
第一步: 集群规划master 192.168.136.140slave1 192.168.136.151slave2 192.168.136.152第二步:配置环境变量: 1) vi /etc/profile 在最后面添加如下代码: export JAVA_HOME=/usr/java/jdk1.7.0_80export JAVA_BIN=/原创 2016-06-12 23:11:27 · 1700 阅读 · 0 评论 -
hadoop实践(二)-hadoop和ssh配置
系统环境准备好后,还需要进行配置和hadoop软件的下载安装。1、 ssh配置这里的ssh配置是指ssh 配置无密钥登录,原因是因为hadoop集群环境下,有大量节点机器,所以配置无密钥登录 1.1: 系统主机和主机名配置 修改系统的主机名,比如本人实践的主机,设置为master.hadoop 需要修改2个文件, 修改操作使用 root用户原创 2016-06-12 14:28:06 · 1504 阅读 · 0 评论 -
CDH5实践(补充)一些问题的处理
本篇针对CDH5中的一些问题处理进行归纳原创 2017-07-25 12:02:47 · 693 阅读 · 0 评论