大数据之HaDoop
默默努力的程序员
少而好学,如日出之阳;壮而好学,如日中之光;志而好学,如炳烛之光。
展开
-
ssh无密登录配置
环境:三台虚拟机:hadoop01、hadoop02、hdoop03实现hadoop01到hadoop02、hadoop03的免密登录生成公钥和私钥在终端输入 ssh-keygen -t rsa 指令,然后敲三个回车在终端输入ssh-copy-id hadoop02 指令,将公钥拷贝到要免密登录的目标机器上在终端输入ssh-copy-id hadoop03 指令,将公钥拷贝到要免密登录的目标机器上至此,完成hadoop01到hadoop02、hadoop03的免密登录,这个只是单向的,如要三台原创 2020-07-14 09:15:05 · 197 阅读 · 0 评论 -
Hive搭建单用户模式(MySql)
在虚拟机上搭建Hive单用户模式,前提是搭建好hadoop高可用集群,这里就不详细介绍如何搭建hadoop高可用集群了,详细介绍请看搭建Hadoop MapReduce V2高可用集群所用的Hive版本是1.2版本和mysql-connector-java-5.1.32-bin.jar1、安装mysql1、使用yum安装mysql,使用命令: yum install mysql-serve...原创 2020-01-11 21:26:58 · 157 阅读 · 0 评论 -
Hadoop的setCombinerClass方法
setCombinerClass 的用法:在MapReduce中,当map生成的数据郭大师,带宽就成了瓶颈,怎么精炼压缩传给Reduce 的数据,又不影响最终的结果?有一种方法就是Combiner,Combiner号称本地的Reduce,Reducer最终的输入,是Combiner的输出。Combiner是reducer来定义的,多数的情况下Combiner和Reducer处理的是同一中逻...原创 2019-11-24 11:18:29 · 1325 阅读 · 0 评论 -
hadoop初始化怎么将文件保存在了 /tmp/hadoop-root/dfs/name
Hadoop初始化的时候默认的将 namenode 格式化在 /tmp/hadoop-root/dfs/name 下,如果虚拟机重启,那么将不能成功启动Hadoop集群,原因是在重启的时候/tmp/hadoop-root/dfs/name被清空,需要重新格式化Hadoop解决方式将 Hadoop 格式化的路径修改了。进入 /opt/hes/hadoop-2.6.5/etc/hadoop 下的...原创 2019-11-14 20:17:41 · 1542 阅读 · 0 评论 -
hadoop2x-eclipse-plugin的下载地址
在githu上下载下载 hadoop2x-eclipse-plugin,地址是 https://github.com/winghc/hadoop2x-eclipse-plugin原创 2019-10-25 20:35:29 · 2882 阅读 · 0 评论 -
搭建Hadoop MapReduce V2高可用集群
上篇文章记录了如何搭建hadoop 2.X版本的高可用集群,这篇博客基于上一篇博客的基础上搭建 MapReduce V2高可用集群,如果没有搭建hadoop高可用集群的,参考搭建高可用hadoop集群1、前提配置我使用四台虚拟机,demo001,demo002,demo003,demo004,这四台虚拟机之间的关系在上一篇中已经写了,我这里记录一下上篇博客没写的,将demo003,demo00...原创 2019-10-25 19:32:48 · 209 阅读 · 0 评论 -
windows下开发hadoop时的一些配置
在windows下配置一下hadoop,就可以在windows上通过java代码操作hadoop集群了1、首先,下载 hadoop我下载的是这个 hadoop-2.6.5.tar.gz,也可以在这里下其他版本,下载后,将其解压到一个目录就可以了。2、配置环境变量在系统变量内添加 HADOOP_NAME 变量,值是hadoop所在目录,添加HADOOP_USER_NAME 变量,指明以什么身...原创 2019-10-22 13:13:28 · 127 阅读 · 0 评论 -
HaDoop 2.X版本 搭建高可用集群
前边两篇博客记录了使用 hadoop 1.x的方式搭建伪分布式和全分布式,但是,搭建的集群并不是高可用的,这里记录一下如何使用2.x方式搭建高可用的集群。1、前期准备与搭建全分布一样的前期准备,为一的区别是要准备一主一备两台nameNode服务器,其他的时间、防火墙、域名映射、hostname、免密钥等与全分布式一样。2、两个 nameNode节点免密钥假如主的节点是node08,备的节点...原创 2019-10-20 19:16:28 · 328 阅读 · 0 评论 -
虚拟机上搭建hadoop全分布式集群,用1.X版本的方式
上篇文章记录了 hadoop 搭建伪分布式的过程,用的也是是1.X版本的方式,这里记录一下全分布式的搭建1、前期准备要提前准备几台虚拟机,最少四台,我准备了四台,hostsname分别是:demo001、demo002、demo003、demo004要保证每台虚拟机上都安装了jdk修改虚拟机的hostname,具体改为什么都行> 输入 vi /etc/sysconf...原创 2019-10-18 22:24:43 · 179 阅读 · 0 评论 -
在虚拟机上hadoop搭建 1.X版本的伪分布式集群
这篇文章记录一下hadoop搭建伪分布式的步骤我是通过 Xshell 5 连接虚拟机,连接之后使用 ssh 虚拟机ip 登录的时候需要密匙,这里我先讲一下怎么关闭密码验证,只需要执行以下两行命令,这两行命令在hadoop官网上教伪分布式搭建的文档中。ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ...原创 2019-10-16 22:00:33 · 284 阅读 · 0 评论