![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据相关
keepggoing
记录自己的成长引擎!
展开
-
Ubuntu16.04安装配置hadoop-2.7.4
写下来自己记录下,搭hadoop的伪分布式虽然很简单,但是有比较多的坑! 1.首先去下载包,然后解压 这里就不用多做说明了 2.接下来是profile的配置,这个东西比较的烦人: export JAVA_HOME=/opt/jdk export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_原创 2017-09-15 16:35:26 · 421 阅读 · 0 评论 -
Ubuntu16.04配置HA的MapReduce
这里的配置和上次的hdfs的HA版差不多,主要配置两个文件,yarn-site.xml和mapred-site.xml 1)yarn-site.xml: yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-原创 2017-10-27 11:03:36 · 347 阅读 · 0 评论 -
Hadoop2.x.x用IDEA直接调用
不知道描述清楚没有,就是在IEDA中直接运行main方法然后本地调用服务器上的mapreduce!!! 你需要做以下的工作: 1.在windows下解压一个hadoop2.x.x包然后把winutils.exe文件放到bin目录下 2.添加环境变量: HADOOP_HOME=E:\hadoop-2.7.4把%HADOOP_HOME%\bin;加到Path里边 3.把你服务器上的hadoo原创 2017-10-31 20:19:25 · 256 阅读 · 0 评论 -
Ubuntu16.04搭建完全分布式hadoop-2.7.4
1.hdfs-site.xml: dfs.replication 1 dfs.namenode.secondary.http-address node2:50090 dfs.namenode.secondary.https-address node2原创 2017-10-25 21:51:27 · 803 阅读 · 0 评论 -
Hadoop中mapReduce处理过程详解
原文地址:http://blog.csdn.net/jarvan_song/article/details/52289387 为了说明这个问题,我们使用wordcount的处理过程来进行演示,演示图如下所示: 为什么图片这么小,好伤心,给个连接自己下载原图:http://download.csdn.net/detail/jarvan_song/9610380转载 2017-11-01 18:53:08 · 172 阅读 · 0 评论 -
MapReduce的理解
Mapper的处理过程: 1.1. InputFormat 产生 InputSplit,并且调用RecordReader将这些逻辑单元(InputSplit)转化为map task的输入。其中InputSplit是map task处理的最小输入单元的逻辑表示。 1.2. 在客户端代码中调用Job类来设置参数,并执行在hadoop集群的上的MapReduce程序。 1.3. Map转载 2017-11-02 14:54:52 · 267 阅读 · 0 评论 -
Hbase的单机版和高可用版本
搭建高可用的Hbase其实挺简单的,他需要有但是首先,你最好得有HA的hdfs,和zookeeper1.Hbase的单机版:<configuration> <property> <name>hbase.rootdir</name> <value>file:///home/testuser/hbase</value...原创 2017-11-12 20:18:21 · 2740 阅读 · 1 评论 -
Ubuntu16.04搭建HA集群hadoop-2.7.4
搭建高可用的Hadoop集群主要是两个配置文件:1.hdfs-site.xml 2.core-site.xml,这里我有五台机器:node1:192.168.0.172,node2:192.168.0.104,node3:192.168.0.177,node4:192.168.0.158,node5:192.168.0.136其中zookeeper在五台机器上都有,node1与node2是两台na...原创 2017-10-26 13:17:02 · 805 阅读 · 0 评论 -
hadoop jar class not found
比如你写一个helloworld程序,结果hadoop jar xxx.jar放到集群上执行一哈哈,出现classnotfound了,而且志向你自己的helloworld.class,打开jar包瞅一眼,这个hellworld.class在包内,此时,兄弟,你可能忘记在你的job里设置job.setJarByClass了,yarn框架在resourcemanger上注册的时候,需要你提交你的jar...转载 2018-03-18 22:47:18 · 504 阅读 · 0 评论