hadoop
真好,好的不得了
这个作者很懒,什么都没留下…
展开
-
hive
一、hive的安装:1)直接解压,然后在conf配置文件中找到hive-default.xml.template 改名为 hive-site-xml2)修改其配置为:<configuration><property> <name>javax.jdo.option.ConnectionURL</name> <value&g...原创 2019-03-24 23:52:38 · 133 阅读 · 0 评论 -
Zookeeper的配置及安装使用
zookeeper保证高可靠、高可用的协同服务。集中式服务,用于配置信息、名称服务,分布式同步处理。组件1、clinet向server周期性发送信息,表明自己还活着,server向client回应确认信息。client没有收到响应则自动重定向消息到其他server。2、server一个zk节点,向client提供所有服务,通知client server是alive的3、ense...原创 2019-06-05 14:58:58 · 365 阅读 · 0 评论 -
基于HA 下的hdfs java客户端编写
将linux中的core-site.xml和hdfs-site.xml放到src目录下即可package com.cjp.hdf;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop....原创 2019-05-27 17:56:03 · 113 阅读 · 0 评论 -
Hadoop HA测试及动态添加节点和副本数
测试1、将活跃的hadoop01进程杀死后,发现hadoop02状态被切换到avtive状态,集群正常工作;测试2、将hadoop01断电,hadoop02向hadoop01发送ssh kill -9 namenode进程,三十秒内无ssh相应,则执行shell脚本,其中无namenode工作。三十秒后集群正常工作;测试3进程中hadoop02为active,在namenode01上上传...原创 2019-05-27 17:35:39 · 368 阅读 · 0 评论 -
HDFS冗余数据块的自动删除
HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况:某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡HDFS马上自动开始数据块的容错拷贝;当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数通过观察发现,这些多余的数据块经过很长的一段时间才 会被完全刪除掉,那么...原创 2019-05-27 17:30:28 · 215 阅读 · 0 评论 -
Hadoop HA节点超时时间设置
hadoop datanode 节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:timeout = 2 * heartbeat.recheck.interv...原创 2019-05-27 17:28:23 · 1041 阅读 · 0 评论 -
实现HadooopHA中的问题:
/19/05/27 08:08:39 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]19/05/27 08:08:39 INFO namenode.NameNode: createNameNode [-bootstrapStandby]19/05/27 08:08:42 INFO ip...原创 2019-05-27 11:42:12 · 299 阅读 · 0 评论 -
基于ZooKeeper 下的 hadoop HA实现
本文内容来源于于https://blog.csdn.net/everl_1/article/details/52303011,侵权必删非HA弊端HDFS集群的分布式存储是靠namenode节点(namenode负责响应客户端请求)来实现。在非HA集群中一旦namenode宕机,虽然元数据不会丢失,但整个集群将无法对外提供服务,导致HDFS服务的可靠性不高,这在实际应用场景中显然是不可行的。H...转载 2019-05-27 11:40:38 · 486 阅读 · 0 评论 -
HDFS中RPC机制
RPC 是远程过程调用 (Remote Procedure Call),即远程调用其他虚拟机中运行的 javaobject。 RPC 是一种客户端/服务器模式, 那么在使用时包括服务端代码和客户端代码, 还有我们调用的远程过程对象。RPC调用机制,如下图PRC cline 和 service 端必须实现同一接口!、、、、、、运行机制、***、、、、1、先获取 interface 接...原创 2019-05-11 20:23:32 · 2197 阅读 · 0 评论 -
mapreduce 运行机制
1、什么是mapreduce首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析 应用”的核心框架Mapreduce ...转载 2019-05-16 10:16:04 · 404 阅读 · 0 评论 -
hadoop mapreduce 自定义分组实现
hadoop mapreduce 自定义分组实现任务要求:对流量日志进行流量统计,将不同省份的用户统计结果输出到不同的文件;需要自定义改造两个机制:1、改造分区的逻辑,自定义一个Partitioner类2、自定义reducer task的并发任务数;具体代码java:mapreduce 以及 主类代码:package com.cjp.areaPartitioner;impor...原创 2019-05-20 18:21:14 · 538 阅读 · 0 评论 -
Hadoop mapreduce 自定义实现排序
Hadoop mapreduce 输出结果实现自定义总流量倒序排序第一遍数据清洗java代码:JavaBeanpackage com.cjp.sumflow;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writab...原创 2019-05-20 16:25:39 · 476 阅读 · 0 评论 -
hdfs java客户端编写
1、导入jar包1)common包中的主要核心包,还有lib中的所有jar包2)hdfs包中的主要核心包,还有lib中的所有jar包导入包之后开始编写java客户端查看hdfs上的所有文件,(1)查看hdfs上的所有文件 public void list() throws IOException, InterruptedException, URISyntaxException ...原创 2019-05-09 11:39:11 · 175 阅读 · 0 评论 -
Sqoop
查询Mysql中所有的数据库Sqoop list-databases --connect jdbc:mysql://master/ --username root --password bigdata原创 2019-03-27 18:07:48 · 71 阅读 · 0 评论 -
Scala 统计文本中单词的数量
var file = sc.textFile(“file:///root/abc.txt”)var a = file.flatMap(line => line.split("\t"))var b = a.map(word => (word,1))var c = b.reduceByKey(+) 相当于 var c = b.reduceByKey((a,b) => (a+b)...原创 2019-03-27 18:06:27 · 2036 阅读 · 1 评论 -
hbase
浅谈hive和hbase的区别剪切自:https://baijiahao.baidu.com/s?id=1594981025903171198&wfr=spider&for=pcHive是运行在Hadoop上的一个工具,准确地讲是一个搜索工具。当对海量数据进行搜索时,Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在...原创 2019-03-27 14:05:17 · 104 阅读 · 0 评论 -
hadoop hbase的安装及Java api的使用
运行环境 hadoop-2.7.3.tar.gz,hbase-1.2.6-bin.tar.gz,zookeeper-3.4.8.tar.gz解压安装包tar -zxvf hbase-1.2.6-bin.tar.gz -C /root/apps/解压后在/conf下配置hbase-site.xml文件、hbase-env.sh文件和regionservers文件配置hbase-env.sh...原创 2019-06-02 20:29:38 · 248 阅读 · 0 评论