![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大数据知识
烟火星辰madi
这个作者很懒,什么都没留下…
展开
-
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.
1、启动hive的过程中,[hadoop@slaver1 soft]$ hive --service metastore &错误如下所示:原因:之前启动hive失败了,但是进程以及启动起来,使用jps命令查看,然后使用kill -9 进程号,杀死重启即可。[hadoop@slaver1 soft]$ org.apache.thrift.transport.TTransportExce...原创 2019-10-07 08:47:20 · 828 阅读 · 1 评论 -
大数据之Hive理解
**一、Hive介绍Hive官网:https://hive.apache.org/1.1 hive简介Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作...原创 2019-09-16 15:17:08 · 404 阅读 · 0 评论 -
大数据之YARN架构设计详解
一、YARN基本服务组件YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。YARN总体上仍...原创 2019-09-14 10:54:15 · 145 阅读 · 0 评论 -
大数据之分布式计算框架MapReduce
MapReduce概述MapReduce源自Google的MapReduce论文,论文发表于2004年12月。Hadoop MapReduce可以说是Google MapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理,并且MapReduce也易于开发,因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高,可以运行在廉价的机器上。Ma...原创 2019-09-13 22:01:10 · 496 阅读 · 0 评论 -
大数据之MapReduce解析
1.什么是Map/Reduce,看下面的各种解释:(1)MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapreduce,缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。(2)Mapreduce是一种编程模型,是一种编程方法,抽象理论。(3)下面是一个关于一个程...原创 2019-09-13 16:37:35 · 622 阅读 · 0 评论 -
大数据之hadoop - mapreduce
一、mapreduce入门1、什么是mapreduce首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析 应用”的核...原创 2019-09-12 22:18:10 · 178 阅读 · 0 评论 -
Hadoop2.2异常No FileSystem for scheme: hdfs
把eclipse中的hadoop项目,换了一个工作空间,再次启动任务时,发现报如下异常:java">java.io.IOException: No FileSystem for scheme: hdfsat org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)at org.apache.hado...原创 2019-09-12 19:49:24 · 635 阅读 · 0 评论 -
大数据之Hadoop HDFS-HA架构
1.1 HDFS HA背景1.12 Hadoop 2.0产生背景Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题NameNode单点故障,难以应用于在线场景 解决方法 HANameNode压力过大,且内存受限,影扩展性 解决方法联邦 FMapReduce存在的问题响系统JobTracker访问压力大,影响系统扩展性难以支持除MapRe...原创 2019-09-11 22:00:11 · 215 阅读 · 0 评论 -
Hadoop HDFS深入解析
文件系统早在 1965 年开发的 Multies ( UNIX 的前身)就详细地设计了文件系统,这使得文件系统成为多用户单节点操作系统的重要组成部分。最初的文件系统用于解决信.息的长期存储,并达到如下要求:1.能够存储大量的信息。2.使用信息的应用终止时,信息必须保存下来。3.多个应用可以并发地存储信息。解决这些问题的通常方法,是把信息以一种单元,即"文件" ( file)的形式存储在磁...原创 2019-09-11 09:50:45 · 715 阅读 · 0 评论 -
org.apache.flink.util.ConfigurationException: Config parameter 'Key: 'jobmanager.rpc.address' , defa
报错情况如下org.apache.flink.util.ConfigurationException: Config parameter 'Key: 'jobmanager.rpc.address' , default: null (deprecated keys: [])' is missing (hostname/address of JobManager to connect to)...原创 2019-10-08 21:53:20 · 937 阅读 · 0 评论 -
Caused by: java.io.IOException: Can't get master address from ZooKeeper; znode data == null
启动hbase查看日志报错如下hbase Master报错503java.io.IOException: Can't get master address from ZooKeeper; znode data == null at org.apache.hadoop.hbase.zookeeper.MasterAddressTracker.getMasterAddress(MasterAdd...原创 2019-10-14 07:25:29 · 2503 阅读 · 2 评论 -
大数据之Hbase浅析
1.HBase是什么?Hbase-Hadoop Database是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库 。可伸缩:可根据负载增减节点。面向列:相对于行式数据库,空间利用率高。利用HadoopHDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为分布式协同服务。主要用来存储非结构化和半结构化数据。2…...原创 2019-09-17 21:38:26 · 281 阅读 · 0 评论