![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 78
王大伟啊
这个作者很懒,什么都没留下…
展开
-
Hadoop+Hive部署安装配置
最近结合具体的项目,搭建了Hadoop+Hive,在运行Hive之前要首先搭建好Hadoop,关于Hadoop的搭建有三种模式,在以下的介绍中,我主要的采用的是Hadoop的伪分布安装模式。写下来给各位分享。 准备工作: 以上所有的下载的安装包和解压后文件均在/usr/local/hadoop目录1、分别ssh到每台服务器上,在root用户下修改hostname su root vim原创 2016-07-14 15:54:35 · 41317 阅读 · 3 评论 -
Hadoop基本介绍
1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。(1)Pig是一个基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据并行计转载 2016-07-14 16:56:53 · 32029 阅读 · 2 评论 -
Hive(一)数据类型、文件格式和数据定义
1、基本数据类型 Hive支持多种不同长度的整型和浮点型数据类型,支持布尔类型,也支持无长度限制的字符串类型,后续的Hive增加了时间戳数据类型和二进制数组数据类型。 和其他的SQL语言一样,这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现,因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如,STRING类型实现的是Java中的String,FLOAT原创 2016-07-15 21:00:41 · 6555 阅读 · 0 评论 -
kafka本地单机安装部署
kafka是一种高吞吐量的分布式发布订阅消息系统,这几天要上kafka,只在其中的一个节点使用,结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流。 准备工作: 上述的文件除了jdk以外均放在/usr/local/kafka目录下。1、安装jdk,kafka的使用要用到jdk 首先检查有无jdk:java -version cd /usr/local/hadoop原创 2016-07-19 11:27:54 · 20428 阅读 · 2 评论 -
HDFS的原理漫画详解
1、3个部分,客户端client,nameNode(存放元数据及其他信息的节点),dataNode(实际存放数据的节点)2、如何写数据过程3、读取数据的过程4、容错:故障类型及其检测方法5、读写容错6、容错第三部分:dataNode失效7、备份规则8、结语转载 2016-07-20 10:48:43 · 921 阅读 · 0 评论