Hadoop大数据
文章平均质量分 91
本栏主要涉及基于Hadoop分布式集群的大数据技术,包括Hadoop的安装配置、Mapreuce编程、Hive、HBase、Flume、Kafka
酥茶·
这个作者很懒,什么都没留下…
展开
-
Hadoop基础(五) :非关系型数据库HBase理论基础
1.什么是HBase?HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库(因为是建立在HDFS之上),利用HBase技术可在廉价PC上搭建起大规模非结构化存储集群。HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似,HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapReduc...原创 2020-03-14 14:44:23 · 1256 阅读 · 0 评论 -
Hadoop基础(三) :Hive数据库
1.什么是Hive? Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。其本质上是将SQL转换为MapReduce程序。主要用来做离线数据分析,比直接用MapReduce开发效率更高。2.Hive架构**UI:**客户端。COMPILER: Hive编译器,复制将类SQL语句编译成MapReduce程序...原创 2020-03-13 16:41:56 · 734 阅读 · 0 评论 -
Hadoop基础(三) : Hadoop核心基础
1.什么是HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。它的目的是从单一的服务器扩展到成千上万的机器,将集群部署在多台机器,每个机器提供本地计算和存储。Hadoop框架最核心的设计是HDFS和MapReduce。2.Hadoop的特点分布式:Hadoop是一个能...原创 2020-03-07 11:38:50 · 699 阅读 · 0 评论 -
Hadoop基础(二) :Hadoop集群配置
1.安装JDK环境运行java -version查看节点中是否安装有jdk若已经装有jdk,则需要在添加环境变量是填入对应的版本信息及安装路径。若从未安装过jdk,则可到https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html下载对应版本的jdk,并上传到Linux文件系统中, 执行命...原创 2020-03-05 11:56:10 · 338 阅读 · 0 评论 -
Hadoop基础(一) :VMware虚拟机网络配置
1. 查看虚拟机网络配置详情打开虚拟机,在命令行终端输入ifconfig –a看相关的一些配置如下注意标记中的eht0与HWaddr,它意味着该机器使用的网卡设备名称为eth0与为网卡MAC地址,而这个设备名称将会用于配置文件的参数当中。2.配置虚拟网络编辑器点击编辑,打开虚拟网络设置,选定VMware8,可以在标记的地方看见,模拟网络的模式已经是NAT模式了,如果不是需要设定为NAT模...原创 2020-02-27 11:11:28 · 1921 阅读 · 0 评论