大数据
zgustb
这个作者很懒,什么都没留下…
展开
-
Java编写MapReduce实例
一.准备工作参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven二.测试代码2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...原创 2020-01-02 17:17:26 · 674 阅读 · 0 评论 -
Java操作HDFS的文件和文件夹实例
一.准备工作参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven二.测试代码2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...原创 2019-12-30 18:12:35 · 259 阅读 · 0 评论 -
Hadoop简介和架构分析
一.Hadoop简介hadoop是一个具有分布式存储和分布式计算能力的分布式软件系统hadoop基本特点可靠性(数据冗余) 成本低(把数据存储在普通的计算机上) 效率高(把计算分发到多个节点) 可扩容(根据需求, 动态的调整节点集群的大小)解决的问题海量数据可靠存储 海量数据分析与计算二.Hadoop架构分析hadoop主要有三个模块:HDFS(Hadoop分布式文...原创 2019-12-26 22:33:23 · 615 阅读 · 0 评论 -
Hadoop的生态系统介绍
一. Hadoop生态系统架构二. 生态系统介绍2.1 HDFS(分布式文件存储系统)Hadoop分布式文件系统是Hadoop项目的两大核心之一,是针对谷歌文件系统(GoogleFileSystem,GFS)的开源实现。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问...原创 2019-12-25 21:20:27 · 4373 阅读 · 0 评论 -
CentOS下安装MongoDB并与SpringBoot集成
一. 下载和安装MongoDB1.1 下载MongoDBhttps://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.11.tgz 下载然后解压1.2 添加配置文件在MongoDB的bin目录添加mongodb.confport=27017 #端口dbpath=/root/mongodb/db #数据库存文件存放目录l...原创 2019-12-25 11:27:49 · 237 阅读 · 0 评论 -
CentOS下Hadoop3.2的伪分布式和集群安装
一.安装需求jdk-13.0.1_linux-x64_bin.tar.gzhadoop-3.2.1.tar.gz二.环境准备准备三台CentOS虚拟机,一台Master,两台Slave。192.168.108.130 hadoop-master 192.168.108.131 hadoop-slave1 192.168.108.132 hadoop-slave2备注:如果是...原创 2019-12-25 11:14:02 · 456 阅读 · 1 评论