hadoop
盲流子开发
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式搭建
1. 环境准备 准备三台centos7虚拟机,设置静态IP(192.168.1.103,192.168.1.104,192.168.1.105) 主机名称分别用hadoop3,hadoop4,hadoop5命名 三台机器安装好java环境,并准备好上一篇博客中编译好的hadoop压缩包 2. 集群规划部署 HDFS有三个组件: NameNode(很重要,占资源)部署在一个节点上(企业级不会将其他模块与NameNode 部署在一起),用于查找数据块 DataNode为实际存放数据的模块,原创 2020-06-03 11:13:18 · 266 阅读 · 0 评论 -
Hadoop单机版搭建
1. Jar包准备 在上一篇博客中已经准备好linux环境,看本篇博客之前请看楼主上一篇大数据简介博客,准备系统环境 下载以下jar包,传入linux服务器的opt目录下 hadoop-2.7.2-src.tar.gz ,apache-maven-3.6.0-bin.tar.gz,apache-ant-1.9.15-bin.tar.gz,protobuf-2.5.0.tar.gz 1.1 安装maven # 1. 解压maven包 tar -zxvf apache-maven-3.6.0-bin.tar.g原创 2020-05-20 16:24:08 · 715 阅读 · 0 评论 -
大数据简介
1. 大数据简介 大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 目前主要解决海量数据的存储和海量数据的分析计算问题。 按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T 1.2 大数原创 2020-05-18 17:53:15 · 1808 阅读 · 0 评论