大数据开发
文章平均质量分 91
LanceHang
这个作者很懒,什么都没留下…
展开
-
大数据开发(2)——hadoop环境搭建
一、Hadoop的简单介绍 狭义上来说,hadoop就是单独指代hadoop这个软件, HDFS :分布式文件系统 MapReduce : 分布式计算系统 Yarn:分布式样集群资源管理 广义上来说,hadoop指代大数据的一个生态圈,包括很多其他的软件 二、Hadoop重新编译 由于appache给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库本地库可以用来做压缩,以及支持C程序等等的时候就会出问题,需要对Hadoop源码包进行重新编译. 这里因为我使用的是已经编译过的,因原创 2021-09-19 22:17:13 · 312 阅读 · 0 评论 -
大数据开发(1)——前期集群环境搭建
最近在学习大数据开发,因此想记录一下从零开始的,完整的一套大数据开发流程。 这里我用的是VMware12,centos7。 1.准备 在开始前,我们先检查环境,以下五项服务处于启动状态。 查看VMnet1和VMnet8网卡是否启用 在我们配置VMnet8网卡时,一般默认的是自动获得IP地址,但这样下次登录时他可能会改变,我这里为了方便选择自己手动配置。参数如下。 2.创建虚拟机 接着创建三台虚拟机,分别命名为hadoop300,301,302。(虚拟机的创建相信都很熟悉了,我这里是创建hadoop300原创 2021-09-19 20:26:40 · 133 阅读 · 0 评论