Hadoop集群
文章平均质量分 58
Swt_BigData
天道酬勤。也许你付出了不一定得到回报,但不付出一定得不到回报
展开
-
虚拟机VMware中安装linux系统CentOS
下载系统镜像文件网易开源镜像站:http://mirrors.163.com/依次选择:centos/ ---> 7/(选择版本) ---> isos ---> x86_64(64位) --->出现如下界面,点击下载 安装linux系统GenOS-7 64位点击编辑虚拟机设置2:开启虚拟机进行安装等待安装进行相关配置...原创 2018-06-12 10:07:57 · 1174 阅读 · 0 评论 -
Hadoop 集群搭建伪分布式、集群/分布式
阅读本章需把笔者的如下两章做好才可进行虚拟机VMware中安装linux系统CentOSCentOS7设置静态IP以及windows下ping不通虚拟机、虚拟机ping不通外网解决方案本教程适用于在 CentOS7 系统中安装 Hadoop2,详细介绍了从系统环境配置、Java环境配置到 Hadoop 安装及 Hadoop 集群配置,包括:单机、伪分布式以及分布式,步骤详细,辅以适当说...原创 2018-06-13 11:41:29 · 555 阅读 · 0 评论 -
什么是Hadoop和大数据
Hadoop一、Hadoop 是什么?Hadoop 是 Apache 旗下的一套开源软件平台。 Hadoop 可以利用计算机集群,根据用户自定义的业务逻辑对海量数据进行分布式处理。 通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。二、Hadoop 生态圈Hadoop 生态圈是指以 Hadoop 为基础发展出来的一系列技术。这些技术都是为了解决大数据处理过...转载 2018-06-22 09:28:46 · 1552 阅读 · 0 评论 -
Hadoop中—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...报错
hadoop中执行命令出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable错误解决办法如下:原来系统预装的glibc库是2.12版本,而hadoop期望是2.14版本,所以打印警告信息。...原创 2018-07-23 10:59:13 · 898 阅读 · 0 评论 -
Hadoop启动Yarn
1,首先进入hadoop目录:cd /usr/local/hadoop2,修改配置文件 mapred-site.xml,这边需要先进行重命名: mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml 然后修改内容:gedit ./etc/hadoop/mapred-site.xml ...原创 2018-08-03 10:07:30 · 1393 阅读 · 0 评论