Hadoop
exklin
hello
展开
-
Mac 环境 Hadoop 提交 job 报错 /bin/bash: /bin/java: No such file or directory
Mac 环境 Hadoop 提交 job 报错 /bin/bash: /bin/java: No such file or directory ➜ hadoop-2.9.2 bin/hadoop jar /Users/leone/Documents/hadoop-wc.jar com.leone.bigdata.hadoop.mr.wc.MrHelloWord /data/words.log /output /Users/leone/Documents/hadoop-wc.jar 20/06/20 20:原创 2020-06-20 21:43:29 · 878 阅读 · 0 评论 -
hadoop 核心概念及入门
Hadoop Hadoop背景 什么是HADOOP HADOOP是apache旗下的一套开源软件平台HADOOP提供利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理,HADOOP的核心组件有:HDFS(分布式文件系统)、YARN(运算资源调度系统)、MAPREDUCE(分布式运算编程框架),广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈 HADOOP产生背...原创 2019-01-11 09:32:19 · 2076 阅读 · 0 评论 -
Hadoop HA集群搭建
Hadoop HA 什么是 HA HA是High Available缩写,是双机集群系统简称,指高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务...原创 2019-03-11 12:10:16 · 2238 阅读 · 0 评论 -
CentOS下编译hadoop-2.9.2
编译 Hadoop 系统环境 系统: CentOS-7.3_x64 protobuf: protobuf-2.5.0 maven: maven-3.6.0 hadoop: hadoop-2.9.2 java: jdk1.8.0_131 findbugs: findbugs-1.3.9 准备工作 # 安装编译需要的依赖库 yum install -y lzo-devel zlib-devel au...原创 2019-03-21 12:25:04 · 2573 阅读 · 0 评论 -
Windows下编译 Hadoop
Windows下编译 Hadoop-2.9.2 系统环境 系统: Windows 10 10.0_x64 maven: Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer: portoc-2.5.0 zlib: 1.2.3-lib OpenSSL: 1_0_2r cmake: 3.14.3-win64-x64 Cygwin: 2.897_x86...原创 2019-05-08 17:49:19 · 2108 阅读 · 0 评论 -
ubuntu下编译 Hadoop
Ubuntu 下编译 Hadoop-2.9.2 系统环境 系统: ubuntu-18.10-desktop-amd64 maven: Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer: portoc-2.5.0 OpenSSL: OpenSSL 1.1.1 cmake: cmake3.12.1 hadoop: hadoop-2.9.2 安装...原创 2019-05-13 21:07:29 · 1789 阅读 · 0 评论 -
Mac 下编译 Hadoop
Mac 下编译 Hadoop-2.9.2 系统环境 系统: Mac OS_10.14.4 maven: Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer: portoc-2.5.0 zlib: 1.2.3-lib OpenSSL: 1_0_2r cmale: 3.14.3-win64-x64 Cygwin: 2.897_x86_64 hado...原创 2019-05-11 12:28:30 · 2164 阅读 · 2 评论