Hadoop
文章平均质量分 80
一花一世界~
记录学习、使用过程和经验,希望能对您有所帮助!
展开
-
记一次 Centos7.x 编译打包 Oozie 5.2.0
Centos7.x 安装OpenJDK1.8https://blog.csdn.net/llwy1428/article/details/111144659Centos配置Maven环境https://blog.csdn.net/llwy1428/article/details/86438839[root@master ~]# wget -P /usr/local/ http://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-原创 2021-01-26 17:46:27 · 550 阅读 · 0 评论 -
记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群 spark-shell 运行 WordCount
[root@master ~]# vim /tmp/HelloSpark.txt[root@master ~]# hdfs dfs -mkdir -p /user/spark/in[root@master ~]# hdfs dfs -put /tmp/HelloSpark.txt /user/spark/in[root@master ~]# /usr/bigdata/spark-3.0.0-bin-hadoop3.2/bin/spark-shell[root@master ~]# touch /tm原创 2021-01-12 00:15:24 · 826 阅读 · 0 评论 -
记一次 Centos7.x Hadoop3.x集群安装部署 Pig 0.17.0
Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。Pig包括两部分:用于描述数据流的语言,称为Pig Latin。用于执行Pig Latin程序的执行环境,当前有两个环境:单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。 Pig内部,每个操作或变换是对输入进行数据处理,然后产生输出结果原创 2021-01-10 13:21:53 · 785 阅读 · 0 评论 -
记一次 基于 Hadpoop 3.3.0 完全分布式集群 Spark 3.0.0 集成 Hive 3.1.2
[root@master ~]# cp /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf//usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf[root@master conf]# cp spark-defaults.conf.template spark.conf[root@slave1 ~]# hdfs dfs -mkd原创 2021-01-14 00:46:34 · 1435 阅读 · 1 评论 -
记一次 Hadoop 3.x 集群 YARN 启动 timelineserver(ApplicationHistoryServer) 服务
一、Hadoop 集群背景1、安装OpenJDK1.8 并查看安装位置https://blog.csdn.net/llwy1428/article/details/1111446592、Centos7.x 安装部署 Zookeeper 3.6.2 集群https://blog.csdn.net/llwy1428/article/details/1116015673、Hadoop 3.x 部署 YARN 集群及基本操作https://blog.csdn.net/llwy1428/article/d原创 2021-01-10 01:45:16 · 3364 阅读 · 0 评论 -
记一次 Hadoop 3.3.0 集群 Hive 3.1.2 启动 hiveserver2 连接 jdbc:hive2://localhost:10000
[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/core-site.xml <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <propert原创 2021-01-07 20:05:31 · 840 阅读 · 0 评论 -
记一次 Hadoop、Hbase集群中Flume 启动报错 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
报错内容错误:找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty如下图:集群背景1、Hadoop 3.3.0 HDFS基础环境(非高可用集群)https://blog.csdn.net/llwy1428/article/details/1111445242、安装部署 Zookeeper 3.6.2 集群https://blog.csdn.net/llwy1428/article/details/1116015673、基于 Hadoop3.3.原创 2021-01-04 11:35:09 · 1517 阅读 · 1 评论 -
记一次 Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
报错内容ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)报错如下图集群背景(基于 Hadoop 3.3.0 集群安装部署 Flume 1.9.0)1、H原创 2021-01-04 11:12:03 · 5198 阅读 · 1 评论 -
记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
报错内容Couldn’t preview the file. NetworkError: Failed to execute ‘send’ on ‘XMLHttpRequest’: Failed to load ‘http://slave1:9864/webhdfs/v1/HelloHadoop.txt?op=OPEN&namenoderpcaddress=master:9820&offset=0&_=1609724219001’.Hadoop 集群背景https://blo原创 2021-01-04 09:52:43 · 12185 阅读 · 0 评论 -
记一次 Centos7.x Hadoop3.x 集群安装部署 Flume v1.9.0
基本信息官网http://flume.apache.org/(1):Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。(2):Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中(3):一般的采集需求,通过对flume的简单配置即可实现(4):Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景Flume是一个分布式、可靠、高可用原创 2021-01-26 00:31:11 · 879 阅读 · 0 评论 -
记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
http://spark.apache.org/http://spark.apache.org/news/spark-3-0-0-released.htmlhttps://archive.apache.org/dist/spark/https://archive.apache.org/dist/spark/spark-3.0.0/[root@master ~]# wget -P /usr/bigdata/ https://archive.apache.org/dist/spark/spark-3原创 2021-01-11 23:32:58 · 3226 阅读 · 0 评论 -
记一次 Hadoop Hive 集群 新建 Hive 表
一hive (default)> show databases;OKdatabase_namedb_testdefaultTime taken: 0.667 seconds, Fetched: 2 row(s)hive (default)> use db_test;OKTime taken: 0.037 secondshive (db_test)> create table students(id int,name string,age int);OKTime原创 2020-12-23 12:16:14 · 670 阅读 · 0 评论 -
记一次 Centos7.x 搭建部署 Hive 3.1.2 分布式集群
操作目的基础集群安装基于 Hadoop 3.x 集群搭建部署 HiveHive 分布式集群部署[root@slave1 ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave2:/usr/bigdata/[root@slave1 ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave3:/usr/bigdata/[root@slave1 ~]# cat /etc/profilee原创 2020-12-23 09:50:10 · 1398 阅读 · 0 评论 -
记一次 Centos7.x Hadoop 3.x 部署 YARN 集群及基本操作
操作目的:1、如何搭建 YARN 分布式集群2、使用 YARN 集群提交一些简单的任务学习内容:提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/yarn-site.xml<configuration> <property>原创 2020-12-21 09:39:43 · 1412 阅读 · 0 评论 -
记一次 Centos7.x Hadoop 3.x HDFS 读取文件
集群搭建集群搭建过程在客户端节点上 上传实例文件提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:提示:这里可以添加计划学习的时间例如:1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出:提示:这里统计学习计划的总量例如:1、 技术笔记 2 遍2、CSDN 技术博客 3 篇3、 学习的 vlog 视频 1原创 2020-12-20 22:17:36 · 416 阅读 · 0 评论 -
记一次 Centos7.x 安装部署 Hadoop 3.x HDFS基础环境(非高可用集群)
一、基础信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程https://www.yiibai.com/hadoop/W3Cschool教程https://www.w3cschool.cn/hadoop/?二、环境、工具说明1...原创 2020-12-17 23:50:24 · 3348 阅读 · 0 评论 -
记一次 Centos7.4 搭建 Hadoop 3.2.0(HA) YARN(HA)集群
一、基本信息官网 http://hadoop.apache.org/快速入门 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html在线文档 http://tool.oschina.net/apidocs/apidoc?api=hadoop易百教程 https://www.yiibai.com/hadoop/W3C...原创 2019-07-09 09:04:21 · 1632 阅读 · 0 评论 -
Hadoop集群中添加硬盘
本文转发自:https://www.cnblogs.com/whtydn/p/4331733.htmlHadoop工作节点扩展硬盘空间接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈。这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下,分享给大家。1. 首先,介绍一下用到的基本命...转载 2019-01-03 17:04:03 · 719 阅读 · 0 评论