![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 83
问题不太大
这个作者很懒,什么都没留下…
展开
-
线上flink任务重启报错(Hadoop问题)java.lang.NumberFormatException: For input string: “30s“
线上Flink任务重启时,提交任务失败,具体报错如下:2021-12-31 18:09:19java.lang.NumberFormatException: For input string: "30s" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Long.parseLong(Long.java:589) at java.lang.Long.parseL原创 2022-01-04 14:30:31 · 3602 阅读 · 1 评论 -
flink1.12 提交Job 时 Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.commons.cli.Opt
flink1.12 提交Job 时 Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder;完整报错信息:Exception in thread “main” java.lang.NoSuchMethodError: org.apache.commons.c原创 2021-10-14 17:35:01 · 36517 阅读 · 0 评论 -
使用MapReduce实现定图的最小生成树
使用MapReduce实现定图的最小生成树如何实现计算最小生成树什么是最小生成树最小生成树的性质使用`Kruskal`算法实现最小生成树Kruskal算法简述实现逻辑MapReduce实现`Kruskal`算法如何实现计算最小生成树什么是最小生成树在一给定的无向图G = (V, E) 中,(u, v) 代表连接顶点 u 与顶点 v 的边(即),而 w(u, v) 代表此边的权重,若存在 T 为 E 的子集(即)且为无循环图,使得w(T)=∑(u,v)∈tw(u,v)w(T) = \sum_{(u,原创 2020-09-07 08:46:59 · 47590 阅读 · 4 评论 -
Hbase单节点伪分布式搭建
Hbase伪分布式搭建引言Hbase伪分布式搭建是指在一台机器上同时运行 Hmaster、 Hregionserver,该文章基于Hadoop伪分布式搭建Hadoop伪分布式搭建传送门搭建过程Zookeeper安装将Zookeeper压缩包上传至服务器解压缩Zookeeper二进制文件[root@CentOS ~]# tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/install/c进入Zookeeper根目录[root@CentOS ~]#原创 2020-06-27 16:19:07 · 29303 阅读 · 0 评论 -
Hive安装(超详细)
Hive安装前提环境Hive安装解压文件修改配置文件HDFS创建Hive工作空间配置Hive环境变量Hive启动替换Hive原生MetaStore前提环境Linux基础设置以及Hadoop环境安装请看上一篇文章Hive安装解压文件[root@localhost ~]# tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/install/修改配置文件[root@localhost apache-hive-1.2.2-bin]# cd /opt/in原创 2020-06-24 18:03:00 · 33367 阅读 · 4 评论 -
Hadoop 伪分布式搭建(超详细)
Hadoop伪分布式搭建虚拟机准备阶段操作安全设置防火墙相关指令关闭关闭selinuxIP设置查看机器IP修改主机名修改IP及主机名映射SSH免密登陆Hadoop伪分布式搭建JDK配置解压配置环境变量Hadoop配置解压文件修改配置文件配置Hadoop环境变量验证环境变量是否配置成功格式化NameNodeHadoop起停命令查看WebUI界面虚拟机准备阶段操作本文是基于CentOS 7 系统搭建相关资源下载链接:https://pan.baidu.com/s/1FW228OfyURxEgnXW0qq原创 2020-06-24 17:44:34 · 43802 阅读 · 13 评论 -
Spark入门(五)——Spark Streaming
Spark Streaming学习 Spark流计算原创 2020-05-27 12:53:17 · 20276 阅读 · 3 评论 -
Spark入门(四)——Spark RDD算子使用方法
Spark RDD算子使用方法 spark算子语法原创 2020-05-26 09:58:15 · 18921 阅读 · 0 评论 -
Apache Flume
Apache Flume介绍架构Flume环境搭建配置文件结构快速入门启动Avro SourceMaven依赖代码Avro Source | memory channel| Kafka SinkFlume和log4j整合依赖log4j.properties测试代码Spring Boot logback整合 FlumeSpringBoot项目组引入logback.xml集成 Flume +log...原创 2019-11-07 11:13:20 · 18297 阅读 · 0 评论 -
Hadoop生态圈-Hive
HiveHive引言Hive的运行原理Hive环境搭建Hive基本操作MetaStore的替换问题Hive引言什么是Hive hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目。 hive.apache.org hive是一个基于大数据技术的数据仓库技术 DataWareHouse (数仓) 数据库 DataBas...原创 2019-10-29 22:08:07 · 18895 阅读 · 0 评论 -
Hbase伪分布式及高可用集群搭建
HBaseHbase的引言什么是HBaseNoSQL特点NoSQL分类Hbase存储的逻辑结构Hbase伪分布式环境的搭建Hbase的shell命令HBase 集群搭建1.时间同步集群2.Hadoop集群搭建3. Zookeeper集群4. HBase集群HBase JAVA APIMaven依赖方法HBase中的过滤器HBase中列簇相关的属性HBase 体系结构1.RegionServer2....原创 2019-10-29 21:32:12 · 18447 阅读 · 0 评论 -
Hadoop HA 高可用集群搭建
HDFS分布式集群搭建【高级版】HDFS集群要保证NameNode的高可用性,为了让NameNode更安全,这里选择用ZooKeeper集群来保证环境及准备zookeeper集群的搭建HA-HDFS分布式集群搭建HDFS集群要保证NameNode的高可用性,为了让NameNode更安全,这里选择用ZooKeeper集群来保证环境及准备同上篇普通版zookeeper集群的搭建下载并解压z...原创 2019-06-05 21:46:10 · 14939 阅读 · 0 评论 -
大数据学习(2)-本地上传到HDFS去重
本地上传文件到HDFS利用Redis去重前言:HDFS存储数据块的同时还会存储数据的MD5加密校验和用来判断该数据是否完整下面代码就是模仿这个特性做了一个小功能进行上传时内容去重技术选型springbootRedisHadoopJSPMavenpom.xml<?xml version="1.0" encoding="UTF-8"?><project x...原创 2019-06-05 21:01:28 · 14863 阅读 · 0 评论 -
大数据学习(1)-Hadoop HDFS基础分布式集群搭建及使用
HDFS分布式集群搭建【基础版】环境:以CentOS6.5为例(3个节点)准备配置文件修改NameNode格式化启动|停止hadoop【在NameNode节点运行】shell访问HDFS浏览器访问HDFC环境:以CentOS6.5为例(3个节点)防火墙关闭并关闭自启selinux设置关闭设置主机名设置主机映射 jdk1.7ssh免密登陆hadoop-2.5.2准备解压hado...原创 2019-06-05 20:36:33 · 14891 阅读 · 1 评论