- 博客(17)
- 收藏
- 关注
RSS订阅
1原创 java.io.IOException: Filesystem closed
异常情况：2021-12-06 23:25:15,656 INFO [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(260)) - Cleaning up the staging area /tmp/hadoop-yarn/staging/henry/.staging/job_1638759714369_0002Exception in thread "main" java.io.IOException: Fi.
2021-12-07 19:35:15
779
原创 Xshell无法连接linux虚拟机；ping对应ip地址失败；ifconfig中缺少ens33
异常情况：[henry@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --topic whale --partitions 3 --replication-factor 2Exception in thread "main" org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server
2021-12-07 11:17:11
1190
原创 org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server
异常情况：[henry@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --topic whale --partitions 3 --replication-factor 2Exception in thread "main" org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server
2021-12-07 11:00:24
1728
原创 HBase学习总结
HBase学习总结跟学尚硅谷HBase，自我总结面试重点：【7成】调优-预分区+Rowkey设计【2成】读写原理【1成其他】开发重点：API操作第 1 章 HBase 简介HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个multi-dimensional map。HBase读比写慢稀疏性，逻辑结构构想出
2021-10-09 18:48:23
1538
原创 Hive源码学习总结
参考学习尚硅谷Hive源码篇，自我总结程序入口 — CliDriverrun方法——解析用户参数,包含"-e -f -v -database"等等executeDriver 方法——识别 hivesql语句的"> “和”;"processLine方法——解析单行 HQLprocessCmd方法——判别四种开头情况 -1-“quit"或者"exit”-2-“source”-3-"!"-4-HQLprocessLocalCmd 方法——HQL 执行的核心方法qp.run(cmd).
2021-10-02 10:22:42
178
原创 Hive学习总结-调优篇
HIVE调优仅为调优检索，只列举大致思路，不包含具体调优操作10.1-10.3 Explain-Fetch-本地模式执行计划（Explain）查看下面这条语句的执行计划explain select * from emp;Fetch 抓取: Hive 中对某些情况的查询可以不必使用MapReduce 计算例如：SELECT * FROM employees, 在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件， 然后输出查询结果到控制台。在 hive-defa
2021-09-30 10:21:12
230
原创 Hive学习总结-基础篇-Hadoop MapReduce
Hive学习总结跟学尚硅谷Hive，自我总结第 1 章 Hive 基本概念优缺点、架构（驱动器部分）、与数据库比较1） hive 简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。2） Hive 本质：将 HQL 转化成 MapReduce 程序（1）Hive 处理的数据存储在 HDFS（2）Hive 分析数据底层的实现是 MapReduce
2021-09-30 09:47:29
413
原创 Zookeeper学习笔记
Zookeeper学习笔记跟学尚硅谷Zookeeper,自我总结第 1 章 Zookeeper 入门Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。数据结构ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个 节点称做一个 ZNode。每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过 其路径唯一标识。应用场景提供的服务包括：统一命名服务、统一配置管理、统一集群管
2021-09-24 10:26:37
154
原创 Hadoop学习总结-下篇（Yarn、调优、源码）
跟学尚硅谷Hadoop，自我总结4 Yarn4.1 概述 (面试重点)Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式 的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。（1）MR 程序提交到客户端所在的节点。（2）YarnRunner 向 ResourceManager 申请一个 Application。（3）RM 将该应用程序的资源路径返回给 YarnRunner。（4）该程序将.
2021-09-24 10:06:13
145
原创 Hadoop学习总结-上篇（HDFS、MapReduce）
跟学尚硅谷Hadoop3.x，1 入门1.1 优势与组成(面试重点)HDFS-Hadoop Distributed File System，一个分布式文件系统NameNode（nn）；DataNode(dn)；Secondary NameNode(2nn)YARN-Yet Another Resource Negotiator ，另一种资源协调者，是 Hadoop 的资源管理器MapReduce -Map 阶段并行处理输入数据; Reduce 阶段对 ..
2021-09-23 11:05:32
328
原创 Hadoop排查-java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
错误信息Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.Na.
2021-09-23 10:09:10
1670
原创 `MySQL`总结+34道作业题
跟学老杜mysql 一周目select 语句格式 select 执行顺序-----------------------------------------------------------------------------------------------------------------------------------------select ...
2021-09-15 22:05:00
81
原创 Linux 基础-一周目总结
Linux 基础-一周目总结Linux中一切皆为文件以下命令中：henry用来充当用户，lakers充当组，ok.txt充当文件Linux学习进度：第17章及以后，从大数据定制篇到高级篇还未学习1. 目录结构-部分/bin #binary 最经常使用的命令/sbin #super user/home #存放普通用户的主目录/root #root用户主目录/lib #系统开机所需要的最基本的动态连接共享库/etc #系统管理所需要的配置文件和子目录/usr #存放用户的应
2021-09-15 20:18:43
86
原创 java.lang.NumberFormatException: null
异常信息：java.lang.NumberFormatException: nulljava.lang.NumberFormatException: null at java.lang.Integer.parseInt(Integer.java:542) at java.lang.Integer.parseInt(Integer.java:615) at com.henry.utils.WebUtils.praseInt(WebUtils.java:37) at com.henry.we..
2021-09-09 10:58:10
743
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人