![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
关于Hadoop的学习笔记
文章平均质量分 74
学习BigData
这个作者很懒,什么都没留下…
展开
-
Hive查询转换与Hadoop生态系统引擎与优势
Hadoop生态系统中包含了多个关键组件,如Hive、HDFS、MapReduce等,它们相互配合实现了大规模数据的存储、查询和处理。Hive是建立在Hadoop之上的数据仓库工具,利用类SQL语言(HiveQL)对存储在HDFS中的数据进行查询和分析;而HDFS是Hadoop的分布式文件系统,提供高容错性的数据存储解决方案。Hive利用HDFS作为底层存储系统,通过HiveQL语言来查询和分析HDFS中的数据。Hive将查询转换为MapReduce任务的过程包括解析查询语句、优化执行计划、生成MapRed原创 2024-03-30 00:19:17 · 709 阅读 · 0 评论 -
8.Hadoop的HA(高可用)模式集群搭建
详细说明Hadoop的HA模式搭建的过程,使用hadoop-3.1.3,jdk1.8.0_162原创 2022-10-17 10:36:48 · 1821 阅读 · 0 评论 -
Hadoop一键启动脚本编写
Hadoop集群的单独启动命令和一键启动脚本编写原创 2022-10-15 18:16:01 · 1830 阅读 · 2 评论 -
10.HBase的HA(高可用的)完全分布式配置
HBase的HA完全分布式搭建原创 2022-10-14 21:01:12 · 1160 阅读 · 1 评论 -
HBase使用时出现 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
hbase使用时出现的错误原创 2022-10-14 16:53:45 · 1447 阅读 · 0 评论 -
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
对此问题在配置hive时也有出现,问题主要是虚拟机内HBase,Spark,Hadoop三者的guava版本不一致导致的。Hadoop的guava.jar存放在/share/common/lib目录下,HBase的guava.jar存放在lib文件夹下。在我的虚拟机中Hadoop中的guava版本最高,为guava-27.0-jre.jar版本,所以我们将其复制到对应的HBase和Spark目录。(rm -rf 为删除命令,将guava的名字改为对应的版本号)查看HBase中的guava版本。原创 2022-10-14 15:00:37 · 6683 阅读 · 3 评论 -
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
解决linux虚拟机复制后转移物理位置后产生的网卡问题原创 2022-10-09 18:46:53 · 2269 阅读 · 4 评论 -
7.Linux虚拟机下ZooKeeper的全分布式安装和常见问题
hadoop-3.1.3jdk-8u162-linux-x64hbase-2.2.2-binzookeeper-3.4.6本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)使用hbase启动顺序:zookeeper->hadoop->hbase关闭:hbase->hadoop->zookeeper命令(写过脚本的):xzk-start.shhadoop.sh starts原创 2022-09-08 14:11:06 · 1766 阅读 · 0 评论 -
9.Linux虚拟机下Hive的安装配置
本文详细写了Hive和Mysql的安装,并列出了在Hive配置中可能出现的一些错误原创 2022-08-23 11:51:05 · 4038 阅读 · 0 评论 -
6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置
Hadoop集群的搭建和简单的案例原创 2022-07-07 00:34:19 · 2305 阅读 · 2 评论 -
5.Linux虚拟机下的Hadoop集群搭建之安装JDK和Hadoop
安装JDK和Hadoop为集群部署作准备。原创 2022-07-06 22:35:43 · 1397 阅读 · 0 评论 -
4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置
合理使用工具可以大大提高我们的效率,配置SSH免密登录是Hadoop集群搭建的基础。原创 2022-07-06 21:31:57 · 2997 阅读 · 0 评论 -
3.Linux虚拟机下的Hadoop集群搭建之克隆虚拟机及其配置
建立三台虚拟机为Hadoop的配置作铺垫原创 2022-07-06 00:53:34 · 1563 阅读 · 0 评论 -
2.Linux虚拟机下的Hadoop集群搭建之网络配置
linux系统的网络配置原创 2022-07-05 23:54:03 · 1504 阅读 · 2 评论 -
1.Linux虚拟机下的Hadoop集群搭建之创建虚拟机
初步讲解linux下的虚拟机Hadoop集群搭建,适合初学者学习。原创 2022-07-05 22:35:47 · 328 阅读 · 0 评论