- 博客(7)
- 收藏
- 关注
RSS订阅原创 HBase API编程的环境配置
初学使用HBase客户端进行数据操作，过于麻烦且语法复杂，容易出错，故主流上使用Java操作HBase进行数据操作，只需使用Maven将HBase相关依赖包下载到IDEA上即可进行HBase API的使用。
2023-10-18 20:21:54
106
原创 自用-小组作业——Hive-MySQL数据库搭建及SQL语句实例练习
Hive元数据的集中存放地为metastore，而metastore默认使用内嵌的derby数据库作为存储引擎，会默认将Hive元数据存放在Derby数据库中，只能允许一个会话连接，只适合简单的测试。这在实际生产环境中的对于多用户访问存在短板，为了支持多用户会话，则需要一个独立的元数据库--使用Mysql数据库作为外置存储引擎，会完美解决这个问题。应该明白的是，hive只是hadoop的一个插件工具--仓库工具。
2023-10-13 21:41:22
74
原创 虚拟机docker容器下载及搭建HBase环境
gcc的全称是GNU Compiler Collection，它是一个能够编译多种语言的编译器。最开始作为C语言的编译器（GNU C Compiler），现支持C++、java等多种语言和多种硬件平台。开源的应用容器引擎，可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，实现虚拟化。是对资源库进行增删改查，系统默认没有安装这个命令，这个命令在um-utils包里。命令是将软件包信息提前在本地索引缓存，用来提高搜索安装软件的速度。
2023-10-11 19:51:37
357
原创 小组作业——Zooeeper集群搭建
谈到分布式集群，就离不开节点管理，而ZooKeeper主要服务于分布式系统可以用ZooKeeper来做节点的统一配置管理、统一命名服务、分布式锁、集群管理，在其中承担协调管理者的身份。现在越来越多的分布式系统都将ZooKeeper作为核心组件使用，比如Hadoop、HBase、Kafka等。注意虚拟机的磁盘情况，以防范磁盘爆满的情况。硬盘容量太小会造成虚拟机打不开的情况，比如稍微执行一些操作，硬盘可用度都会爆满，操作hbase时尤为严重，所以如果太小建议先扩容。
2023-10-07 13:34:10
42
原创 HBase高可用部署
HBase的高可用配置其实就是HMaster的高可用。要搭建HBase的高可用，只需要再选择一个节点作为 HMaster，在HBase的conf目录下创建文件backup-masters，然后再分发backup-masters添加备份Master的记录。启动hbase查看backup-masters状态。
2023-09-28 09:09:29
105
原创 Mapreduce小组作业——用户点击次数排序
启动集群，获取任务操作源文件，将其上传至虚拟机本地，使用hdfs文件命令上传至HDFS文件系统，创建Java文件，将执行代码写入，填充源文件在HDFS的路径和任务文件输出路径，运行程序修改报错，打成jar包，上传至虚拟机本地并运行jar包，文件系统和历史日志查看结果。某些文件“not exist”，那就查看文件名又没多或少了某些东西，回归本质，检查代码。将Java文件打成jar包，上传至虚拟机本地目录hadoop-3.1.3（这里是方便运行，不用写路径）前提是你已开启历史日志服务，地址：。
2023-09-20 21:58:20
113
原创 HBase集群部署
安装hbse的前提条件是jdk已经搭建完成，虚拟机具有Hadoop伪分布式或完全分布式的集群搭建，以及zookeeper环境搭建完成。上上传已经下载好的HBase安装包(学习通里有)，这里上传至software。添加下配置，添加时不要盲目CtrlC CtrlV，根据自身情况修改。分发环境变量配置文件，可当其他两台机器中查看是否成功。添加代码,注意你的jdk的版号及路径和你的对应起来。首先cd到相应目录下，方便于命令的输入，减少错误。在其他两台机器上配置加载环境变量。及指定目录自己要记清楚，
2023-09-15 16:10:18
114
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人