- 博客(4)
- 收藏
- 关注
RSS订阅原创 HBase安装
HBase Master负责管理所有的HRegion，HBase Master并不存储HBase服务器的任何数据，HBase逻辑上的表可能会划分为多个HRegion，然后存储在HRegion Server群中，HBase Master Server中存储的是从数据到HRegion Server的映射。6.使用vim编辑/apps/hbase/conf/regionservers文件，此文件存储了HBase集群节点的ip地址，目前只有一台节点，所以只需要填写localhost即可。
2023-05-20 00:48:30
73
1
原创 HDFS JAVA API（Hadoop3.0）
1.HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。在my.hdfs包下，新建类PutMerge，程序功能是将Linux本地文件夹/data/hadoop4/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。
2023-05-20 00:47:11
536
1
原创 Hadoop Shell 基本操作（Hadoop3.0）
在分布式文件系统启动的时候，开始的时候可能会进入安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。在Hadoop的/apps/hadoop/share/hadoop/mapreduce路径下存在hadoop-mapreduce-examples-3.0.0.jar包，我们执行其中的worldcount类，数据来源为HDFS的/in目录，数据输出到HDFS的/out目录。Hadoop中的mv用法同Linux中的一样，都可以起到移动文件和重命名的作用。
2023-05-20 00:46:15
408
1
原创 Hadoop 伪分布模式安装（Hadoop3.0）
在这个模式中，所有守护进程(NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode)都在同一台机器上运行。此外，Hadoop还包括了Hive，Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahout等项目。当你看到下面流程的时候，表示程序已正常运行，hadoop环境也是没问题的。dfs.replication，配置每个数据库备份数，由于目前我们使用1台节点，所以，设置为1，如果设置为2的话，运行会报错。
2023-04-25 11:00:06
96
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人