![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 73
小光芒
爱技术爱生活
展开
-
大数据存储基石——HDFS
随着数据量越来越大,在一个本地文件系统里边已经存不下所有的数据,需要将数据分配到更多的操作系统和文件管理系统,但是不方便管理和维护,所以需要一个系统来统一管理这些存储了所有数据的机器,这个系统也就是分布式文件管理系统,HDFS只是分布式文件管理系统的一种。!HDFS(全称HadoopDistributeFileSystem,Hadoop分布式文件系统),用于文件存储和管理,通过目录树来定位文件,是分布式的。可以与Linux文件系统做类比,只不过是封装了很多机器的文件管理功能。...原创 2022-07-27 18:16:25 · 2330 阅读 · 0 评论 -
Java死锁问题排查
Java死锁排查原创 2022-07-12 17:09:19 · 395 阅读 · 0 评论 -
电商离线数仓从0到1系列之二 hive,flume环境搭建
hive安装hive内置元数据库Derby,但一般采用自有的元数据库,这里用mysqlhive集群分配:软件warehouse101warehouse102warehouse103hadoop√√√hive√√√mysql√元数据(metastore)采用远程模式配置,配置规划:服务warehouse101warehouse102warehouse103metastore√√HiveServer2√原创 2021-11-15 16:53:37 · 1813 阅读 · 0 评论 -
Hadoop面试题
HDFShdfs读流程客户端向NameNode发起RPC请求,请求文件block位置NameNode检查是否有访问权限,如果有权限则继续检查是不是有这个文件,如果有这个文件则返回部分或全部的block列表,对于每个block,NameNode会返回含有该副本的DataNode地址客户端根据就近原则挑选一台DataNode,请求读取数据DataNode开始传数据给客户端当读完列表的block后,若文件读取没有结束,向NameNode获取下一批block列表读取完一个blo原创 2021-10-29 17:18:38 · 1767 阅读 · 0 评论 -
电商离线数仓从0到1系列之一 hadoop环境搭建
1.安装虚拟机2.安装hadoop原创 2021-07-07 19:20:18 · 523 阅读 · 1 评论 -
hadoop问题之——————>Warning: fs.defaultFS is not set when running “ls“ command.
问题图示:解决方法:1.查看环境变量配置是否有误由上图可知环境配置没问题进入下一步2.查看hadoop 和hdfs命令指向which hadoopwhich hdfs由结果得知问题原因在于hdfs命令指向错误,本来应该指向安装目录 /opt/lagou/servers/hadoop-2.9.2/bin/hadoop 而实际指向是/usr/bin/hdfs ,导致错误3.删除/usr/bin下的hdfsrm -rf hdfs4.重新启动hdfs可看到问题..原创 2021-06-26 20:08:13 · 668 阅读 · 2 评论