hadoop
文章平均质量分 57
大梁、
年轻敢爱敢恨,不会明哲保身。
展开
-
大数据开发集群搭建
此文章旨在帮助初学者搭建大数据集群原创 2022-08-13 17:52:52 · 1257 阅读 · 0 评论 -
Hadoop运行环境搭建
Hadoop运行环境搭建1.虚拟机环境准备克隆虚拟机 ->快照->快照管理->拍摄快照->克隆修改克隆虚拟机的静态IP提示:克隆后的虚拟机,新产生了一个mac地址 vim /etc/udev/rules.d/70-persistent-net.rules 1. 删除eth0这一行 2. 将新产生mac地址所在行的eth1改成eth0 3. 复制新产生的mac地址 vim /etc/sysconfig/network-scripts/ifcfg-et原创 2021-03-10 22:43:25 · 104 阅读 · 0 评论 -
如何理解yarn上的container
一直很困惑,为什么在yarn上能执行storm,spark这样的框架呢,他们是怎么运行的呢,我想对这个有困惑的朋友应该不止我一个,在这里向大家推荐一本书:hadoop技术内幕-yarn详解第一点:什么是分配资源,表面上将就是你可以使用的资源量,但在分布式系统中,你怎么限制呢:其实分配的资源就是一个个的key-value对:cpu=1个ram=2G第二点:只是分配了,怎么运行呢:这得益于JVM的好处,在jvm启动的啥时候,我们可以设置其所占用的资源,而之上所讲的key-vlaue在这里也就变成了jvm原创 2021-03-07 11:53:12 · 341 阅读 · 0 评论 -
HDFS的Shell操作
HDFS的Shell操作在hadoop目录下操作如下命令bin/hadoop fs 具体命令bin/hdfs dfs 具体命令其中dfs是fs的实现类。命令大全[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs[-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src&原创 2021-03-08 19:47:44 · 150 阅读 · 1 评论