hadoop入门
文章平均质量分 76
码农写手
这个作者很懒,什么都没留下…
展开
-
04基本linux命令
在/opt/test目录下创建test.sh内容如下。原创 2023-04-15 10:12:40 · 55 阅读 · 0 评论 -
03:hadoop目录结构以及web UI介绍
在浏览器上输入namenode的主机ip:9870overview页面Datanodes页面作用:主要查看提交刡 到arn 上的一些任务,可以查看仸务的状态和日志信息将resource manager的主机ip加上8088,在浏览器中访问Scheduler 调度器。原创 2023-04-15 10:11:12 · 1835 阅读 · 0 评论 -
02:hadoop的基本使用
如果集群内存比较小,在运行一些占用比较大内存进程的时候,会产生内存溢出,所以需要设置一下虚拟内存,防止内存溢出现象,当然如果内存很足,则不用考虑。我们在root目录下,创建一个swap缓存文件((每块 1M,总共 8192 块,共计:8192M),比较慢。(2)第一个参数是本地文件,第二个是 Hadoop 集群中(HDFS)的文件(不能是本地文件)第一列 1 表示指定目录下文件夹的数量,第二列 2表示指定目录下文件的个数。(3)-f 参数会直接忽视错误,不管文件是否存在,强行将文件拷贝过去。原创 2023-04-15 10:04:55 · 2783 阅读 · 0 评论 -
01hadoop介绍和安装
Hadoop是Apache基金会旗下的一个分布式系统基础架构。主要包括:(1)分布式文件系统(2)分布式计算系统(3)分布式资源管理系统Hadoop使用户可以在不了解分布式系统底层细节的情况下,开发分布式程序并充分利用集群的分布式能力进行运算和存储。原创 2023-04-13 21:17:03 · 358 阅读 · 0 评论