大数据环境搭建
文章平均质量分 61
静静的程序猿进化史
竭尽所能,做一个不平凡的普通人。
展开
-
大数据端口号对应
50070:HDFSwebUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master的webUI,Tomcat的端口号7077:spark基于standalone的提交任务的端口号8081:worker的webUI的端口号18080:historyServer的webUI的端口号4040:application的webUI的端口号2181:zookeeper的rpc端原创 2022-02-15 09:09:45 · 359 阅读 · 0 评论 -
数仓项目搭建学习记录(详细)
数据生成脚本创建maven项目:2)创建一个包名:com.atguigu.appclient3)在com.atguigu.appclient包下创建一个类,AppMain。4)在pom.xml文件中添加如下内容先发一个整体的项目结构<!--版本号统一--><properties> <slf4j.version>1.7.20</slf4j.version> <logback.version>1.0.7<原创 2021-12-13 18:57:05 · 442 阅读 · 0 评论 -
Flume的安装使用教程,详细带图
一、Flume的概念:Flume是Cloudera提供的一个高可用,高可靠的,分布式的海量日志采集,聚合和传输的系统。Flumens基于流式架构,灵活简单。Flume最主要的作用就是实时的读取服务器本地磁盘的数据,然后上传到HDFS(虽然也可以直接从服务器本地上传,但是不是实时的)。二、Flume组成架构:1.AgentAgent是一个JVM进程,它以事件的形式将数据从源头送至目的,是Flume数据传输的基本单元。启动agent之后,进程名称:ApplicationAgent主要有3个部分组原创 2021-07-19 11:45:32 · 2365 阅读 · 0 评论