![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 74
林子茗
这个作者很懒,什么都没留下…
展开
-
大数据常用命令-超全
大数据常用命令超全总结转载 2022-10-19 20:29:58 · 552 阅读 · 1 评论 -
大数据常用web页面
http://hadoop102:9870/http://hadoop103:8088/clusterhttp://hadoop104:9868http://hadoop102:19888/hadoop102:8020原创 2022-07-11 13:04:56 · 299 阅读 · 0 评论 -
大数据组件集群-常用启停命令
NameNode格式化(首次启动)格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)(1)整体启动/停止(常用)start-dfs.sh/stop-dfs.sh (任意节点都可以,一般在namenode节点)start-yarn.sh/stop-yarn.sh(须在resourceManager节点)(2)分别启动/停止hdfs --daemon start/stop namenode/datanode/seco原创 2022-07-11 13:15:46 · 1208 阅读 · 0 评论 -
大数据组件常用日志位置
*重要日志的位置( user是启动服务的用户,hostname 是机器的名字)*NameNode: $HADOOP_HOME/logs/hadoop-user-namenode-hostname.logDataNode: $HADOOP_HOME/logs/hadoop-user-datanode-hostname.logJobTracker: $HADOOP_HOME/logs/hadoop-user-jobtracker-hostname.logTaskTracker: $HADOOP_HOME/log原创 2022-07-11 13:13:00 · 787 阅读 · 0 评论 -
Flink 笔记
Flink运行时包含2种进程:1个JobManager和至少1个TaskManagerTaskManager 是一个JVM进程。经验:TaskManager内存设置,一般一个TaskManager 4-6G内存;再大反而不好,因为可能会发生GC,发生GC时TaskManager不对外工作,若内存很大,发生GC时 时间会比较久。内存设置超出yarn上限也不好。yarn一个任务的内存上限默认是8G。Slot:对CPU和内存的封装 一个TaskManager有多个slot, 多个slot之间对内存进行隔离,共享原创 2022-07-11 12:51:15 · 752 阅读 · 0 评论 -
大数据基础-董CC
大数据基础JAVA基础:集合,线程,IO,反射,泛型,Map(映射),JVM(1.8),GC,算法,数据结构,streamWEB:GIT, VUE,Mysql,主从,读写分离,分库分表,索引,存储过程.SSM:Shiro,看雷图画雷图,设计模式,servlet,生命周期,过滤,拦截,监听JT:业务,nginx,redis(缓解数据库压力应对高并发,去状态),dubbo(zookeeper),mycat,微服务:cloud,MQ(RabbitMQ(1.2W),RocketMQ(3-5W),Kafka.原创 2021-05-24 23:22:34 · 260 阅读 · 0 评论 -
Flink 笔记 DN
Flink 笔记 DNFlink 笔记Flink介绍Flink近年来逐步被人们所熟知,不仅是因为Flink提供同时支持高吞吐、低延迟和exactly-once语义的实时计算能力,同时Flink还提供了基于流式计算引擎处理批量数据的计算能力,真正意义上实现了批流统一,同时随着阿里对Blink的开源,极大地增强了Flink对批计算领域的支持。众多优秀的特性,使得Flink成为开源大数据数据处理框架中的一颗新星,随着国内社区不断推动,越来越多的国内公司开始选择使用Flink作为实时数据处理技术。Flin原创 2021-05-05 17:52:43 · 515 阅读 · 0 评论