![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大数据平台所需技术学习
不贪吃的猪
这个作者很懒,什么都没留下…
展开
-
spark项目小结
注意固定的ip地址和主机需要在同一个子网,选择桥接模式桥接模式具有和宿主机同等地位,可以直接和同一网络内其他主机通信,nat模式依赖宿主机上网,只能和宿主机通信.关于向yarn提交spark作业报错通过以下方法查看yarn的报错日志.如果是找不到类,可能是输入命令格式有问题.hadoop等启动1.进入Hadoop的bin目录下,输入:start-all.sh 即可启动你所搭建的集群.如果配置过路径,直接start-all.sh可以启动hdfs和yarn2.进入zookeeper的原创 2020-08-20 15:16:24 · 988 阅读 · 0 评论 -
Flume
概述入门agent配置文件在logger输出监控文件夹,输出到hdfs监控文件,输出到hdfsflume高可用原创 2020-08-07 20:35:04 · 94 阅读 · 0 评论 -
JVM垃圾回收
概述原创 2020-08-06 21:02:59 · 106 阅读 · 0 评论 -
Spark 学习笔记
概述Hadoopspark实操wordcount部署到yarn原创 2020-08-06 15:26:34 · 97 阅读 · 0 评论 -
Kafka 学习笔记
概述好处:两种模式kafka属于发布、订阅模式下,消费者主动拉取信息。缺点是消费者长时间询问队列推送缺点是导致消费者资源浪费或接受不了。架构基操创建topic:生产和消费kafka编程消费者offset幂等性和事务性:分区策略flume和kafka整合...原创 2020-06-13 16:01:42 · 97 阅读 · 0 评论 -
Scala 学习笔记
概述开发原创 2020-06-21 16:52:37 · 103 阅读 · 0 评论 -
Flink 学习笔记
概述:原创 2020-06-16 19:22:23 · 141 阅读 · 0 评论 -
Hbase 学习笔记
目录概述安装:架构:shellApihbase存储:Hbase和Hive整合概述安装:架构:shellApihbase存储:Hbase和Hive整合...原创 2020-06-11 15:37:10 · 99 阅读 · 0 评论 -
zookeeper 学习笔记
目录概述:安装步骤:架构:文件系统:监听机制:shellzookeeper开发:增删查改:监听:应用场景:一些知识点:概述:安装步骤:base理论可以实现。架构:文件系统:监听机制:shellzookeeper开发:连接zookeeper:增删查改:.原创 2020-06-10 20:16:48 · 117 阅读 · 0 评论 -
Hive 学习笔记
Hive概述:原创 2020-06-10 11:06:54 · 93 阅读 · 0 评论 -
Hadoop 学习笔记
概述:原创 2020-06-08 16:34:29 · 163 阅读 · 0 评论 -
linux 学习笔记
概述linux和windows比较:实操:vim和vi快捷键使用:粘贴用p开关机,重启和用户登录注销。用户管理:实用指令运行级别:创建多级目录touch:拷贝文件:mv:cat指令:more:less输出重定向和追加:ech原创 2020-06-03 10:38:37 · 124 阅读 · 0 评论