大数据组件运维
文章平均质量分 72
Data宁
一个认真做事的男人。
展开
-
大数据—运维—K8s—pod理论
云原生技术核心k8s目前已经逐渐成为计算机、云计算、大数据等行业技术的标杆和基础。令k8s目前也已经趋于成熟阶段,很多大厂小厂都用到这一技术内容。 在此和大家一同学习,本人也是首次学习该项技术,把笔记分享在这个方便大家交流学习。分享中如有写的合适的地方欢迎指正。k8s全称kubernetes,这个名字大家应该都不陌生,k8s是为容器服务而生的一个可移植容器的编排管理工具,越来越多的公司正在拥抱k8s,并且当前k8s已经主导了云业务流程,推动了微服务架构等热门技术的普及和落地,正在如火如荼的发展。原创 2022-12-04 16:55:48 · 1317 阅读 · 0 评论 -
CDH5、CDH6部署指南(稳)
cdh5,cdh6进行部署,非常详细,原创 2022-07-21 20:22:53 · 1035 阅读 · 1 评论 -
CDH新增机器节点
CDH5新增机器节点原创 2022-07-18 18:51:45 · 1027 阅读 · 0 评论 -
redis部署锦集,redis部署都在这了。
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。......原创 2022-07-05 21:53:51 · 2902 阅读 · 1 评论 -
大数据组件运维—kafka安装部署
大数据组件之kafka部署原创 2022-07-01 19:39:50 · 838 阅读 · 0 评论 -
Flink配置Yarn日志聚合、配置历史日志。
yarn容器退出之后,默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等,生产环境里的任务最好借助资源管理框架(如Yarn)运行。任务运行在yarn上,查询日志就可能不是很方便,尤其是任务进程异常退出之后。..................原创 2022-06-29 14:13:02 · 5030 阅读 · 8 评论