- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop入门
Hadoop是什么？ 一个由Apache基金会所开发的分布式系统基础架构 主要解决海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop通常指一个更广泛的概念-Hadoop生态圈 Hadoop的优势 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失 高扩展性：可方便的扩展数以千计的节点 高效性：在MapReduce思想下，Hadoop是并行工作的，以加快任务的处理速度 高容错性：能自动将失败的任务重新分配 HDFS简介 HDF
2021-08-02 10:27:09
61
原创 Kafka入门
Kafka入门 1.定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 2.消息队列 传统的消息队列的应用场景如下： 使用消息队列的好处： 解耦 允许我们独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。 缓冲 有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的
2021-06-29 16:16:00
113
原创 Hawq4.0.1.0到Hawq4.5.0.1的升级
Hawq4.0.1.0到Hawq4.5.0.1的升级 1. 配置系统参数 编辑/etc/sysctl.conf文件，内容如下 kernel.shmmax = 1000000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 512000 100 2048 kernel.sysrq = 1 kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536
2021-05-30 20:20:50
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人