后台学习在路上
文章平均质量分 97
大数据的这个方向吧,除了数据库方面有明确的界线,对于语言好象无清晰界面
项目花园范德彪
用免费公开视频,卷飞培训班哈人!打死不报班,赚钱靠狠干!只要自己有电脑,前后项目都能搞!N年苦学无人问,一朝成名天下知!
展开
-
从MQ到activeMQ到Kafka
其实,不管是这些MQ怎么对比,怎么使用,他们的作用是相同的,就是女秘书。专业的叫法就是解耦、异步、削峰。而重要的问题就是两点。能削多大的峰。跟削的时候,会不会丢消息。如果说你的业务发起的不到1万用户,不用说了,你单机都够了,根本不需要MQ!一般用到MQ的都是这样的数量级。一个消费者一秒是 1000 条,一秒 3 个消费者是 3000 条,一分钟就是 18 万条。由于消费者宕机导致现在MQ中积压几百万数据。事实上,很多的时候,跟本没有这么大的并发。原创 2023-08-15 23:12:04 · 246 阅读 · 2 评论 -
JAVA方向的大数据包含啥内容?
近几年来,大数据机器学习和数据挖掘的并行化算法研究成为大数据领域一个较为重要的研究热点。早几年国内外研究者和业界比较关注的是在 Hadoop 平台上的并行化算法设计。然而, HadoopMapReduce 平台由于网络和磁盘读写开销大,难以高效地实现需要大量迭代计算的机器学习并行化算法。随着 UC Berkeley AMPLab 推出的新一代大数据平台 Spark 系统的出现和逐步发展成熟,近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计。原创 2023-08-06 02:54:13 · 717 阅读 · 1 评论