大数据
HD243608836
这个作者很懒,什么都没留下…
展开
-
MySQL百万级数据量分页查询方法及其优化(最高效!好文章!)
方法1: 直接使用数据库提供的SQL语句语句样式:MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景:适用于数据量较少的情况(元组百/千级) 原因/缺点:全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃.方法2: 建立主键或...转载 2020-03-02 17:20:50 · 1329 阅读 · 0 评论 -
高并发其实挺容易的,当你明白了一万并发的原理,然后扩展到百万、千万、亿万级很easy
来自知乎的一个大神的回答:https://zhuanlan.zhihu.com/p/38636111高并发其实挺容易的,当你明白了一万并发的原理,然后扩展到百万、千万、亿万级很easy要点有如下几项:1、垂直分层:DNS层、跨机房部署、LVS+Nginx负载均衡,vanish+共享存储实现动静分离,Nginx后挂载N台服务器集群,服务器集群后挂载微服务化、微服务后挂载数据库分库分表...转载 2019-10-25 01:09:10 · 7031 阅读 · 2 评论 -
Hive 重复数据去重
hive中去重的代码:insert overwrite table store select t.p_key,t.sort_word from ( select p_key, sort_word , row_number()over(distribute by p_key sort by sort_word) a...转载 2018-12-26 10:52:28 · 2200 阅读 · 0 评论 -
大数据——从小白到大数据技术专家的学习历程,你准备好了吗
最近有很多人问我,大数据是怎么学?需要学什么技术以及这些技术的学习顺序是什么?今天有时间我把这个问题总结成文章分享给大家。大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 大数据是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长!大数据学习群:868847735 ...转载 2019-01-02 10:44:30 · 296 阅读 · 0 评论 -
消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
实际场景选择:(节选自:https://blog.csdn.net/myhes/article/details/83247108)在实际生产应用中,通常会使用kafka作为消息传输的数据管道,rabbitmq作为交易数据作为数据传输管道,主要的取舍因素则是是否存在丢数据的可能;rabbitmq在金融场景中经常使用,具有较高的严谨性,数据丢失的可能性更小,同事具备更高的实时性;而kafka优...转载 2019-03-26 10:42:34 · 299 阅读 · 0 评论