本期会给大家奉献上精彩的:MongoDB、spark 、TIDB、数据处理、ClickHouse、机器学习、Hbase、flink、Kafka、kettle 。全是干货,希望大家喜欢!!!
#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!
#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。
特别提醒,文末有惊喜!
以下是正文,限于众编辑水平有限,不保证大家都喜欢。(如果链接不能点开 请用二维码 谢谢)
1TIDBTiDB的改造完成之后,丰巢推送服务对大部分消息进行了落地和查询,截止目前为止,推送服务最大的日落地量已经达到了5千万,而如果现在推送服务还使用的还是Mysql的方案,就需要上各种的分库分表方案,很多细致的业务就无法或者难以开展
https://mp.weixin.qq.com/s/xFv90_VB7B9m2o6jvQ13Iw
2 HbaseHbase问题解决思路
https://mp.weixin.qq.com/s/dck1rpAh5m_sErWgeSrzkA
3 MongoDB本文讲述了如何采用nodejs结合MongoDB的模糊查询构造模糊匹配功能
http://blog.fens.me/nodejs-mongodb-regexp/
4SparkSQLSparkSQL近年来以更强的性能优势正逐渐取代Hive在数据仓库领域强势地位,在奇虎360公司同样得到了大范围的推广使用。为了进一步提供提升SparkSQL的性能、扩展SparkSQL多数据源的处理能力,我们整合了ES、Kylin、Luence等开源组件,最终实现了一套统一的OLAP平台。本次分享会介绍SparkSQL的那些坑和整合ES、Kylin的设计思路以及借助Luence实现的海量数据即席查询的技术方案。
https://mp.weixin.qq.com/s/gCErgNcUiS4dBofkhvDLwQ
5数据处理数据处理这门学问就是对复杂的海量数据价值的提炼,从而得到最有价值的部分。文章主要介绍了大数据处理的五大关键技术,并在文后介绍了他们的具体应用方向
https://mp.weixin.qq.com/s/5vVTtwwAVQ8FyOrvPsWnGQ
6 Flink近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务
https://tech.meituan.com/meishi_data_flink.html
7ClickHouse本文主要讲述了三点内容:1.什么是ClickHouse?
2.ClickHouse适合哪些场景?
3.为什么面向列的数据库查询如此快?
https://mp.weixin.qq.com/s/hHYSWUOZG0VcBzzqe3cR3Q
8Kafka在关系数据库中,除了查询优化器之外,查询调度器和计划执行器是两个同等重要的模块,并且随着计算机硬件的发展,他们的重要性越发彰显。
https://mp.weixin.qq.com/s/DDfPQgxDQz814BYB-LfzdA
9机器学习MLFlow 意在将不同的机器学习框架由实验室整合应用到生产环境中,Spark是目前流行的分布式计算平台,未来Spark 和 MLFlow 框架的用例、编程语言、采纳模式是什么,机器学习的未来发展方向在哪里?来自今年的 Spark 和人工智能欧洲峰会的Matei Zaharia 的给了我们答案。
https://mp.weixin.qq.com/s/oknZec0akNQENoSPhcvAjg
10kettlekettle是一种开源的ETl解决方案。本文介绍了kettle的一些基本内容以及一些基础的开发。
https://blog.csdn.net/eason_oracle/article/details/53535173
11开心一刻你见过黑程序员黑的最好的段子是什么?
谢邀,我下班了再答
致谢:
周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、
猜你喜欢
大数据和云计算技术周报(第56期)
加入技术讨论群
《大数据和云计算技术》社区群人数已经3000+,欢迎大家加下面助手微信,拉大家进群,自由交流。
喜欢QQ群的,可以扫描下面二维码:
欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):