大数据和云计算技术周报(第75期)

大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

    

本期会给大家奉献上精彩的:MongoDB、spark 、TIDB、数据处理、ClickHouse、机器学习、Hbase、flink、Kafka、kettle 。全是干货,希望大家喜欢!!!


#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!


#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。


特别提醒,文末有惊喜!


以下是正文,限于众编辑水平有限,不保证大家都喜欢。(如果链接不能点开  请用二维码  谢谢

1TIDB

TiDB的改造完成之后,丰巢推送服务对大部分消息进行了落地和查询,截止目前为止,推送服务最大的日落地量已经达到了5千万,而如果现在推送服务还使用的还是Mysql的方案,就需要上各种的分库分表方案,很多细致的业务就无法或者难以开展

https://mp.weixin.qq.com/s/xFv90_VB7B9m2o6jvQ13Iw

640?wx_fmt=png

2 Hbase  

Hbase问题解决思路

https://mp.weixin.qq.com/s/dck1rpAh5m_sErWgeSrzkA

640?wx_fmt=png

3 MongoDB 

本文讲述了如何采用nodejs结合MongoDB的模糊查询构造模糊匹配功能

http://blog.fens.me/nodejs-mongodb-regexp/

640?wx_fmt=png

4SparkSQL  

SparkSQL近年来以更强的性能优势正逐渐取代Hive在数据仓库领域强势地位,在奇虎360公司同样得到了大范围的推广使用。为了进一步提供提升SparkSQL的性能、扩展SparkSQL多数据源的处理能力,我们整合了ES、Kylin、Luence等开源组件,最终实现了一套统一的OLAP平台。本次分享会介绍SparkSQL的那些坑和整合ES、Kylin的设计思路以及借助Luence实现的海量数据即席查询的技术方案。

https://mp.weixin.qq.com/s/gCErgNcUiS4dBofkhvDLwQ

640?wx_fmt=png

5数据处理

数据处理这门学问就是对复杂的海量数据价值的提炼,从而得到最有价值的部分。文章主要介绍了大数据处理的五大关键技术,并在文后介绍了他们的具体应用方向

https://mp.weixin.qq.com/s/5vVTtwwAVQ8FyOrvPsWnGQ

640?wx_fmt=png

6 Flink 

近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务

https://tech.meituan.com/meishi_data_flink.html

640?wx_fmt=png

7ClickHouse  

本文主要讲述了三点内容:1.什么是ClickHouse?

2.ClickHouse适合哪些场景?

3.为什么面向列的数据库查询如此快?

https://mp.weixin.qq.com/s/hHYSWUOZG0VcBzzqe3cR3Q

640?wx_fmt=png

8Kafka  

在关系数据库中,除了查询优化器之外,查询调度器和计划执行器是两个同等重要的模块,并且随着计算机硬件的发展,他们的重要性越发彰显。

https://mp.weixin.qq.com/s/DDfPQgxDQz814BYB-LfzdA

640?wx_fmt=png

9机器学习  

MLFlow 意在将不同的机器学习框架由实验室整合应用到生产环境中,Spark是目前流行的分布式计算平台,未来Spark 和 MLFlow 框架的用例、编程语言、采纳模式是什么,机器学习的未来发展方向在哪里?来自今年的 Spark 和人工智能欧洲峰会的Matei Zaharia 的给了我们答案。

https://mp.weixin.qq.com/s/oknZec0akNQENoSPhcvAjg

640?wx_fmt=png

10kettle  

kettle是一种开源的ETl解决方案。本文介绍了kettle的一些基本内容以及一些基础的开发。

https://blog.csdn.net/eason_oracle/article/details/53535173

640?wx_fmt=png

11开心一刻   
 

你见过黑程序员黑的最好的段子是什么?

谢邀,我下班了再答

致谢:

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞、

猜你喜欢




#大数据和云计算机技术社区#博客精选(2017)

NoSQL 还是 SQL ?这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报(第56期)

新数仓系列:Hbase周边生态梳理(1)

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列:漫谈运营商公有云发展史

云观察系列:百度云的一波三折

云观察系列:阿里云战略观察

超融合方案分析系列(7)思科超融合方案分析

加入技术讨论群




《大数据和云计算技术》社区群人数已经3000+,欢迎大家加下面助手微信,拉大家进群,自由交流。

640?wx_fmt=jpeg


喜欢QQ群的,可以扫描下面二维码:

640?wx_fmt=jpeg

欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):

640?wx_fmt=jpeg




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值