大数据和云计算技术周报(第5期)

原创 2017年12月18日 00:00:00
写在第5期周报

Q1:老生常谈,上一期周报反响如何?

A1:上周推出了第3期以及第4期NoSQL特辑,热度持续高涨,同学们打赏不断。并请到社区书法家张总给社区题字,社区成功晋级“四有社区”:有分享、有文化、有美女、有红包。

?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

同学们,请继续打赏,支持社区,支持编辑们持续奉献高质量知识!


Q2:  本期有啥干货?

A2: 本期会给大家奉献上精彩的:国家大数据战略、AI最新新闻、大数据在交通行业的应用、流行的微服务框架以及GPU在数据库中的应用。全是干货,希望大家喜欢。


Q3:编辑部还要人不?

A3:社区长期招募志愿运营和编辑人员,有兴趣参加的同学联系群主(参与社区工作,收获知识和进步,还有红包哦)。


Q4:文末有惊喜?

A4:嗯!


以下是正文,限于众编辑水平有限,不保证大家都喜欢。

1国家制定大数据战略

习近平:实施国家大数据战略加快建设数字中国(六个要点):1、推动大数据技术产业创新发展;2、构建以数据为关键要素的数字经济;3、运用大数据提升国家治理现代化水平;4、运用大数据促进保障和改善民生;5、切实保障国家数据安全;6、善于获取数据、分析数据、运用数据,是领导干部做好工作的基本功。(附,本次政治局集体学习讲解人:北京理工大学副校长、中国科学院院士、发展中国家科学院院士——梅宏简历)。

http://dwz.cn/76fhCY

?wx_fmt=jpeg



http://dwz.cn/76fhZV

?wx_fmt=jpeg



2AI未来看中国!

Google Cloud 人工智能和机器学习团队的首席科学家李飞飞宣布,谷歌 AI 中国中心在北京成立。该中心由李飞飞和 Google Cloud 研发负责人李佳博士共同领导。李飞飞将会负责中心的研究工作,也会统筹 Google Cloud AI, Google Brain 以及中国本土团队的工作。


AI未来看中国!

http://dwz.cn/76fiTY

?wx_fmt=jpeg



2Hadoop基础概念


1)Hive作为面向海量数据分析的数据仓库,一直深受各大公司的喜爱。Hive存储实际上是数据的映射,查询分析的数据实际位置在HDFS中,虽然Hadoop高效的扩展性能够为Hive提供的PB级的来源,但是不合理的查询语言往往制约的查询速度,这篇博客提供了参考。

http://dwz.cn/76fj25

?wx_fmt=jpeg




2)随着Spark的成熟与稳定,将Hive的执行引擎替换成Spark,性能得到了快速的提升,该博客提供了详细的编译与配置的方法,

http://dwz.cn/76fjFd

?wx_fmt=jpeg




3)今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。

http://dwz.cn/76fjWX

?wx_fmt=jpeg



4)ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它是一个为分布式应用提供一致性服务的软件。该文章对zookeeper的原理和使用进行说明和整理,对复习zookeeper知识点和前面理解zookeeper很有帮助。

http://dwz.cn/76fk3R

?wx_fmt=jpeg



4大数据应用在交通行业
当前信息化技术的快速发展较好地推动了行业应用,但很多好的技术在行业的应用落地又非常困难,存在这样那样的现实问题。
http://dwz.cn/76fk87

?wx_fmt=jpeg


5微服务框架

在微服务流行的今天,我们会从纵向和横向分解代码的逻辑,将一些独立的无状态的代码单元实现为微服务,可以将它们发布到一些分布式计算单元或者Docker中,并在性能需要的时候及时地创建更多的服务单元。

微服务是一个概念,并没有规定服务的格式,但是很多厂商和框架都不约而同的采用RESTful的架构,尽管也有一些其它的性能很好的RPC框架。

如何在Java生态圈选择一个轻量级的RESTful框架?可以参考一些其他人的经验, 比如我翻译的最好的8 Java RESTful 框架。

http://dwz.cn/76fknt

?wx_fmt=jpeg




6新硬件,新思路

PG-Strom是为PostgreSQLv9.5或更高版本数据库设计的一个扩展模块。它被设计成利用GPU处理单元的并行计算能力,对海量数据执行查询及处理。它的基本理念是CPUGPU利用自身优势专注于工作量,并同时执行。 CPU有很多的灵活性,因此,它的优势是操作复杂的东西,如Disk I / O,另一方面,GPU在并行数值计算方面有优势,因此,它擅长做大规模但简单的事情,比如多表JOIN

http://dwz.cn/76flqQ

?wx_fmt=jpeg




007文末彩蛋,开心一刻

搬砖去:)

?wx_fmt=jpeg


?wx_fmt=jpeg

致谢:

刘涛、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、魏宏斌

?wx_fmt=png


猜你喜欢

 

 

 

大数据和云计算技术周报(第4期):NoSQL特辑

大数据和云计算技术周报(第3期)

大数据和云计算技术周报(第2期)

新数仓系列:Hbase周边生态梳理(1)

大数据和云计算技术周报(第1期)

大数据和云计算技术周报(第0期)

《大数据架构详解》第2次修订说明

阿里的OceanBase解密

简单梳理跨数据中心数据库

阿里专有云断电有多复杂?

云观察系列:漫谈运营商公有云发展史

云观察系列:百度云的一波三折

云观察系列:阿里云战略观察

超融合方案分析系列(8)SmartX超融合方案分析

超融合方案分析系列(7)思科超融合方案分析

加入技术讨论群

 

 

 

为了方便大家相互交流学习,社区创建微信/QQ群,社区群人数已经2500+,欢迎大家加下面助手微信,拉大家进群,自由交流。

?wx_fmt=jpeg

喜欢QQ群的,可以扫描下面二维码:

?wx_fmt=jpeg

欢迎大家通过二维码打赏支持技术社区(二维码累计打赏28次,打赏英雄请留名,社区感谢您):

?wx_fmt=jpeg


版权声明:本文为博主原创文章,未经博主允许不得转载。

大数据和云计算技术周报(第9期)

写在第9期周报坚持是一种品格!社区祝大家新年快乐!“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。#大数据和云计算技术社区#...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2018年01月01日 00:00
  • 1926

大数据和云计算技术周报(第13期)

写在第13期周报“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2018年01月15日 00:00
  • 45

大数据和云计算技术周报(第1期)

写在第1期周报 Q1:周报反响如何? A1:实话说,第0期超出了我们的预期,前后6个同学以订阅的名义打赏,完全出乎我们的意料。有编辑直言,人生第一次收到稿费。谢谢各位同学的支持!另外说一句,请继续...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2017年11月27日 00:00
  • 159

大数据和云计算技术周报(第3期)

写在第3期周报Q1:老生常谈,上一期周报反响如何?A1:第2期热度持续高涨,同学们纷纷用红包表达了真爱。特别致谢陈炯总对第2期周报的大红包。编辑部同学表示说“同学们都是真爱,早饭都帮忙解决了”。同学们...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2017年12月11日 00:00
  • 200

大数据和云计算技术周报(第0期)

写在第0期周报 Q1:为什么要搞一个周报: A1:受众多社区日报、周报的启发(如湾区日报,ES日报等等),所以大数据和云计算技术社区经过众多讨论,也决定搞一个周报。目的很简单,营造分享的气氛,同时...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2017年11月20日 00:00
  • 309

大数据和云计算技术周报(第11期)

写在第11期周报“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2018年01月08日 00:00
  • 81

大数据和云计算技术周报(第2期)

写在第2期周报 Q1:老生常谈,上一期周报反响如何? A1:第0期/1期持续热度高涨,同学们纷纷用红包表达了真爱。编辑部薛总表示说“大家这么支持,都有专职搞好的冲动”。另外说一句,请继续坚持打赏和...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2017年12月04日 00:00
  • 489

大数据和云计算技术周报(第7期)

写在第7期周报坚持是一种品格!“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。#大数据和云计算技术社区#希望通过坚持定期分享...
  • zNZQhb07Nr
  • zNZQhb07Nr
  • 2017年12月25日 00:00
  • 700

浅谈云计算和大数据技术

浅谈云计算和大数据技术 背景: 随着计算机技术的发展,数据量日益增长,现有技术也很难满足业务的发展需求,在代码的层层迭代和优化之后,还是很难满足数据的增长需求,迫切需要一项新的技术来从事数据计算,...
  • kaixinnongchang208
  • kaixinnongchang208
  • 2016年09月01日 11:21
  • 9215

云计算与大数据处理技术

云计算提供了一种对资源“按需索取服务”的能力,确保了使用时间与需要时间的完全一致,从而建立了一种分布式、高效率、低成本的IT商业模式。正是这些特点,使云计算成为IT发展的潮流与趋势。为解决广大系统设计...
  • shenmanli
  • shenmanli
  • 2014年10月28日 16:41
  • 1142
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据和云计算技术周报(第5期)
举报原因:
原因补充:

(最多只允许输入30个字)