大数据技术
Master.TJ
https://github.com/fengruotj
展开
-
大数据采集技术综述
近年来,以大数据、物联网、人工智能、5G为核心特征的数字化浪潮正席卷全球。随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。世界上每时每刻都在产生的大量的数据,包括物联网传 感器数据、社交网络数据、商品交易数据等等。 面对如此巨大的数据,与之相关的采集、存储、分析等等环节产生了一系列的问题...原创 2018-06-05 17:31:09 · 31251 阅读 · 0 评论 -
大数据技术:分布式系统和分布式事务
1. 分布式系统1.1 分布式的特点分布性: 分布式系统中的多台计算机都会在空间上随意分布,同时,机器的分布情况也会随时改变。对等性: 分布式系统中的计算机没有主从之分,既没有控制整个系统的主机,也灭有被控制的从机,组成分布式系统的所有计算机节点都对等的的。并发性: 在一个计算机网络中,程序运行过程中的并发性操作也是非常常见的行为。1.2 分布式环境中...原创 2018-06-05 17:49:47 · 1733 阅读 · 0 评论 -
大数据技术:Zookeeper分布式协调服务
1 Zookeeper概念简介Zookeeper是一个分布式协调服务,就是为用户的分布式应用程序提供协调服务A、 zookeeper是为别的分布式程序进行服务的B、 zookeeper本身就是一个分布式应用程序(只有半数以上的节点存活2,zk就能正服务)C、 Zookeeper所提供的服务涵盖:主从协调、服务器节点状态上下线、统一配置管理、分布式共享锁、同一名称服务………..D、 虽然说可...原创 2018-06-05 18:00:28 · 1331 阅读 · 0 评论 -
大数据:Hive和Hbase的区别于优势
1. 前言最近在研究大数据相关知识,Hive和Hbase是之前本科的时候调研过的两个数据仓库。现在特把这两个数据仓库拿来总结以下,这两个数据仓库各自由各自的特点,可以应用与不同的应用场景。对于大数据开发工程师,有必要了解这两个数据仓库的区别以及各自的应用场景。2. Hive 和HBase简介Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查...原创 2019-01-21 21:55:39 · 1988 阅读 · 0 评论 -
Cloud Programming Simplifie : A Berkeley View on Serverless Computing
Abstract 无服务器云计算几乎处理所有系统管理操作,使程序员更容易使用云。 它提供了一个极大简化云编程的接口,代表了从汇编语言到高级编程语言的过渡。 本文简要介绍了云计算的历史,包括对2009年伯克利云计算视图的预测进行了说明,解释了无服务器计算的动机,描述了扩展无服务器当前限制的应用程序,然后列出了障碍和研究机会 无服务器计算需要充分发挥其潜力。 就像2009年的论文确定了云的挑...原创 2019-07-02 14:55:17 · 1465 阅读 · 1 评论