2019年06月_守望者2

12月 11月 10月 06月 04月 03月 02月 01月

原创面试常见考题：哈希表平均查找长度

哈希表（又名为是散列表）散列是一个用于唯一标识对象并在一些预先计算的唯一索引（称为“密钥”）存储每个对象的过程。因此，对象以“键值”对的形式存储，这些项的集合被称为“字典”。可以使用该键值搜索每个对象。有多种不同的基于哈希的数据结构，但最常用的数据结构是哈希表。哈希表通常使用数组实现。哈希数据结构的性能取决于以下三个因素：哈希函数哈希表的大小碰撞处理方法下图展示了如何在数组中映射哈希...

2019-06-30 12:18:17 3130 2

原创大数据学习笔记八（数据可视化）

数据可视化即为将数据进行分析后用图形的方式直观展示出信息的统计情况，这对于大数据的处理结果展示有非常重要的作用，具体事例如下：百度地图交通情况人物关系数据可视化常用工具Office系列Excel是微软公司的办公软件Office家族的系列软件之一，可以进行各种数据的处理、统计分析和辅助决策操作，已经广泛地应用于管理、统计、金融等领域，这也是最常见的数据可视化的工具D3D3是最流行...

2019-06-30 11:43:49 956

原创大数据学习笔记七（云数据库）

在了解云数据库之前，先明确一下云计算的概念：通过整合、管理、调配分布在网络各处的计算资源，通过互联网以统一界面，同时向大量的用户提供服务云数据库的概念：云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易。云数据库具有高可扩展性、高可用...

2019-06-28 22:16:49 662

原创大数据学习笔记六（MapReduce）

Hadoop的两大核心是HDFS和MapReduce，HDFS是分布式文件系统，而MappReduce的工作是进行数据处理推荐MapReduce学习链接：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson7MapReduce两大核心函数：Map和ReduceMapReduce将复杂的、运行于大规模集群上的并行计算过程高度地...

2019-06-27 22:32:55 569

原创大数据学习笔记五（HBase）

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表推荐学习网站：http://dblab.xmu.edu.cn/blog/tag/hbase/HBase出现的原因：Hado...

2019-06-27 22:11:57 806

原创大数据学习笔记四（HDFS）

1 分布式文件系统2 HDFS简介3 HDFS相关概念4 HDFS体系结构5 HDFS存储原理6 HDFS数据读写过程7 HDFS编程实践

2019-06-27 21:14:56 370

原创大数据学习笔记三（Hadoop总结）

Hadoop简介：Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduceHadoop被公认为行业大数据标准开源软件，在...

2019-06-27 20:44:17 745

原创大数据学习笔记二：解析大数据使用的技术

大数据设计技术主要有Hadoop，HDFS，HBase，MapReduce等，今天进行相关总结大数据的应用主要是对数据进行存储和处理，但是对于一般的设备而言，想要存储和处理大量数据难度较大（TB以上级别），因此需要使用一些技术处理大数据问题。主要应用的技术如下图展示：此图也是展示的Hadoop生态圈，即以Hadoop为核心扩展的技术，接下来将分开介绍：HadoopHadoop是一个能...

2019-06-27 20:02:22 412

原创大数据学习笔记一

1.1 大数据时代信息发展的经历大数据发展历程1.2 大数据概念大数据具有以下几个特点：1 数据量大，随着通信设备的出现，各种信息随时随地产生，社交软件的大量信息以及监控等设备的出现促使大数据的出现。2 数据类型多，伴随着互联网与物联网技术的不断发展，各种数据都可以在网络中传播，数据类型嫉妒繁杂3 处理速度快，即使数据量大，如果处理速度慢，数据也将无法发挥其真正的价值，只有在快速...

2019-06-27 19:22:59 429