大数据
文章平均质量分 81
小兀哥
变是永远不变的
展开
-
NoSql之相逢Redis
为了应对海量数据的到来,出现了非关系型数据库NoSql,为了在互联网中得以生存和发展,我们不得不去掌握一两个NoSql数据库的使用。当然我们不可能全部都掌握,只要掌握几个有代表性的就行。这里我们接触一下redis,希望以此来理解NoSql给我们带来的好处。 今天我们通过redis的学习,知道NoSql的重要性,而且在以后的学习中避免不了与大数据的接触,所以学会对数据的处理变得尤为重要,我们的奋斗历程也才刚刚开始。原创 2016-04-26 14:01:10 · 848 阅读 · 6 评论 -
大数据的仓库Hive原理(三)
上次我们简单说了一下Hive的工作原理,今天我们来深入看一下它是如何把Hql语句转换为m/r来运行的。 我们从认识Hive到理解它的运行原理,已经对其有了一定的了解。当然在实际应用中还会遇到各种问题,只要我们坚持去做,就没有什么做不到的。原创 2016-06-29 18:31:52 · 2322 阅读 · 1 评论 -
大数据的仓库Hive原理(二)
上次我们说到了大数据应用中的数据仓库hive,我们知道了利用hive可以更方便的处理数据,而且它的扩展性、延展性和容错性都比较好,但是它是如何利用Hql(类Sql语句)来实现数据处理的呢。 我们从hive的简单介绍到它优缺点的理解,以及它与传统关系型数据库的区别都做了一些学习,今天我们又对它的原理做了一些简单的认识,下次我们继续深入解析hive的工作原理。原创 2016-06-29 09:20:17 · 1673 阅读 · 0 评论 -
大数据的仓库Hive学习(一)
我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统,可是我们发现这跟我们平时常用的关系型数据库有很大区别,为了使用方便,产生了针对大数据存储的数据仓库Hive。 今天我们通过对Hive的学习,对大数据的处理又有了一定的认识。在以后的实际操作中,我们去慢慢掌握Hive的使用方法。通过不断学习,达到自己所追求的目标。原创 2016-06-20 14:58:25 · 4518 阅读 · 0 评论 -
大数据时代下的NoSql
随着大数据时代的到来,我们的问题也就来了。海量的数据如何去处理,如何存储,如何才能发挥出大数据的价值呢?在数据量越来越大的今天,传统的关系型数据存储已经满足不了我们的需求,于是就诞生了非关系型数据库NoSql。今天我们就来看看大数据的存储NoSql. 在大数据时代来临之季,我们了解一下非关系型数据库是非常有必要的,尤其是掌握一两个非关系型数据库的应用,如redis和mongolDB等。原创 2016-04-22 10:21:58 · 1021 阅读 · 6 评论 -
大数据时代的到来
随着社会的发展、时代的进步,互联网发展已经到了一个鼎盛的时期。随着“互联网+”的提出,更加助长了互联网发展的趋势,而在互联网发展中又出现了许多热词,如云计算,大数据,人工智能等等,这之中大数据尤为突出,所以今天我们来介绍一下何为大数据。 在科技告诉发展的背景下,我们的世界变得越来复杂,相关关系显得越来越重要,这就需要我们去探索大数据,包括数据挖掘、数据传递、数据分析、数据保存等.原创 2016-04-21 17:10:55 · 9247 阅读 · 9 评论 -
NoSql之初识HBase
之前我们一直在介绍hadoop,学习了两个核心内容HDFS和MapReduce。虽然HDFS可以存储数据,但是我们无法快速的查看所需的数据,这就需要引入另一个非关系型数据库HBase。 由Hadoop的学习,我们引出了HBase的学习,知道了它是一种列式存储,在实际应用中需要结合zookeeper和hadoop一起使用。但是本文并没有介绍它的shell命令以及API接口等等,这些需要我们以后慢慢学习原创 2016-05-29 16:33:49 · 1474 阅读 · 2 评论 -
从零开始学Hadoop----初识
我们知道大数据的时代已经到来,之前就给大家分享了应对大数据的非关系型数据库redis。今天,我们再来看看处理和分析海量数据的神器——hadoop。 今天我们简单认识了一下Hadoop,知道了hadoop在大数据处理中的重要作用,以后我们将逐步学习hadoop,希望对喜欢hadoop的人有所帮助。原创 2016-05-04 15:34:22 · 2259 阅读 · 2 评论 -
从零开始学Hadoop----浅析HDFS(一)
之前,我们简单介绍了一下Hadoop,知道他是一个处理大数据的框架。今天我们来看看Hadoop的核心构成之一—-HDFS. 这次我们知道了HDFS是一个分布式的文件存储系统,它的一些基本的概念和优缺点我们已经知道了,下次我们将给大家分享一下HDFS的运行原理。原创 2016-05-10 08:58:01 · 7677 阅读 · 1 评论 -
NoSql之深入浅出redis
之前我们简单介绍了一下redis,知道了它的一些特性以及它的作用,今天我们来看看它在实际使用中的一些简单的命令,以及它的一些高级特性。 从redis的介绍到简单的操作命令,然后又了解了它的事务,持久化,主从复制等特性,希望在以后的项目中使用的时候会得心应手,至于redis其他的特性,如虚拟内存等,我们可以以后一点点深入。而且在实际应用过程中还会出现各种各样的问题,到时候再逐个解决。原创 2016-04-27 12:33:22 · 9215 阅读 · 10 评论 -
用索引来实现幂等
随着大数据的到来,分布式处理变得越来越火,而且分布式中的一致性事务又是重中之重。当然我们今天的重点不在于介绍如何保证分布式事务中的一致性,而是在保证事务一致性的过程中会出现一系列的补偿机制,这就涉及到了幂等。接下来让我们一起去看一下吧。 我们了解了索引之后就能实现幂等了,从而可以避免重复插入。这在电商或者其他的项目中,处理重复的订单就简单多了。当然,这只是其中的一种方法,其他的方法以后遇到再与大家分享。原创 2016-06-17 11:25:37 · 1917 阅读 · 1 评论