Java大数据
文章平均质量分 73
安卓学吧
这个作者很懒,什么都没留下…
展开
-
Redis教程(一)简介及安装
一、简介1.1、特点 redis是一个开源的key-value存储系统,支持多种数据结构,包括:String,hashes,lists,sets和sorted sets。redis将数据存储于内存中,在内存不足的时候使用虚拟内存来保存数据,redis又两种持久化方案: 1、定时将当前缓存数据存到硬盘。(默认) 2、aof形式:把所有对redis 的操作命令存储到文件中,恢复时使用。 redi...原创 2018-05-17 09:29:22 · 1246 阅读 · 0 评论 -
大数据、数据分析、数据挖掘
在大数据领域里,经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和差别。大讲台老师通过一些大数据在高校应用的例子,来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。 (一)数据分析 数据分析是一个大的概念,理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程,都叫数据分析。从数据本身的复杂程度、以及对数据进行处理...原创 2018-10-19 11:31:16 · 772 阅读 · 0 评论 -
ODPS (MaxCompute)是什么?
ODPS(Open Data Processing Service),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。同时,大数据开发套件和 MaxCom...原创 2018-10-01 22:11:38 · 1957 阅读 · 0 评论 -
Hadoop(二) HDFS原理
一、概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间。HDFS特点: ① 保存多个副本...原创 2018-06-07 17:14:02 · 259 阅读 · 0 评论 -
Hadoop - Spark 关系
谈到大数据,相信大家对Hadoop和Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。一、解决问题的层面不一样1. 首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多...原创 2018-06-07 15:22:18 · 310 阅读 · 0 评论 -
Hadoop 2.x 四层架构
一、存储层:文件系统HDFS,NoSQL Hbase二、资源及数据管理层:YARN以及Sentry等三、计算引擎:MapReduce、Impala、Spark等四、基于MapReduce、Spark等计算引擎的高级封装及工具:Hive、Pig、Mahout等...原创 2018-06-13 10:30:23 · 969 阅读 · 0 评论 -
Yarn(二) 详解
1. Yarn架构1.1 简介1.1.1 架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。YARN总体上仍然是Master/Slave结构,在整个资源管理框架中,ResourceManager为Master,NodeManager为Slave,ResourceManager负责对各个NodeManage...原创 2018-05-29 11:44:16 · 894 阅读 · 0 评论 -
Yarn(一) 简介
一、YARN基本服务组件 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。 ...原创 2018-05-29 11:26:32 · 1287 阅读 · 0 评论 -
Redis - Memcached 比较
Memcached和Redis作为两种Inmemory的key-value数据库,在设计和思想方面有着很多共通的地方,作为分布式缓存服务器使用等也很相似,在这里把两者放在一起做一下对比的介绍 基本架构和思想首先简单介绍一下两者的架构和设计思路一、MemcachedMemcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric为首开发的高性能分...原创 2018-05-24 10:33:13 · 535 阅读 · 0 评论 -
MongoDB教程(三) Linux下安装
在前面介绍过载win下安装最新版本MongoDB3.2.5。现在主要讨论的是怎样在linux下安装MongoDB3.2.5。其实MongoDB的安装还是比较简单的,无论是在win下或者Linux下。MongoDB安装是只需要将文件夹解压到指定的目录,就代表mongoDB安装成功了,然后就可以启动、连接了。前期准备下载首先下载MongoDB3.2.5.读者可以去官方网站下载,感觉官方网站下载速度确实...原创 2018-05-15 17:02:28 · 213 阅读 · 0 评论 -
MongoDB教程(二) 详解
MongoDB的数据架构官方是这样描述的 MongoDB stores all documents in collections. A collection is a group of related documents that have a set of shared common indexes. Collections are analogous to a table in relatio...原创 2018-05-15 16:53:23 · 357 阅读 · 0 评论 -
MongoDB教程(一) 简介及Windows下安装
MongoDB简介MongDB是一个高性能,开源,无模式的文档型NosQL数据库。主要功能特性:1.文件存储格式BSON(一种json的扩展) 2.模式自由 数据格式不受限了表的结构 3.支持动态查询 4.支持完全索引 5.支持复制(其主从复制)和故障恢复 6.使用高效的二进制数据存储,包括大型对象 7.自动处理碎片,以支持云计算层次的扩展。 8.支持Java、Ruby、Python、C++、PH...原创 2018-05-15 16:48:10 · 289 阅读 · 0 评论 -
Hadoop(一) Windows安装
一、下载hadoop下载地址 http://hadoop.apache.org解压 关于winutils的下载 还需要下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin 。二、配置hadoop首先配置环境变量 1.新建HADOOP_HOME...原创 2018-05-25 14:42:40 · 1031 阅读 · 0 评论 -
Memcached教程(一) 简介及安装
Memcached 教程Memcached是一个自由开源的,高性能,分布式内存对象缓存系统。Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。Memcached是一种基于内存的key-v...原创 2018-05-17 16:36:06 · 296 阅读 · 0 评论 -
Redis教程(二)详解
Redis是一个开源,高级的键值存储和一个适用的解决方案,用于构建高性能,可扩展的Web应用程序。Redis有三个主要特点,使它优越于其它键值数据存储系统 -Redis将其数据库完全保存在内存中,仅使用磁盘进行持久化。与其它键值数据存储相比,Redis有一组相对丰富的数据类型。Redis可以将数据复制到任意数量的从机中。Redis官方网网站是:http://www.redis.io/ Redis的...原创 2018-05-17 10:02:10 · 210 阅读 · 0 评论 -
Hive、Hadoop、HBase
1、Hive、Hadoop、Hbase 1)Hive是为了简化用户编写MapReduce程序而生成的一种框架,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用户编程接口。Hive提供了一套类SQL的查询语言,称为QL,而在创造Hive框架的过程中之所以使用SQL实现Hive是因为大家对SQL语言非常的熟悉,类似作...原创 2018-10-19 12:27:10 · 616 阅读 · 0 评论