- 博客(8)
- 收藏
- 关注
转载 大数据
大数据的特点及应用领域,技术框架?大数据其实就是海量资料巨量资料,这些巨量资料来源于世界各地随时产生的数据,在大数据时代,任何微小的数据都可能产生不可思议的价值。4个特点,为别为:Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值),一般我们称之为4V大量。大数据的特征首先就体现为“大”,从先Map3时代,一个小小的MB级别的Map3就可以满足很多人的需...
2019-05-27 13:13:27
965
转载 Spark的定义以及安装
一、什么是Spark官网地址:http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看,Spark也用于AI人工智能spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。...
2019-05-25 17:21:20
415
转载 Hive与mysql的初识以及安装
Hive提供了三种用户接口:CLI、HWI和客户端。客户端是使用JDBC驱动通过thrift,远程操作Hive。HWI即提供Web界面远程访问Hive。但是最常见的使用方式还是使用CLI方式。(在linux终端操作Hive)Hive有三种安装方式:1、内嵌模式(元数据保村在内嵌的derby种,允许一个会话链接,尝试多个会话链接时会报错,不适合开发环境)2、本地模式(本地安装mysql 替代d...
2019-05-25 17:14:55
297
转载 Redis、mongodb常用命令
Redis在doc 环境下使用命令:keys 命令 ? 匹配一个字符 * 匹配任意个(包括0个)字符 [] 匹配括号间的任一个字符,可以使用 "-" 符号表示一个范围,如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x,用于转义符号,如果要匹配 "?" 就需要使用 \?判断一个键值是否存在 exists ...
2019-05-25 17:03:46
175
转载 Hbase体系结构、环境搭建、shell的使用
HBase体系结构1、一个表会按照行划分为若干个region,每一个region分配给一台特定的regionserver管理2、每一个region内部还要一句列族划分为若干个HStore3、每个HStore中的数据会落地到若干个HFILE文件中4、region体积会随着数据插入而不断增长,到一定阈值后悔分裂5、随着region的分裂,一台regionserver上管理的region会越...
2019-05-25 16:57:29
234
转载 运行wordcount程序
运行WordCount程序 单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。image2.1 准备工作现在以"hadoop"普通用户登录"Master.Had...
2019-05-25 16:40:24
843
转载 Ecliipse+maven连接配置问题
1.修改本地仓库位置maven从中心仓库下载的文件一般默认放在本地用户文件加下的.m2/repository文件夹中,修改则需要找到所下载的maven文件夹下的conf文件夹下的setting.xml文件,修改标签(自己创建本地仓库的文件夹)2.修改中心仓库的镜像地址继续找到setting.xml文件,找到添加阿里云镜像nexus-aliyuncentralNexus aliyun...
2019-05-25 16:26:20
213
转载 hadoop搭建伪分布式集群
一、Hadoop的三种运行模式(启动模式)1.1、单机模式(独立模式)(Local或Standalone Mode) -默认情况下,Hadoop即处于该模式,用于开发和调式。-不对配置文件进行修改。 -使用本地文件系统,而不是分布式文件系统。 -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce...
2019-05-25 15:52:28
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人