- 博客(7)
- 收藏
- 关注
RSS订阅原创 HBASE实验总结
一、实验环境 3台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 hadoop 2.7.2 hbase 1.2.1 hbase与hadoop的版本兼容性，参考http://hbase.apache.org/book.html#basic.prerequisit...
2019-05-26 18:23:13
3765
原创 NOSQL学习总结
一、MySQL： 1.MySQL时代 早年，一般网站访问量都不会太大，基本上单个简单的数据库就能解决一般的数据反问问题。那时基本更多的网站都是以静态网页的样子存在，数据动态交互的网站不是太多。 以下为这种方式的通用架构（图片来源为尚硅谷Redis教程，下同）： 在上图结构下，在数据存储上会出现那些瓶颈呢？ 1.一台机器无法满足网站数据的总大小。 2.一台机器无定法存下数据的索引（B+ Tree）...
2019-05-26 17:29:02
489
原创 HDFS学习总结
HDFS： HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储文件。 HDFS Block： HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块。 HDFS的三个节点： Namenode：用来管理HDFS的元数据。 Datanode：文件系统的工作节点，负责存储元数据。 Secondary Nameno...
2019-05-26 16:57:15
191
原创 MapReduce学习总结
1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。 1.2 MapReduce做什么 MapRed...
2019-05-26 12:23:57
419
原创 HIVE学习总结
Hive定义 Hive是FaceBook开源的用于解决海量的结构化数据统计的一个工具 Hive是Hadoop的一个数据仓库，他可以把结构化的数据映射成一张表，并提供类SQL查询功能 适合离线查询 将SQL转换成MapReduce程序 hive就是一个客户端 注意 不同部门用到的hive版本可能不一样，所以我们要指定hive数据存储在hdfs的目录，来区别不同部门的不同业务需...
2019-05-26 12:02:33
198
原创 Spark实验报告
1 环境准备 1.1 JDK安装 1.1.1 版本 使用1.7或1.7以上版本的JDK 1.1.2 安装 解压环境包：tar -zxvf jdk-7.tgz 移动到/data/下：mvjdk1.7 /data/jdk 1.1.3 环境变量 执行命令 vi /etc/profile, 添加变量：...
2019-05-22 11:28:45
3153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人