- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据HBase(二)
大数据HBase学习笔记(二)Hbase的shell命令1. help 帮助命令 help '命令名字'2. hbase中数据库的概念 hbase中没有数据库的概念 ， 只有 namespace，我们为了方便，暂时也叫做数据库 2.1 显示所有的数据库 list_namespace 默认会有 default hbase 两个库 ...
2019-07-26 09:32:01
253
原创 大数据HBase(一)
大数据HBase学习笔记(一)HBase引言什么是HBase？HBase是Apache组织开源的顶级项目 distributed，scalable，big data store产品。HBase是基于Hadoop的一个NoSQL产品，Column类型的NoSQL。HBase是Google BigTable的开源实现。HBase运行亿级数据查询是，效率可达秒级，甚至毫秒级，用于做在线...
2019-07-26 09:15:45
101
原创 大数据Sqoop
大数据课程第十天Sqoop Hadoop的辅助工具 （CDH）Hadoop(CDH)1. ip 主机名 映射 防火墙 selinux jdk ssh 2. hadoop解压缩3. 修改hadoop相关配置文件 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.x...
2019-07-26 09:11:38
93
原创 大数据Hive
大数据HiveHive技术引言什么是Hivehive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目。 hive.apache.orghive是一个基于大数据技术的数据仓库技术 DataWareHouse (数仓) 数据库 DataBase 数据量级小，数据价值高 数据仓库 DataWareHouse ...
2019-07-26 09:02:47
225
原创 大数据Hadoop(三)
大数据Hadoop(三)MapReduce开发环境 （Maven )pom.xml<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2...
2019-07-25 21:52:30
98
原创 大数据Hadoop(二)
大数据Hadoop(二)NameNode的持久化（persistent）NameNode在运行时，把重要的元数据放置在内存中，如果内存出现问题，则元数据丢失，为了保证元数据安全，NameNode有对应的持久化机制，把元数据持久化到硬盘存储。FSImage 和 EditsLog 存储位置#FSImage默认存储位置 /opt/install/hadoop-2.5.2/data/tm...
2019-07-25 21:51:30
207
原创 大数据Hadoop(一)
大数据Hadoop学习笔记(一)大数据引言什么是大数据？体量很大的数据，起步存储当量为TB级或者日均数据增长GB级。在海量数据下，可以进行分析，挖掘，进而发现数据内在的规律，从而为企业或者国家创造价值。大数据有什么特点？#4v特性1. Volume：体量大2. Variety：样式多 数据种类多 2.1 结构化数据 2.2 半结构化数据 jso...
2019-07-25 21:50:11
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人