hadoop
文章平均质量分 78
大帅帅帅呆呆
这个作者很懒,什么都没留下…
展开
-
Hadoop 知识梳理
Hadoop 知识梳理hadoop是什么 由于现在生活中每天甚至每时每秒都产生海量的数据,普通的存储和计算已经不足以完成任务,需要操作 管理和分析。(1) 集群 分功能处理(2) 海量数据存储(专人处理)目录(3) 统计计算(4)hadoop框架(工具)hadoop的4v原则volumn 体量大velocity 速度快variaty 样式多va...原创 2019-07-18 20:10:31 · 101 阅读 · 0 评论 -
Hadoop3.x版本安装及其应用部署
** 需要准备的:**1. JDK 2. 多台计算机3. 实现无密登录 4.解压hadoop3.1.2tar -zxvf hadoop3.1.2.tar.gz /usr/soft/5.删除帮助文档 rm -rf /usr/soft/hadoop-3.1.2/share/doc6.修改hadoop-env.shexport JAVA_HOME=/usr/sof...原创 2019-06-30 11:12:54 · 347 阅读 · 0 评论 -
Hive函数(基本使用)
Hive插入(装载)数据数据在本地或者hdfs中:load data [local] inpath ‘pathname’ [overwrite] into table tablename [partition(column=xxx)]insert方法:insert into tablename select xx,xx,xxx,xxx,[union all] select xxx...原创 2019-07-27 08:30:25 · 669 阅读 · 0 评论 -
Hdoop小结和worldcount梳理
Hdoop4V特征Volume 大数据量Velocity(速度快)Variety(多样化)Value(价值密度低)Hadoop三大发行版本Apache Clodera HortonworksHadoop组成在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。在Hadoop2.x时代,增加了Yarn。Yarn只负责...原创 2019-07-27 08:31:28 · 130 阅读 · 0 评论 -
Hbase基本理念和与RDBM之间的导入导出合集
HbaseNoSQL not only sql 非关系型数据库与sql对比优势:数据激增,传统数据库分表分库难以维护数据存在关系型数据库,不可切割,而nosql存储数据之间没有依赖的关系nosql高并发读写,每秒万次读写请求。横向扩展性,即增加硬件,提高性能。灵活的数据模型考虑之处:nosql没有强事务的要求,对于要求一致性的情况下,使用sql更...原创 2019-07-27 10:27:29 · 230 阅读 · 0 评论 -
Mapreduce 全过程图
原创 2019-09-21 14:15:49 · 181 阅读 · 0 评论 -
Hive函数
Hive插入(装载)数据数据在本地或者hdfs中 load data [local] inpath 'pathname' [overwrite] into table tablename [partition(column=xxx)]insert 方法: insert方法:insert into tablename select xx,xx,xxx,xxx,[union...原创 2019-09-25 12:27:08 · 329 阅读 · 0 评论