![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据
文章平均质量分 78
数据
~chun
---------------------------------------------
展开
-
DATAX
DATAX原创 2022-01-15 17:41:06 · 650 阅读 · 0 评论 -
Hbase概述
文章目录一、Hbase简介二、存储形式3、Hbase的shell命令一、Hbase简介hbase是Apache 组织开源的顶级项目 distributed, scalable(可伸缩), big data store (大数据存储)产品hbase是基于Hadoop的一个NoSQL产品 Column类型的NoSQLhbase是Google BigTable的开源实现, 爬虫爬取的网页hbase运行亿级数据查询时,效率可达到秒级,毫秒级 在线处理 实时的处理NoSQL特点 1. 部分NoSQL原创 2020-11-04 22:06:50 · 572 阅读 · 0 评论 -
Oozie的基本使用
Oozie的基本使用原创 2022-09-24 21:08:13 · 775 阅读 · 0 评论 -
CDH的搭建
CDH的搭建一、CDH的搭建1.1 ip1.2 防火墙1.3 主机名及映射1.4 服务器clone1.5、SSH1.6、NTP时钟同步1.7、mysql1.8、CDH安装一、CDH的搭建1.1 ip reboot (重启) 网络服务器 service network start|stop|restart OS7: systemctl restart network ip: 查看: ip addr ifconfig ifconfig eth0 具体查看某一块网卡的ip信息 修原创 2021-10-24 21:21:12 · 3751 阅读 · 0 评论 -
hive_sqoop_定时任务
文章目录1、hive简介2、作用3、建库建表相关1、hive简介hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目。 hive.apache.orghive是一个基于大数据技术的数据仓库技术 DataWareHouse (数仓) 数据库 DataBase 数据量级小,数据价值高 数据仓库 DataWareHouse 数据体量大,数据价值低底层依附是HDFS,MapReduce2、作用Hiv原创 2020-11-02 20:27:02 · 1830 阅读 · 0 评论 -
数据的分层
文章目录数据的分层一、层级划分一、数据运营层:ODS(Operational Data Store)二、数据仓库层:DW(Data Warehouse)三、数据应用层:APP(Application)四、数据的存储数据的分层一、层级划分 ODS:存放原始数据 DW:存放数仓中间层数据 APP:面向业务定制的应用数据一、数据运营层:ODS(Operational Data Store)面向主题的”数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,原创 2021-11-13 17:42:28 · 4994 阅读 · 0 评论 -
数据--题库
文章目录Ambari Hadoop 管理监控工具一、Ambari 简介二、作用三、Ambari的安装Ambari Hadoop 管理监控工具一、Ambari 简介 是5个顶级hadoop管理工具之一 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。二、作用1、设置Hadoop集群 Ambari提供了用于在任意数原创 2020-11-01 20:49:36 · 994 阅读 · 1 评论 -
MapReduce概述
文章目录1. 什么是MapReduce2. MapReduce的构建思想3.MapReduce程序开发结构4.yarn 管理计算资源5. MapReduce的程序开发1. 什么是MapReduce#后续 Spark完成类似的工作MapReduce是Hadoop体系下的一种计算模型(计算框架),主要功能是用于操作,处理HDFS上的大数据级数据。2. MapReduce的构建思想3.MapReduce程序开发结构4.yarn 管理计算资源1. 配置相关的配置文件 etc/hadoop原创 2020-10-28 22:08:01 · 291 阅读 · 0 评论 -
HDFS概述
文章目录1. 什么是HDFS2. HDFS基本架构3. 搭建[HDFS]3. 安装hadoop4. hadoop配置文件的配置 etc/hadoop5. namenode的格式化6. 启动hadoop守护进程7. 测试验证安装成果8. Hadoop HDFS运行过程中的错误分析#HDFS的client访问9.指定 Hadoop的启停脚本1. 什么是HDFSHDFS 全称是Hadoop Distributed File System hadoop分布式(cluser)文件存储系统.2. HDFS基本原创 2020-10-26 23:23:14 · 5278 阅读 · 0 评论