![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 88
爱吃红烧鱼
学习笔记
展开
-
大数据学习笔记(六)_Hive数据仓库
一.Hive 是什么The Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.Apache Hive数据仓库软件简化了分布式存储中的大型数据集的读、写和管理,并使用SQL语法进行查询。自己的理解就是:Hive 就是使用sql 的语法来操作分布式原创 2021-03-22 15:20:53 · 138 阅读 · 0 评论 -
大数据学习笔记(五)_YARN资源调度框架
一:YARN 产生背景MapReduce1.x 的特点master/slave 架构:JobTracker/TaskTrackerJobTracker: 单点、压力大仅仅只能够支持mapreduce作业正因为有这样的问题,催生出 YARN二:YARN 概述官网介绍:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-yarn/hadoop-yarn-site/YARN.htmlMapReduce ha原创 2021-01-27 14:04:52 · 182 阅读 · 0 评论 -
大数据学习笔记(四)_MapReduce分布式处理框架
官网概要:Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terabyte data-sets) in-parallel on large clusters (thousands of nodes) of commodity hardware in a reliable, fault-tolerant manner.A Ma原创 2021-01-25 15:55:34 · 141 阅读 · 0 评论 -
大数据学习笔记(三)_Hadoop其他特点设置
官方指南:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.12.1/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html此处摘抄些重点的内容,并用记录自己的一些理解表达一:Safemode(安全模式)摘抄简述:在启动过程中,NameNode 从 fsimage 和编辑日志文件加载文件系统状态。然后,它会等待 DataNodes 报告其块,以便它不会过早地开始复制这些块,尽管群集中已经存原创 2020-12-28 15:50:30 · 132 阅读 · 0 评论 -
大数据学习笔记(二)_Hadoop_HDFS操作
一:HDFS 的 启动命令:在/home/自己目录/hadoop-2.6.0-cdh5.15.1/sbin 下./start-dfs.sh ----启动 Hadoop HDFS 启动后 输入 jps 可以看到 以下几个进程 代表已经启动成功NameNode 进程DataNode 进程SecondaryNameNode 进程./stop-dfs.sh ----停止 Hadoop HDFS还可以通过命名启动每个单进程./hadoop-daemons.sh start namenod原创 2020-12-25 14:20:38 · 216 阅读 · 0 评论 -
大数据学习笔记(一)_Hadoop简述
官网概述:The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers usin原创 2020-12-24 16:25:07 · 181 阅读 · 2 评论