浮生若梦

在安装hive的时候出了很多错误。解决了很久才解决。第一，查看是不是忘记启动集群。第二，查看hive-site.xml文件是不是出错。下面是我的xml文件，经过修改之后，看起来是正确的。<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!--

错误：依赖检测失败： libmysqlclient.so.18()(64bit) 被 (已安裝) postfix-2:2.10.1-6.el7.x86_64 需要 libmysqlclient.so.18(libmysqlclient_18)(64bit) 被 (已安裝) postfix-2:2.10.1-6.el7.x86_64 需要#强制卸载，因为没有--nodepsrpm -e --nodeps mysql-community-libs-compat-5.7.21-1.el7...

第 1 章 MapReduce 概述1.1 MapReduce 定义MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 Hadoop 集群上。1.2 MapReduce 优缺点1.2.1 优点1）MapReduce 易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这...

HDFS第 1 章 HDFS 概述1.1 HDFS 产出背景及定义1）HDFS 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。2）HDFS 定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很

这个博客是学习尚硅谷大数据课程所作的笔记，课程原地址可以访问https://www.bilibili.com/video/BV1Qp4y1n7EN?p=7&spm_id_from=pageDriver，感谢尚硅谷免费提供的课程资料，同时感谢尚硅谷大海老师的讲解。第 1 章 Hadoop 概述1.1 Hadoop 是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop..

1大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和 处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化 能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、 KB、MB、GB、TB、PB、EB、ZB、YB、 BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T大数据主要解决，海量数据的采集、存