大数据学习——Day01（基础常识和数仓基础）

最新推荐文章于 2024-09-06 19:15:00 发布
最新推荐文章于 2024-09-06 19:15:00 发布
阅读量198 收藏
点赞数 1
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CoffreLv/article/details/106093957
版权
本文介绍了大数据的基础知识，包括大数据的定义、主要特点和发展历程。重点讲解了大数据处理技术中的Hadoop平台，以及数据仓库中的Hive技术。Hive是数据仓库与Hadoop结合的重要标志，用于大数据的存储和计算。此外，还提到了学习大数据所需的硬件和软件需求，如服务器集群、HDFS和MapReduce。
摘要由CSDN通过智能技术生成

大数据定义

现有技术无法处理的数据。

主要特点

  • 体量大
  • 要求处理速度快
  • 数据种类多

发展历程

数据–>存储、计算数据–>分布式计算

大数据处理技术的发展历程

  1. 谷歌提供了理论支撑：GFS、MapReduce和BigTable。
  2. hadoop：大数据处理平台，将分布式计算打包，降低了分布式编程的难度。

数据仓库

Hive

数据仓库中的一个非常重要的技术，是数据仓库与hadoop紧密结合的标志。

学习硬件需求

服务器集群（vmware，购买云服务器集群，购买服务器）

技术软件需求
  1. 存储 ：HDFS
  2. 计算：Mapreduce
hadoop基础
  1. 创建目录
    hadoop dfs -mkdir /home
  2. 上传文件或目录到hdfs
    hadoop dfs -put hello /
    hadoop dfs -put hellodir/ /
  3. 查看目录
    hadoop dfs -ls /
  4. 创建一个空文件
    hadoop dfs -touchz /wahaha
  5. 删除一个文件
    hadoop dfs -rm /wahaha
  6. 删除一个目录
    hadoop
最低0.47元/天 解锁文章
CoffreLv
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据仓库基本知识
直到世界的尽头
10-31 2万+
数据仓库是什么 根据统计，每个企业的数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据量的2%～4%左右。 因此，企业仍然没有最大化地利用已存在的数据资源，以至于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。 于是，企业如何通过各种技术手段，并把数据转换为信息、知识避免各种无知状态和瞎猜行为，已经成了提高其核心竞争力的主要瓶颈。 ...
机器学习入门基础（万字总结）（建议收藏！！！）
热门推荐
subsistent的博客
12-04 3万+
机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本文章涵盖了机器学习的基础知识，主要包括机器学习的概述、 回归、分类、聚类、神经网络、文本分析、图像分析、深度学习等经典的机器学习基础知识，还包括深度学习入门等拔高内容。介绍机器学习的基础概念和知识，包括机器学习简史、主要流派、与人工智能、数据挖掘的关系、应用领域、算法、一般流程等。伴随着计算机计算能力的不断提升以及大数据时代的迅发展人工智能也取得了前所未有的进步。
大数据学习——Day02（数据仓库）
CoffreLv的博客
05-14 209
数据 人对客观事物的观察在大脑中产生的一种记忆，如视频、图像、声音、文字等。 数据的意义 通过对一定量的数据的分析，所得出的规律可以指导实际活动，从而使实际活动更加容易。一般数据越多，规律越多，越准确。 大数据 计算机的出现，使对于数据的计算与存储不在局限于人脑和之前实体的记录方式（纸笔等），计算机可以存储更大量的数据。 大数据的出现，与1类似，对于更更大量的数据，我们需要更快更准确的计算和更大的存储容量。 定义： 当前的技术无法进行处理和分析的数据量。 关键词： 服务器、服务器集群、分布式 重点理
机器学习算法基础 Day6
weixin_43902376的博客
12-16 145
从上图分析，数组在numpy中是ndarray类型，我们引入矩阵，就是为了满足一些特定的运算，我们要求他必须是二维，二维是个什么概念？的时候，如果特征xi过大或太小，对h的影响很大，所以我们要进行标准化去计算，然后计算完后评估时，我不能拿标准化的数据去评估，这样并没有什么意义！也就是我原先在这个曲面的某一点，然后我要想个办法去最低点，首先我要确定放向，也就是路线，我要咋个走才能到最低点，学习率是我要走多少步，我可以就走一步，但可能走过了，我可以一小步一小步的走，刚好走到最低点。三维，目标值在一个平面内。
Android学习笔记：Android基础知识点（不断更新中）
浩比的专栏
10-28 2万+
1、Android系统的四大组件分别是：活动（Activity）、服务（Service）、广播接收器（Broadcast Receiver）、内容提供器（Content Provider）。 2、定义一个应用程序名的字符串，有以下两种方式来引用它：
Java笔记-基础
Kei's Blog
05-25 718
Java 基础语法 一个Java程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。 对象：对象是类的一个实例，有状态和行为。例如，一条狗是一个对象，它的状态有：颜色、名字、品种；行为有：摇尾巴、叫、吃等。类：类是一个模板，它描述一类对象的行为和状态。方法：方法就是行为，一个类可以有很多方法。逻辑运算、数据修改以及所有动
全网目前最全python例子
m0_59485658的博客
06-27 1546
告别枯燥，60秒学会一个小例子，系统学习Python，从入门到大师。Python之路已有190个例子： 第零章：感受Python之美 第一章：Python基础 第二章：Python之坑 第三章：Python字符串和正则 第四章：Python文件 第五章：Python日期 第六章：Python利器 第七章：Python画图 第八章：Python实战 第九章：Python基础算法 第十章：Python机器学习 后续章节： 不断丰富原有1~7章节； Python基础算法； pyth
衡石分析平台使用手册-新手上路介绍
最新发布
zandy1011的博客
09-06 1121
​以下概括阐述了产品基本理念，这些理念贯穿我们的整个产品开发和设计，并最终体现为产品的功能形态。我们希望衡石分析平台可以成为各个领域的行业人员进行业务分析的称手兵器，简单稳定，容易上手。
Storm计算框架
weixin_51591328的博客
09-03 819
工作流程 主要组件 streams spouts Bolt Tuple Topology stream grouping
Maxwell 学习总结
lucky_love816的博客
09-03 513
目录下，如果当前尚未对库做任何修改，则 binlog 文件大小一定为 154 字节，每次重启 MySQL 都会生成新的 binlog 文件，mysql-bin.index 文件内记录了当前使用的 binlog 文件名称。此时在数据库中修改的数据，会被 Maxwell 监听到并发送到 Kafka Broker，Kafka 消费者会订阅到所有 Maxwell 发送的内容。可以看到，即便是一条 sql，Maxwell 也将会返回多条 json，每条 json 对应一条记录。，同时多条 json 的。
【大数据Big DATA】大数据解决方案，提供完整的大数据采集，大数据存储，大数据处理，具体业务应用解决方案
xzb5566的专栏
09-06 829
大数据解决方案是指利用大数据技术，结合企业实际业务需求，为企业提供数据采集、存储、处理、分析和报告等一站式服务，以帮助企业更好地利用大数据提高运营效率、优化决策制定。
高校为什么需要AIGC大数据实验室？
tipdm0301的博客
09-03 504
AIGC大数据实验室是一个专注于人工智能生成内容（AIGC）和大数据相关技术研究、开发与应用的创新实验平台。
高教社杯数模竞赛特辑论文篇-2016年D题：风电场运行状况分析及优化研究（附MATLAB代码实现）
getusushu的博客
09-05 77
1 问题的提出摘要风能作为一种清洁能源，越来越受到世界各国的重视本文以某风电场为研究对象，依据国家对风力发电与资源评估的相关标准，采用大数据信息挖掘和数据拟合技术，建立通用指标体系和整数规划模型，对风电场地运行状况进行了细致分析及优化研究针对问题一，首先利用SPSS软件对全年数据进行探索性分析；接着分别选择以自然风速和蒲福风力等级划分风速区间，进行数据分类汇总；然后依据国家电力技术标准汇编相关标准，确定指标体系；最后分别从月份和全年两方面评估该风电场风能资源与。
深智城基于超融合数据库MatrixOne的一站式交通大数据平台改造
MatrixOrigin的博客
09-04 699
深智城采用了“1+N+1”的创新运作模式，即通过国企平台统筹和生态组合的方式，整合数字孪生、区块链等前沿技术，全面赋能智慧城市建设和企业数字化转型，推动城市的智能化、数字化发展。MatrixOne 完整支撑了深智城集团的交通数字实时仿真项目，通过模拟真实交通业务场景，MatrixOne可轻松应对每小时产生的TB级数据，并达到秒级实时性分析。可完整、稳定支撑深智城集团的交通数字实时仿真项目，实现秒级的业务及分析实时性，并在技术、管理和成本方面均得到了显著提升，大幅降低了系统复杂性、加强了与。
监控平台总结之面试常问&答案
dlnu2015250622的博客
09-06 956
数据采集层:SDK: 在前端集成的SDK 负责采集数据，包括性能指标、用户行为、错误日志等。数据收集: 实现高效的数据采集机制，支持实时数据传输，可能使用fetch、XHR 或 Beacon等 API。数据处理层:数据通过 HTTP 或 WebSocket 发送到服务器，确保传输的可靠性和安全性。数据存储数据存储在数据库中，例如关系型数据库（MySQL）或 NoSQL 数据库（MongoDB）根据需要选择。数据分析层（需要借助大数据，目前不需要提）:数据处理: 对采集到的数据进行处理和分析。
Iceberg与SparkSQL整合DDL操作
SunnyRivers
09-06 763
使用SparkSql操作Iceberg表之前我们得先配置好catalog，配置方式参考[这篇博客]。
Elasticsearch - SpringBoot 索引与文档相关demo
杨杨杨~~的博客
09-03 723
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!
logstash
墨咖
09-03 542
logstash使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值