2021-01-21 大数据课程笔记 day1

最新推荐文章于 2021-04-20 17:26:31 发布
最新推荐文章于 2021-04-20 17:26:31 发布
阅读量308 收藏 1
点赞数
分类专栏： 西行日记 文章标签： linux 大数据 网络
I love 段奥娟
本文链接：https://blog.csdn.net/qq_44745905/article/details/112917149
版权

时间煮雨
@R星校长

在这里插入图片描述
内存的访问效率是硬盘的10万倍

在这里插入图片描述
Zoo 动物园 Keeper 管理者 因为 hadoop 大象 pig 小猪 都是他们开发的，再有一些这样的起名的软件，我们就成动物园了 ，所以我们这款产品就叫动物园管理员吧

如你有几千台服务器的集群，你就需要用 ZooKeeper 监控，看那台服务器宕机了

在这里插入图片描述
ElasticSearch 学起来很快，因为它是站在巨人 Lucene 的肩膀上

在这里插入图片描述
因为实时计算 Spark 的底层代码是用 Scala 写的，所以 Scala 也需要学习，配合 Spark 做实时计算

在这里插入图片描述

Scala
在这里插入图片描述
在这里插入图片描述

CDH 可视化安装，解决兼容问题，它提前给你兼容的对应关系，如Hadoop和hive的兼容版本，都有推荐

在这里插入图片描述
实时计算 最近几年比较火

在这里插入图片描述
Flink 也是做实时运算，是分布式的流数据引擎
我推荐这个，国内字节跳动和阿里都是主要用的 Flink ，想多了解一些东西可以去看看阿里技术 这个公众号

在这里插入图片描述
Kylin 麒麟能在亚秒内查询巨大的 Hive 表

在这里插入图片描述
在这里插入图片描述
安装在电脑上的叫应用程序，那什

最低0.47元/天 解锁文章
Rich Dad
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓建模—数据治理
12-05 4万+
文章目录数据治理统一流程参考模型为什么要治理数据质量层次不齐数据交换和共享困难缺乏有效的管理机制存在数据安全隐患发现问题严重滞后影响不清晰DMBOK的数据治理框架数仓治理治理的分类粗治理细治理数据源治理数据源管理数据源监控数据同步数仓模型治理数据划分及命名空间约定常规表的命名中间表统一指标和字段命名公共处理逻辑下沉及单一核心模型与扩展模型分离层次调用约定组合原则数据拆分核心表数据冗余sql 规范任务注释sql 模板数据服务治理报表治理接口治理上下游约定上游约定表结构变更枚举值create_time &amp
尚学堂大数据学习笔记（五）MapReduce简单案例2：好友推荐 FOF
LGX_TvT的博客
02-10 1196
1. 需求 推荐可能认识的好友 初始数据集 tom hello hadoop cat world hadoop hello hive cat tom hive mr hive hello hive cat hadoop world hello mr hadoop tom hive world hello tom world hive mr 分为直接关系（0）与间接关系（1）计算 2. 具体...
大数据全套教程（0基础到中级）（网盘直接看）
05-22
大数据全套视频基础版，包括 Java mysql spring spark hadoop hbase 等课程。
Centos7解决添加网卡无配置文件问题
欢迎光临
11-25 1万+
1、通过ip addr得知网卡已经添加，但是配置文件却没有 2、使用nmcli con show命令，查看网卡的UUID信息，记下UUID值 3、使用ip addr命令查看网卡信息，记下ens37网卡的MAC地址 4、将 /etc/sysconfig/network-scripts/目录中ifcfg-ens33文件复制一份，并命名为 ifcfg-ens37，重新修改配置文件，注意修改必要的硬件信息 [root@localhost ~]# cd /etc/sysconfig/networ
centOS 7双网卡配置
weixin_44961626的博客
04-20 839
一、前言： 以下均以centOS 7系统为例； 二、安装好centOS 7系统 三、配置默认网络 默认安装的linux系统没有ip地址,原因是因为没有自动动态获取ip。 查看ip [root@localhost ~]# ip a ip相关的配置(开启ip的自动获取) ①找到需要编辑的系统环境中的网卡配置文件； vi /etc/sysconfig/network-scripts/ifcfg-ens33 ②按下键盘中的i键，进入插入模式； ③开启网卡开机自启动，修改onboot为 yes； ④保
2021-02-21 大数据课程笔记 day32
qq_44745905的博客
02-21 166
@R星校长 Spark 第四天【SparkCore 内容】 主要内容 Spark Master 启动源码 Spark Submit 任务提交源码 Spark Driver 启动源码 Spark Application 注册并分配资源 Spark 资源调度结论 Spark 任务调度 Spark 二次排序问题 Spark 分组取 topN 问题 学习目标 第一节 Spark Master 启动 Spark 资源任务调度对象关系图 集群启动过程 Spark 集群启动之后，首先调用 $SPARK_HOME/.
2021-01-23 大数据课程笔记 day3
qq_44745905的博客
01-23 373
@R星校长 输入：“vi /etc/hosts”编辑hosts文件，添加本地解析条目 添加如下条目： 此时域名node0、node1、node2、node3、node4会被解析为配置的IP地址。 保存退出。 上图可见，在 ping node0 的时候，node0 解析为了192.168.20.100。 这个时候就可以使用 XShell 工具连接来远程连接虚拟机操作系统进行工作了。 打开 XShell ，输入 “ssh root@192.168.20.100” 回车，在弹出的对话框中输入密码：123.
2021-01-30 大数据课程笔记 day10
qq_44745905的博客
01-30 268
@R星校长 课程重点 HDFS 完全分布式搭建(熟练) Hadoop 3.x 新特性（了解） Hadoop Federation（了解） Hadoop HA（掌握） Hadoop HA 集群搭建（熟练） java 客户端操作 HDFS（熟练） HDFS 完全分布式搭建 规划 node1 node2 node3 node4 NameNode SecondaryNameNode DataNode-1 DataNode-2 DataNode-3 基础设置 a) 网络 b) ssh.
2021-01-29 大数据课程笔记 day9
qq_44745905的博客
01-29 635
@R星校长 hadoop 第一天 Hadoop一共六天课程： 分布式存储 两天 MapReduce计算 两天 案例 两天 第一天内容安排 1T文件操作（训练） hadoop起源（了解） HDFS架构（重点） 数据块副本放置策略（重点） HDFS的权限（了解） hadoop的安全模式（理解） HDFS写文件流程（重点） HDFS读文件流程（重点） 伪分布式搭建（熟练） 热身1T文件操作的思考： 分治思想 单机处理大数据的问题 集群分布式处理大数据的辩证 分治思想引入案例 十万个元素（数字或单词.
大数据--第一章大数据概述笔记分享.pdf
12-24
【大数据概述】 大数据，顾名思义，是指数据量巨大、处理速度快、种类多样且价值密度低的数据集合。这一概念的出现与三次信息化浪潮密切相关。第一次信息化浪潮始于1980年前后，由个人计算机引领，主要解决了信息...
mybatis框架-学习笔记Day01.rar
03-26
本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记Day01》的相关代码文件本人博客文章《mybatis框架-学习笔记...
教师暑假读书笔记-读《大数据》随感.doc
12-21
"教师暑假读书笔记-读《大数据》随感" 通过阅读《大数据》，我发现了许多与教育教学相关的知识点，以下是我的读书笔记： 首先，让我们来探讨第一个故事：街头警察的创新传奇。在这个故事中，我们可以看到数据分析...
《IT学习资料3》-Java 大数据学习笔记.zip
最新发布
04-02
【标题】《IT学习资料3》-Java 大数据学习笔记.zip 这是一份全面的IT学习资源，专为对Java大数据技术感兴趣的学习者而准备。这个压缩包包含了一系列与Java大数据相关的学习材料，旨在帮助你掌握从基础到进阶的各种...
2021年全新大数据学习路线图，（含入门到精通项目学习免费教程哦）
黑马程序员官方博客
01-20 1万+
大数据教程，大数据学习，大数据学习路线图， 今天就给大家分享2021年全新的大数据学习教程哦！ 2021年黑马程序员全新的大数据学习路线图分享给大家，大家可以按照这个大纲来学习，自学也可哦！ 第一阶段：零基础数据仓库课程 （线下基础班课程） 8天零基础入门大数据 完整视频：http://yun.itheima.com/course/754.html?2012stt 配套资料：https://pan.baidu.com/s/1JhCoS4mI4Oe_FbDMWdVdTw 提取码：g7fi 第
mount: 在 /dev/sr0 上找不到媒体 & mount: 挂载点 /mnt/cdrom 不存在
热门推荐
qq_44745905的博客
02-04 2万+
@R星校长 遇到两个问题： mount: 在 /dev/sr0 上找不到媒体 mount: 挂载点 /mnt/cdrom 不存在 问题 1： 灰色显示表示这个没有连接上 可移动设备 勾选启动时连接，如果设备是启动状态就还要勾选已连接 ，并且连接处要选择好ISO映像文件，点击浏览，选择电脑对应位置的镜像文件。 问题 2： 挂在目录不存在，说明缺少文件目录，我们这个时候需要新建目录，mkdir -p 中的 - p 表示 可以在父目录中创建子目录 mkdir -p /mnt/cdrom .
2021-02-08/09 大数据课程笔记 day19day20 某大型网站日志分析离线系统
qq_44745905的博客
02-10 4198
@R星校长 某大型网站日志分析离线系统 项目需求分析 概述 该部分的主要目标就是描述本次项目最终七个分析模块的界面展示。 工作流   在我们的 demo 展示中，我们使用 jquery+echarts 的方式调用程序后台提供的 rest api 接口，获取 json 数据，然后通过 jquery+css 的方式进行数据展示。工作流程如下： 分析 总述 在本次项目中我们分别从七个大的角度来进行分析，分别为： 用户基本信息分析模块 浏览器信息分析模块 地域信息分析模块 用户浏览深度分析模块 外链数据分析模块 .
2021-02-26~27~28 大数据课程笔记 day37day38day39
qq_44745905的博客
02-28 3477
@R星校长 音乐数据中心平台 1.1 数据库与ER建模 1.1.1 数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.2 数据库三范式 关系型数据库设计时，遵照一定的.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值