此木Y
码龄3年
  • 141,217
    被访问
  • 27
    原创
  • 25,402
    排名
  • 1,089
    粉丝
关注
提问 私信

个人简介：大数据搬砖工程师一枚

  • 加入CSDN时间： 2018-12-02
博客简介：

努力努力再努力！的博客

查看详细资料
  • 4
    领奖
    总分 660 当月 61
个人成就
  • 获得91次点赞
  • 内容获得29次评论
  • 获得125次收藏
创作历程
  • 4篇
    2022年
  • 19篇
    2021年
  • 6篇
    2020年
  • 12篇
    2019年
成就勋章
TA的专栏
  • Flink
    2篇
  • 大数据技术在大厂的应用
    7篇
  • ClickHouse
    6篇
兴趣领域 设置
  • 大数据
    hadoophivesparketl
  • 数据库管理
    数据仓库
  • 安全
    系统安全
  • 产品/运营
    用户运营
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Spark统一内存管理

Spark 1.6 之后引入的统一内存管理机制，与静态内存管理的区别在于存储内存和执行内存共享同一块空间，可以动态占用对方的空闲区域，如下图所示：统一内存管理图示——堆内统一内存管理图示——堆外其中最重要的优化在于动态占用机制，其规则如下：设定基本的存储内存和执行内存区域（spark.storage.storageFraction 参数），该设定确定了双方各自拥有的空间的范围双方的空间都不足时，则存储到硬盘；若己方空间不足而对方空余时，可借用对方的空间;（存储空间不足是指不足以放下一个完整的
原创
发布博客 2022.05.07 ·
87 阅读 ·
0 点赞 ·
0 评论

启动flume时 出现一下错误。

答:

启动命令有问题吧，
flume-ng agent -n a1 -c conf -f ./conf/conf/master.conf -Dflume.root.logger=INFO,console
大概这样试试

回答问题 2022.05.07

配置完zookeeper显示服务出错

答:

看下具体的日志内容

回答问题 2022.05.06

在配置hive血缘关系时遇到以下问题，请大家看下谁也遇到过吗

答:

参考下这个：
https://www.jianshu.com/p/1412b5af0e13

回答问题 2022.04.01

elasticsearch-sql

答:

你的warningtime是什么格式的，试试这种
where warningtime >= current_timestamp + interval -1 hour

回答问题 2022.04.01

首次安装启动cm和cdh找不到cdh

答:

CDH6.2.0详细安装步骤_此木Y的博客-CSDN博客_cdh最新版本 1.准备集群本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。ip名称内存172.17.0.169node16916G172.17.0.170node17016G172.17.0.171node17116G2.安装JDK百度网盘 链接：https://pan.baidu.com/s/1eR-ZAZNLBZwSLgUSmmlfEQ提取码：95yu2.1 创建 https://blog.csdn.net/weixin_43909382/article/details/118797590?spm=1001.2014.3001.5502

看看我写的这个CDH安装文档有没有帮助吧

回答问题 2022.04.01

where条件可能有多种，如何在一个表中拿到所有的结果

答:

select max(money) from t_money where 最近一年
union all
select max(money) from t_money where 最近一季度
类似这样吧，只通过一个 select和where应该没法实现

回答问题 2022.04.01

开窗函数的开窗的字段为空会怎么样

答:

空的划分为一组，如：bbb,ccc；bbb,null

回答问题 2022.04.01

Kafka3.0.0单机安装及简单使用

1.下载Kafka3.0.0下载地址：Kafka下载我下载的是kafka_2.12-3.0.0.tgz 版本的，本文也是基于此版本。2.安装下载完成后上传到linux后，进行解压，命令：tar -zxf kafka_2.12-3.0.0.tgz然后进入解压后的目录，创建logs文件夹cd kafka_2.12-3.0.0/mkdir logs之后进入config目录，修改 server.properties 的如下内容：listeners=PLAINTEXT://localhost
原创
发布博客 2022.03.11 ·
3434 阅读 ·
2 点赞 ·
0 评论

Flink CDC 2.0 SQL初体验(MySql版)

1.MySql创建表：CREATE TABLE `student` ( `id` int(10) NOT NULL, `name` varchar(128) CHARACTER SET latin1 COLLATE latin1_swedish_ci DEFAULT NULL, `age` int(10) DEFAULT NULL, PRIMARY KEY (`id`) USING BTREE) ENGINE = InnoDB CHARACTER SET = latin1;2.ma
原创
发布博客 2022.03.10 ·
2013 阅读 ·
2 点赞 ·
0 评论

Flink CDC 2.0 正式发布，详解核心改进

Flink CDC 2.0 正式发布，详解核心改进一、CDC 概述CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。CDC 的技术方案非常多，目前业界主
转载
发布博客 2022.03.10 ·
103 阅读 ·
0 点赞 ·
0 评论

HIVE无法正常启动

答:

hive 和hadoop分别是什么版本的，配置都没问题的话，建议降低一下hive的版本

回答问题 2022.03.09

请问为什么A是对的呀，不是应该每个数据库只能有一个主数据文件吗？

答:

主数据文件（主文件）
是数据库的关键文件，是所有数据文件的起点，包含指向其他数据库文件的指针，每个数据库都必须有且仅有一个主文件，默认扩展名为.mdf。

一个数据库必须至少包含一个主数据文件和一个日志文件。

是这样子的。

回答问题 2022.03.09

HADOOP测试文件拷贝

答:

https://www.jianshu.com/p/6baff77b13a3
可以看看

回答问题 2022.03.09

Hive启动报错：Name node is in safe mode.

在自己的测试环境启动Hive出现报错：由错误日志可以看出是NameNode处于安全模式，根据其中提示，使用 hdfs dfsadmin -safemode leave 可以离开安全模式，但是使用了该命令后，再启动hive还是会报这个错误，一顿操作后（就是各种谷歌），发现可能是节点资源不足导致的，于是就用 df -hl命令查看集群空间的使用情况：果然，已经使用100%了，那后面相信同样情况的大佬们已经知道怎么处理了吧（不知道的留言也行）。...
原创
发布博客 2021.12.08 ·
1242 阅读 ·
0 点赞 ·
0 评论

Navcat12的使用问题，求解答

答:

https://navicat.com.cn/support/online-manual
这是官方文档，里面有PDF可以下载查看。

回答问题 2021.11.17

mysql语句因为计算需要某一列，但是我不想它在最终结果显示出来，应该怎么写

答:

再套一层吧，哈哈

回答问题 2021.11.17

查询学生的姓名和学生所选的总课程平均成绩

答:

你倒是把表结构发出来啊

回答问题 2021.11.12

BigQurey 或者 sql 中怎么计算 不同行不同列 的 两个字相减

答:

DATEDIFF 两个时间相减不就好了

回答问题 2021.11.12

网易云音乐数据治理探索与实践

网易云音乐数据治理探索与实践导读：大数据时代的到来，让很多企业看到了数据资产的价值，开始探索应用场景和商业模式，并建设相关技术平台。因此，数据治理成为了挖掘数据价值的重要手段和工具。但数据治理不仅需要完善的保障机制，还需要理解具体的治理内容，比如数据该怎么规范，元数据该怎么管理等。这些问题是数据治理过程中最实际也是最复杂的问题，今天我将从数据治理的各个核心领域来和大家分享一下云音乐在数据治理中的探索与实践。本文会围绕以下四个方面展开：音乐数仓概况数据规范埋点治理资产治理音乐数仓概况首先介
转载
发布博客 2021.11.09 ·
316 阅读 ·
0 点赞 ·
0 评论
加载更多