- 博客(17)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 如何将年薪从十五万到五十万系列之Flink系列 - 实时数仓之数据入ElasticSearch实战
我们实时的流处理入 ElasticSearch 中还是比较麻烦的，虽然说 flink 提供了相关的 sink 接口，但是一般来说仅仅是简单的将数据插入而已，对于优化以及使用用户名和密码登录操作的话，不管官网还是网上，写得零零碎碎的，对于大佬来说可以拼接起来再用，但是对于像我这种菜鸟来说，那简直是看天书一样，一愣一愣的。今天写这个案例主要是项目中涉及了这个需求，废了半条命终于整理出来了，现在做个总结，以便避免初学者再掉坑。废话不多说，接下来我们开搞。。。一、启动服务器[syy@nfdw elastic
2022-05-25 21:12:55
286
原创 如何将年薪从十五万到五十万系列之Flink系列 - 实时数仓之FlinkCDC实现动态分流实战
自从Flink出了FlinkCDC之后，我们对数据库日志的采集就变得方便了许多了，除去了MaxWell、Cannel、OGG等第三方组件的繁琐配置，目前实现CDC有两种方式：HQL实现 和 DataStreamAPI实现(推荐)。
2022-05-01 18:08:50
2186
2
原创 如何将年薪从十五万到五十万系列之什么叫做大数据
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者）最近，应朋友邀请，去大学里给大数据专业的同学们... 交流一下心得和同学们交流了很多，但是大家比较关心的还是 什么叫做大数据，什么才叫做大数据。所以今天在这里 我想要表达一下我的观点大数据，他在百度百科里的概念是这样的嗯，说的很准，言简意赅。但是光靠概念性的东西往往是说不清楚的所以为了大家能准确的理解，还是用一些大家比较好了解的单位来说明一下。那就是 大数据的 大。对吧，数据咱们不用在解释了，就说这个大吧..
2022-04-28 23:17:18
1286
原创 如何将年薪从十五万到五十万系列之数据仓库开发人员怎么避免成为取数机器？
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者）由于源码讲解和日常辅导的VIP群的小伙伴们越来越多，所以最开始定的一折活动（199rmb/年）将于近日结束，有兴趣的小伙伴们还是一样，私信我领取源码讲解课程哦。试读两节，有兴趣在缴费，我感觉我亏了…下面进入今天的正文从事互联网数据仓库工作好多年了，其中最大的感触就是数据仓库开发人员每天做的最多的工作就是为业务方取数。简单重复的取数工作，一方面很难让大家在技能上有提高，另一方面也慢慢的消磨了大家的积极性和意志，也让大家极没有存在感。另外，在
2022-04-28 22:54:38
1950
原创 力扣习题集3--无重复字符的最长子串
题目地址：3. 无重复字符的最长子串难度中等7429收藏分享切换为英文接收动态反馈给定一个字符串s，请你找出其中不含有重复字符的最长子串的长度。示例1:输入: s = "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是"abc"，所以其长度为 3。示例 2:输入: s = "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。示例 3:输入: s = "pwwkew"输出: 3解释:...
2022-04-22 17:35:44
108
原创 力扣习题集2--两数相加
题目地址：2. 两数相加给你两个非空的链表，表示两个非负的整数。它们每位数字都是按照逆序的方式存储的，并且每个节点只能存储一位数字。请你将两个数相加，并以相同形式返回一个表示和的链表。你可以假设除了数字 0 之外，这两个数都不会以 0开头。示例 1：输入：l1 = [2,4,3], l2 = [5,6,4]输出：[7,0,8]解释：342 + 465 = 807.示例 2：输入：l1 = [0], l2 = [0]输出：[0]示例 ...
2022-04-22 17:32:07
54
原创 力扣习题集1--两数之和
1. 两数之和给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值target 的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1] 。示例 2：输入：nums = [...
2022-04-22 17:28:43
56
原创 如何将年薪从十五万到五十万系列之转型【数仓开发】该怎么学
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）目前正在带领小伙伴们阅读spark源码，有兴趣的小伙伴可以私信我，获取大数据进阶的相关视频哦。开发不易，小伙伴们一起来报团取暖吧从面试角度看数仓开发这篇我们从面试的角度讨论一下转【数仓开发】该怎么学、学什么、学到什么程度。数仓社招面试一般分为三个部分：1.技术基础：基于简历上写的技术展开去讨论这些技术点的原理、底层实现等2.sql实践：1~3道sql题，现场写3.讲项目：中间会基于项目中的一些点展开讨论，穿插业务理解、数据建
2022-04-16 10:55:55
2781
原创 一个不太好理解的sql
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）目前正在带领小伙伴们阅读spark源码，有兴趣的小伙伴可以私信我，获取大数据进阶的相关视频哦。今天在问答区碰到了一个有趣的问题。1.表结构CREATE TABLE `customer`( `id` int COMMENT '用户主键', `name` string COMMENT '姓名' `contact` string COMMENT '联系人')2.有趣的事情来了然后写了一个非常有趣的sqlSELE
2022-04-15 21:06:22
570
原创 如何将年薪从十五万到五十万系列之连续登录问题进阶版
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）目前正在带领小伙伴们阅读spark源码，有兴趣的小伙伴可以私信我，获取大数据进阶的相关视频哦。一、引入紧接上一篇文章：数仓面试，由入门到精通之连续登录问题表结构和数据一致需求有所升级： 中间间隔一天，也算连续登录，求出连续4天登录的用户id（因为样例中1001用户连续3天登录，但是升级后，则可视为连续4天登录）二、思考由于间隔一天也算连续登录数仓面试，由入门到精通之连续登录问题中方法一/二/三的方式将不再有效，因为过滤条件
2022-04-15 17:21:19
1033
原创 如何将年薪从十五万到五十万系列之连续登录问题
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）目前正在带领小伙伴们阅读spark源码，有兴趣的小伙伴可以私信我，获取大数据进阶的相关视频哦。1、简介连续登录问题，是一个经典sql，本文从易到难，简单拓展，有更好方法的同学，欢迎私下交流2、表结构（去过重的）CREATE TABLE `user_login`( `id` int COMMENT '用户主键', `dt` string COMMENT '登录日期')3、表数据user_login.id
2022-04-10 22:32:36
220
原创 2022蓝桥杯javaC省赛 试题 特殊时间
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）目前正在带领小伙伴们阅读spark源码，有兴趣的小伙伴可以私信我，获取大数据进阶的相关视频哦。简介今天在CSDN问答区，碰到了一道有趣的题目，题目如下题目2022 年 2 月 22 日 22:20 是一个很有意义的时间年份为 2022， 由 3 个 2 和 1 个 0 组成如果将月和日写成 4 位，为 0222，也是由 3 个 2 和 1 个 0 组成如果将时间中的时和分写成 4 位，
2022-04-09 18:07:10
3593
原创 如何将年薪从十五万到五十万系列之日期交叉问题
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）目前正在带领小伙伴们阅读spark源码，有兴趣的小伙伴可以私信我，获取大数据进阶的相关视频哦。1.简介日期交叉去重问题，是一个经典sql，本文以一个电脑品牌促销的例子从不同的角度来看待解析这个问题，有更好方法的同学，欢迎私下交流…2.表结构CREATE TABLE `computer_promotion`( `brand` string COMMENT '用户主键', `start_date` string COM
2022-04-09 17:23:11
558
2
原创 linux工具——vim文本编辑器整理
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）专注于数据仓库进阶讲解与源码解读。首先先更新一下我的VIP群里的状态（在线解答问题与源码视频讲解）日常答疑，开发过程不迷糊哦飞书上的视频课程已经到第三讲了哦下面开始今天的正文：vim是一个文本编辑神器， 长时间没用生疏了，这篇文章整理了一下vim常用操作和快捷键注释:[] 表示括号内容可有可无() 表示括号内容可以跟前面一个字符替换1、vim的几种模式1.1普通模式1.1.1光标移动h j k l 表示
2022-04-05 11:20:01
1069
原创 如何将年薪从十五万到五十万系列之从一个sql引发的hive谓词下推的全面复盘及源码分析（下）
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）专注于数据仓库进阶讲解与源码解读。首先先更新一下我的VIP群里的状态（在线解答问题与源码视频讲解）日常答疑，开发过程不迷糊哦飞书上的视频课程已经到第三讲了哦接上篇：从一个sql引发的hive谓词下推的全面复盘及源码分析（上）原文链接：https://mp.weixin.qq.com/s?__biz=MzU5NTc1NzE2OA==&mid=2247483914&idx=1&sn=5a0adc8e3bf
2022-04-05 10:41:24
1478
原创 如何将年薪从十五万到五十万系列之从一个sql引发的hive谓词下推的全面复盘及源码分析（上）
嗨，大家好，我是小萝卜算子。（微信公众号：数据仓库践行者。感谢关注）下面开始今天的正题Hive版本：hive-2.1.1经常听到**【谓词下推】**这个词，却从来没有对它进行全面的深入的研究，直到前些天，我们的数据产品跑过来跟我讨论 他写的一个sql，这个sql最终出现的结果并不是他想要的。看了具体的sql后，引发了我的一些思考，决定来挖一挖谓词下推。
2022-03-31 15:49:25
2451
原创 如何将年薪从十五万到五十万系列之大数据开发轻量级入门方案
这么多年一直和数据打交道，也没有在CSDN上面留下过一些内容。基本上总结心得全放在微信公众号上面了（数据仓库践行者）。最近有粉丝问，说想了解一下进入大数据行业的发展方向，很早之前我在微信公众号上写过一篇（https://mp.weixin.qq.com/s/e-PD8p3UQ6nUV-LLiCS4kg）。今天把它搬到这里，希望能为更多迷茫的人找到一条适合自己的道路。前言经过这么多年的发展，大数据的技术正处于群雄逐鹿阶段 ，面对这么多技术框架，我们得学会做减法。还记得我转行大数据时，只学了had.
2022-03-28 15:38:06
2730
空空如也
数仓面试 寻找更好地解决方案， huan迎大家来提供各种各样的解决思路
2022-04-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人