- 博客(106)
- 收藏
- 关注
RSS订阅
原创 大数据面试题
Flink1.Flink的三种时间语义？2.Flink的checkpoint 和Spark的checkpoint的区别？3.Flink的优化？4.在项目中遇到那些问题，发生了什么事情，问题怎么解决的？
2023-12-20 17:15:10
653
1
原创 关于小标join大表，操作不当会导致笛卡尔积,数据倾斜
起初还以为是分区的问题，dt限制的分区天数太多导致跑的满，后面改完sql以后，发现不是day表分区问题，就是小表Join达标出现了数据倾斜， 后学，我按照经理的建议，将sql的关联条件改到where里面执行，首先创建一个表存编码，然后再从where里面过滤，此时应该就是发生了数据倾斜，笛卡尔积。发现改完后的代码，执行速度直接飞起，从原来的执行10-20分钟没有执行完，到1分钟，30秒就马上就出结果了，于是我意识到，这里，with tmp as生成的虚拟表与大表join导致数据倾斜，
2024-12-06 23:53:45
533
原创 关于超长字符串/文本对应的数据从excel导入到PL/SQL中的尝试
时， clob会自动把类型转换为varchar2(4000)类型，也就是clob字段使用insert into时也会限制字节数不超过4000， 而如果手动粘贴复制时，则不存在限制4000字节的问题。因为想了好久，也不能在python脚本中将读取到的CLOB类型长文本数据变成可以全部保留数据的格式生成对应的sql代码，所以我选择了截取不超过4000的部分的数据来生成INSERT INTO代码， 然后再去PL/SQL上执行SQL, 然后看看那些有被截取， 被截取的我在手动的复制粘贴补充完整。
2024-08-25 22:36:40
584
1
原创 SQL优化
为了提高性能，使用了高压缩 + compress high query + nologging的方式创建单独的临时表，这样第一部分使用半分钟就执行出来。对上面的代码，在PL/SQL数据库中进行查询时，跑了半小时以上一些没有跑出来，于是我在此做了优化，最终使结果在16分钟内跑出来。3.接着用第一部分的内容join t4表，然后 group by count(*) 最终生成了想要的结果。1. 首先t5表的数据量更少，考虑到t4表的数据量较大。选择先计算其他表的数据，然后生成结果集再join t4表。
2024-07-28 23:15:54
307
原创 PL/SQL oracle上多表关联的一些记录
在多表关联如下时，可以为一些从表创建临时表，提前在内存中存储，这样可以提高一定的查询效率。临时表需要定期清理。3. 在我尝试做一些从表的临时表时候，我对比了自己写的with CTE子查询的方法，发现。cte的方式多个子查询，与多张临时表的方式，来完成多表连接，效率上的差距大都差不多。4. 按照经理的指点，记得关联从表是，如关联t2表时，需要做关联字段的唯一性校验。1.记录自己在PL/SQL上写的几张表的关联条件没有跑出来的一些优化。操作跑不出来的一些问题，可能是数据量过大，未做分区过滤。
2024-07-17 22:29:07
465
原创 记录认识相亲对象的帖子——之一——困惑金钱
我的提问： 我经常觉得我连自己都养不活，还负责了10多w, 作为中国的父母，他们强烈认为亲戚给我介绍一个对象，我就要主动积极的去联系女方，我对自己有比较清楚的认识。认为自身条件太差，然后我不愿意花钱给女方发红包，但是我的父母认为我可以花他们的钱发红包给女方，你怎么看。钱真的能维系男女关系吗，特别是男女方从未见过面说过话，而且相隔很远的距离ChatGPT在中国，婚恋问题常常受到家庭和社会的关注，父母希望通过亲戚介绍帮助子女找到合适的对象是很常见的现象。
2024-06-15 20:22:52
409
原创 记录自己一直以来存在的问题：声音太小
很多次与不同的人沟通，对方都会说叫我声音大点，我可能存在什么问题，以及解决方法ChatGPT如果多人在不同场合都提到你说话声音太小，这可能是因为你的声音确实比较小或是你说话的方式导致声音不够清晰和响亮。这种情况可能是由多种原因引起的，包括身体状况、心理因素或习惯等。
2024-06-13 19:30:52
622
原创 入职时的一些记录
1.因为电脑屏幕出现阴阳屏，然后，屏幕显示有问题，在入职的时候向经理要了一台外接显示器，因为是vga口的，所以火速在某东下单了vga转Hdmi线，当天送达，当天外接到笔记本电脑上。2.在发顺风特快后，前面下单了一块屏幕，直接在公司花10分钟换上。其实我想说的是，就算屏幕正常，也可以向公司申请屏幕，找个理由，如：外接习惯了，哪怕给个17寸2012款的显示器，也是可以的。
2024-06-05 11:48:45
134
原创 回首以往的工作的一些想法
4.被迫离开岗位，也不是什么大不了的事情，不用低迷消极，大不了降低期望，下一个更好。1.不要坐井观天，尽量保持工作主动沟通的积极性，哪怕 不会做。2.工作中尽量不要与你的上级产生不愉快的心理情绪。3.即使压力大，也不要主动离职，放弃机会。
2024-06-03 17:51:15
147
原创 长途火车～48小时记录
1.出门记得带大功率充电宝，最好是50000ma及以上的，不然还没上火车，手机就没电了，电量焦虑症又来了。手机有电就有无限可能。
2024-05-13 13:16:04
218
原创 中软-华为-兰州移动-二面
4.如果别人指出你的问题，让你修改，你该如何应对？5.linux命令是否熟悉，能看懂相关代码吗。3.工作中遇到问题，如何解决？7.笛卡尔积，内连接和左连接。6.sql能否进行相关修改？
2024-05-07 19:42:16
192
1
原创 做题速度太慢了，面不上
sql题，腾讯四道sql题，限时45分钟完成。我只做了一道，还没做完，太难受了。没办法，看表我都看了15分钟，可见太生疏了。不要老说机会给有准备的人，我想说，时机缺一不可，时间，机会。没办法，之前练了一个月的sql。两个月不写，现在差不多忘干净了。工作空窗期，或者休息期不能太久，不然学再多的内容都可能会忘完的。
2024-05-07 14:08:57
3883
4
原创 数据开发-面试真题。
谈及工资时，巧妙避开，其实我觉得我期望取中位数，可能不大行，所以干脆不说。16.面试过程中，技术面试官问的一些基础没答上来，比如项目中的flink的基础，java基础，以及项目中是如何实现的。举例说明自己平常在做什么的时候，也有提到自己是一个有心之人，其实恰恰相反，自己是个无心之人。7.给定一系列字符串，从集合的set和list中查询，如何查询出相关的数据，同时set和list有什么区别。15.反问，1.公司是提取数据 2.公司的数据支撑 3.公司的数据维护 4.公司的组件。10.未来的个人的生涯规划。
2024-04-03 23:01:34
549
原创 某小外包面试-数据库工程师
然后hr介绍了公司的基本情况, 福利待遇还是挺快的，10几分钟搞定。只是有点奇怪，由hr一面，一般都认为应该是其他的二面。有一点，就是面试好像迟到了，因为进错在线会议室的房间了。8.曾经工作的公司名称？3.介绍一下在苹果的数据分析实习经历。7.为什么要来该城市？2.未来两三年的打算。
2024-03-27 16:03:17
168
原创 无论是自学还是培训，找工作都要有舍我其谁的信心
必须先得认定自己技术能力可以，然后再考虑面试，如果自己认为自己不行，然后又希望hr接受自己能力不足，希望公司培养自己，怎么可能，首先必须要有足够的自信，认为自己技术还不错，沟通能力还可以，在工作表现出错。我们需要改变的是认为自己能力相当不错，不然可能会连面试的机会都没有，如何提高获得面试的概率，当然是需要有三年经验一样的决心。如何通过面试，需要的是更好的准备面试题，更好的复习项目，更好的总结经验，更好的定位自己。1.离线能做，2.实时能做，3.集群可以塔，4.遇到问题可以解决，不就行了吗。
2024-03-20 20:08:13
373
原创 面试期间尽量不要开启勿扰模式。
在面试的过程中，由于我使用远离手机工具控制手机，规律自己使用手机，来自律，可是面试的时候面试官打电话过来，这样我还是因为远离手机app可以调成勿扰模式，导致我漏接了两次电话，特别是一天内，而且有一次是7，8次。这样可能在面试官哪里会扣分，这样确实是很不好的行为。所以我打算记录一下。
2024-03-15 18:42:35
182
原创 程序员面试—反问示例
请问您在与我交谈的过程中，我的表现对这份工作而言，我有哪些地方还需要提高呢？1. 请问这次面试之后，下一步的安排是怎么样的？如果我有幸被录取，我需要提前做哪些准备？1. 能否分享有关该岗位的日常职责和更多信息？3 . 请问如果有幸被贵公司录取，在入职前有没有需要我提前学习和准备的。4. 如果我被录用，您希望我在头两个月实现什么目标？2.公司对于这个岗位的定位是怎样的？4、您认为胜任该职位的最重要的指标是什么？1.问数据规模，问数据统计周期，主要业务范围。5. 我们团队面临的最大挑战是什么？
2024-03-15 18:29:49
768
原创 某项目公司-——ETL工程师岗位——二面
整个面试过程，面试官主要考察面试者自己的自学能力，然后做事的态度。以及做事的态度，解决问题的能力。还有就是，以后不说自己是酒店服务了，就说自己是办公室文员。2.如果给你一个数仓项目，你应该从那些方面向你的上级汇报。7.你曾经是做什么的。为什么想着向互联网这块发展。由于没有包装，所以换一套说辞还是有些费劲的。5.对于写PPT,写文档这块是否可以。6.遇到工作中的压力，该如何处理。3.对自己的未来职业生涯规划。4.平常下班之后做那哪些事情。8.你有什么要问的？
2024-03-15 16:49:56
1062
原创 某小型外包—ETL工程师面试
select a.* ,b* from a left join b on a.id = b.id 先join 再 select。同时反问，用到的组件有dataworks, 可能用到python。9. 从kafka中消费数据的命令。没有包装简历，面试感觉跟聊天一样，会就是会，不会就是不会。1.datax和sqoop的对比，优点与缺点。如何修改linux的文件的属性。8.1 java的数据结构有那些。10. 如何进行数据建模，常见的模型。3.数据采集到数仓中，做了那些清洗。2.sql的执行顺序。
2024-03-14 21:17:55
525
原创 ETL工程师——面试，
2.1. 为了防范新冠疫情的扩散与传播的背景下，某市的hive数仓里有一张旅馆住宿记录表T，需要计算出有同入住的人员关系以便于筛查密切接触者。同房间的逻辑：（两个人或者多人同一家宾馆lgdm，同一个房间号，彼此入住时间在15分钟以内 或者是 两个人或者多人同一家宾馆lgdm、同一个房间号、彼此的离店时间在15分钟以内）不包装，简历没有包装，然后直接海投，还是可以，算是有面试机会。2.1现在需要计算这些有同住关系的人员，最终需要的结果字段如下图所示。首先是笔试题，两道很简单的关联， sql关联。
2024-03-14 16:42:17
898
原创 记一次去县人民医院咨询社保和医保的问题
如果你有职工社保，也就是我们常说的五险一金，那么可能就是走职工社保，职工社保的医疗保险账户是有余额的，可以用来进行刷卡抵扣费用， 但是一般就是有一个比例，比如说，据我们的县人民导医说，如果费用在600元以内，是直接刷医保账号的余额，如果超过600，那么会按照一定的比例来消费医保卡的余额， 也就是医保出一部分，你自己出一部分这种，比如报销70%，我觉得可能不止，如果按照上面的推算方法，那么应该可以报销一般应该是没问题，不然医保有啥用，做检查做手术一天报销70，顶不了一点用。好了，这就是我本次去医院的记录。
2024-03-06 23:27:12
315
原创 某小公司——沟通——接受大数据开发转行
之后开始谈论可能需要提升一下，自己如果可以，去武汉培训一个月，如果能面上就去公司，如果面不上自己再找。总之，我认为去武汉，如果是给公司做事，获取真实的项目经验，倒是可以考虑考虑。如果是面试指导，包装经验再去面试，没有必要，因为我自己会。因为想从零开始，所以投了一些不需要经验的岗位，联系了一家类似于麦芽学堂的公司。沟通， 首先问了一下个人情况， 问了之前培训的经历，以及是否包就业，然后简历问了两个问题，1，2，3，4 表 2 1 1 4 4 进行左关联后有几条数据。1. 表1 四条数据。
2024-03-05 11:26:17
380
原创 与hr沟通的话术记录
然后，第二个就是，与hr在沟通的时候，不要谈及自己的缺点，无论是面试前，面试中，面试后，都会影响最终的面试结果， 甚至可能被取消offer, 或者没有被选上，以及不会有面试机会。虽然你可能写了培训的经历，但是这个你和hr心知肚明就行，不要说出来，会影响沟通过程，从而失去面试机会。等它问了再说，不问不要提，这个跟自己的专业一样。投简历的时候，能不能获得面试机会，取决于hr是否足够信赖你的简历。如果是培训出来的，建议不要跟hr说自己是培训的，因为hr一般不会看培训出来的简历。
2024-03-04 21:59:47
533
原创 唇炎的感悟之面对面的问题，以及为什么脱皮不能停下来
因为唇炎患者的嘴唇总是干裂而且破皮，脱皮，嘴皮翘起的，所以特别影响形象， 可能我们习惯了自己的唇炎，不会太在意自己美或者丑，但是当其他人看到我们的嘴唇处于一种病态时，可能会决定恶心，想吐这种，所以在给其他人造成了不太美的影响后，也间接的影响了我们自己的情绪，觉得这是我们造成的，所以渐渐的造成了我们与同事，上级，其他人之间沟通的障碍，筑起了一道壁垒，我想这是不好的，也是不对的。照镜子的时候，常常因为自己的嘴唇脱皮，会觉得自己嘴唇的寿命已经快完了，进而想到，可能我们每个唇炎患者的寿命也会缩短。
2024-03-01 02:04:36
319
原创 记一次事业单位错失三面—线下面试的机会
总之， 异地线下面试，决定是否参与，需要考虑金钱，时间，以及自己与岗位的匹配度， 当然了我思考过自己可能面不上的可能性，总之我确实如网友所说：找工作犹犹豫豫，畏手畏脚。还有就有发给hr的回复，也要考虑到面试的进度，比如在刚开始的时候可以问， 到了后面的环节，在问显得太拉跨了。1. 明明我都要快终面了，我还问能否报销路费，这体现我经济上的窘迫，然后提问不够成熟。2. 我拖延了自己的到京时间，本来我是说过预计某个时间能到北京的。某些语句体现了我的不稳定性，或者我可能撒谎，没有经验。
2024-02-27 22:43:24
277
原创 关于老爸的教导之三
听起来是不是挺幼稚的，其实可能是因为我爸看我没有养成好的意识提醒我，但是我还是按照它的心意记录一下。1.吃饭速度需要较快，做事较快，任何事情都要快，只有快点，公司才会用你，留你。2.跟几个人吃饭，在一起，其他人不吃了，我自己也不吃了。谈谈关于老爸的教导，老爸说的话我没有忘记。
2024-02-26 22:29:45
143
原创 使用usb转hdmi转接头外接显示器的黑频问题
因为使用的是usb转hdmi，所以需要用到转接设备自带的驱动程序，比如我的转接头用的程序是md display usb.exe这个程序。但是有时候过了几天时间，这个驱动程序好像挂了， 导致显示器亮不起来，一般情况下就是卸载该驱动，重装程序，重启电脑。话说还是电脑配置差了点，只有一个hdmi口，想要外接两台显示器就需要使用usb口，usb转hdmi线，导致外接显示器连接不稳定经常黑屏。于是，我看了另一种方法，首先卸载掉驱动，然后重装驱动， 在它询问是否立即重启电脑的时候，晚点启动。
2024-02-22 11:59:14
2370
原创 关于老爸的教导
今天晚上，我爸分析了我以往过往的经历，分析我存在的一些问题，虽然我真的是有点生气，差点想早点离开家，甚至可能和老爸发生口角。但是最后我还是听了下来。我在过去的两年，真的是浪费了一些时间，然后有一些问题。有时候如果真的不会做，是不是换个岗位，接受现实，脱下孔乙己的长袍是不是好点呢。送外卖，进工地，跟着父母干餐饮，这些难道不也是一种出路吗，互联网开发这条路是不是对于我这种天赋一般，交流能力差，工作速度慢的人不适合。我是不是应该换个赛道。
2024-02-17 23:34:31
437
原创 10年唇炎患者再次发帖——得唇炎的原因与启示
因为小餐馆主要还是需要靠早点来吸引一些人，比如豆浆，包子，油条，大米粥，小米粥等这种，这些早点吃的有的需要早点准备，而且有的顾客可能早上6点不到就来吃早餐了，所以父母起床也很早，通常都是凌晨1-2点就起来了，然后他们一般是晚上11-12点睡觉，所以晚上只能睡两三个小时。特别是这句话，当我在面对高考的时候，熬夜到凌晨1-2点看书，身体已经发生异样的时候，比如肚子痛，肠胃紊乱，恶心呕吐，大便小便失调这种，我依然相信高考以后我能把身体补回来，因为我的爸妈还在熬夜工作呢，他们没事，我自己也不会有事的。
2024-02-08 23:14:45
352
原创 10年唇炎患者再次发帖——得了唇炎的第一年-2014.09-2016.06
我的唇炎10多年了，印象中是14年秋冬季节得的唇炎，当时在高三，因为本身性格内向，然后学校又是军事化管理，我又是留守儿童这种住学校，然后因为我以前在初中和高中的时候也是长得矮小，经常是被别人校园欺凌的对象，导致我自己的成绩也是一落千丈。当然还有一点就是我跟老师交流起来非常困难，我自己非常不自信，所以在高三的时候不信任老师，与老师有隔阂，认为老师对自己有意见，然后就形成了老师讲课我自己看的情形，当然了，这种学习方法效果显然不是很好，不然我复读一次，两次高考都是只考了三本的分数线，以上是我觉得我的问题。
2024-02-08 00:02:04
170
原创 数据管理成熟度标准评估——面试——二面
同时也对于一个不熟悉的岗位，对于需要讲解ppt的岗位，我觉得，我需要准备好ppt, 然后提前在面试前几天，就在chatgpt上，把ppt上的内容通过gpt分析一下给我，我先了解一遍，然后摘抄下来做一个ppt对应的面试文档（背书）,然后在面试之前仔细观看。3.2 以前从事数据开发，现在需要考虑往数据评估，数据咨询方向的岗位发展，跟以前的岗位又所不同，你怎么看待岗位的差异。1. 考虑到以前从事的岗位是一线岗位，数据开发，从事DCMM数据管理咨询评估师的岗位，考虑到稳定性。面试的是事业单位外包。
2024-02-06 13:13:46
484
原创 谈谈人生的不确定阶段
再如2023年8月1日到2023年11月06日 再比如2024年1月26日至2024年1月27日。因为失去了方向，奋斗的，前进的方向，便不知道该何往，不知道是继续找工作还是学习，还是说休息，还是躺尸，我多数时候都选择做了三和大神，因为觉得活在当下就好，不必考虑一两个月，一年两年三年以后的事情。实际上自己想复习项目，学习新知识，准备学习考公考编，还是说治疗研究唇炎，还是说治疗自己的牙齿，让自己活的久点，这些都可以是作为工作的次分支，都是重要但是没有那么紧急的事情，但是我却选择了做三和大神。
2024-02-04 14:18:12
249
原创 sql题之使用dense_rank,row_number,collect_set,later view explode解决最近日期信息的问题
从订单信息表（order_info）中查询出每个用户的最近三个下单日期的所有订单。
2024-02-02 18:46:57
745
原创 耗时两个月找工作以 0 offer告终，原因记录
我在11月底开始找工作，耗2个月，找到1月末，仍然没有收到offer。要说找不到工作，无非两种，一是技术菜，比如手写sql,或者组件的底层原理，项目讲解等等。二是形象， 比如我自己有唇炎，10年唇炎，就是收拾一下， 面试的时候面试官看到我的嘴唇都会抿嘴，以及穿的衣服显得不怎么整洁，我穿过比较油腻的衣服，衣服有很多油渍，看起来脏，然后裤子也是加厚牛仔裤，也不大好看，鞋子更是黑色皮鞋，一层灰，头发也是不够柔顺较乱，个人形象真感觉没几个人能比我差的了，当然那些形象比我差的可能还是技术上的大佬，而我是菜鸡。
2024-02-02 12:36:16
137
原创 其实在家面试感觉也挺不错
面不上也很正常，说的没错其实如果在家面不上，在出租屋也不一定能面上，换言之，在出租屋能面上。总之到时候在面，等3月份在看吧。在家面试感觉也挺不错的。
2024-02-02 12:24:03
125
DCMM数据管理能力成熟度评估方案.pdf
2024-02-06
关于#java#的问题：csdn专栏的课程对应的视频怎么下载，在线看一直转圈
2022-09-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人