程序员
文章平均质量分 87
普通网友
这个作者很懒,什么都没留下…
展开
-
光速入门spark(待续)(1),2024大厂大数据开发面试最火问题
总而言之,Spark出现的时间相对较晚(年轻),并且主要功能主要是用于数据计算。下面给出一个更直观的对比表格:尽管Spark相对于Hadoop而言具有较大优势,但Spark并不能完全替代Hadoop:Hadoop 的MR框架和Spark框架都是数据处理框架,那么我们在使用时如何选择呢?经过上面的比较,可以看出在绝大多数的数据计算场景中,Spark确实会比MapReduce更有优势。但是Spark是基于内存的,所以在实际的生产环境中,由于内存的限制,可能会由于内存资源不够导致Job执行失败,此时,MapRe原创 2024-04-13 20:58:57 · 892 阅读 · 0 评论 -
值得一谈的鸿蒙2,掌握这套精编HarmonyOS鸿蒙高级面试题解析及答案
其实说了这么多,也只是一个噱头,未来的路还很长,我经常在blink里面看到有人投票说,华为鸿蒙操作系统将取代安卓操作系统,我先否定一下。华为承受打压众所周知,但在大会上,余承东表示,即使遭受三轮打击,华为依然实现增长。华为承受打压众所周知,但在大会上,余承东表示,即使遭受三轮打击,华为依然实现增长。“通过支持三方开发者使用声明式的API 进行应用开发,以数据驱动视图变化,避免了大量的视图操作,大大降低了应用开发难度,提升开发者开发体验”。2019年8月9日,华为在HDC开发者大会上正式发布鸿蒙系统。原创 2024-04-13 20:57:53 · 536 阅读 · 0 评论 -
值得一谈的鸿蒙2(1),阿里大牛教你自己写HarmonyOS鸿蒙第三方库
这是对关心性能的用户宣传。”是说,华为搞了一个很妙的底层OS(“分布式OS架构”和“分布式软总线技术”,公共通信平台、分布式数据管理、分布式能力调度和虚拟外设四大能力),把不同终端的特性都归纳好了,能容纳在统一的架构里。其实说了这么多,也只是一个噱头,未来的路还很长,我经常在blink里面看到有人投票说,华为鸿蒙操作系统将取代安卓操作系统,我先否定一下。“通过支持三方开发者使用声明式的API 进行应用开发,以数据驱动视图变化,避免了大量的视图操作,大大降低了应用开发难度,提升开发者开发体验”。原创 2024-04-13 20:57:21 · 813 阅读 · 0 评论 -
保洁阿姨看完都会了!我的头条面试经历分享,3面直接拿到offer_保洁阿姨内部晋升面试
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。深知大多数HarmonyOS鸿蒙开发工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!因此收集整理了一份《2024年HarmonyOS鸿蒙开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。既有适合小白学习的零基础资料,原创 2024-04-13 20:56:19 · 411 阅读 · 0 评论 -
使用Spark操作Hudi表详细教程_spark读取hudi,2024年最新大数据开发开发必须要会
执行作业前建议导入如下:插入数据验证:普通查询增量查询首先再插入/修改一条数据,参见插入/修改数据。然后执行:发现只取出了最近插入/修改后的数据。验证方法使用普通查询。验证方法使用普通查询。发现只有新增的这一条数据。验证方法使用普通查询。启动Hudi spark sql的方法:如果使用Hudi的版本为0.11.x,需要执行:创建表:验证:插入数据SQL方式:验证:普通查询SQL方式:修改数据SQL方式:验证:insert overwriteSQL方式:验证:原创 2024-04-13 20:55:47 · 676 阅读 · 0 评论 -
使用Spark操作Hudi表详细教程_spark sql操作hudi,OMG,学它
编译输出的Spark Hudi依赖位于hudi/packaging/hudi-spark-bundle/target,将其中的hudi-spark3.x-bundle_2.12-0.xx.x.jar复制走备用。或者是在spark-defaults.conf中增加spark.hadoop.yarn.timeline-service.enabled=false。接着将Hudi编译之后的hudi-spark3.x-bundle_2.12-0.xx.x.jar复制到${SPARK_HOME}/jars目录中。原创 2024-04-13 20:54:44 · 415 阅读 · 0 评论 -
使用Spark操作Hudi表详细教程_spark sql操作hudi(1),2024年最新大数据开发面试题
【代码】使用Spark操作Hudi表详细教程_spark sql操作hudi(1),2024年最新大数据开发面试题。原创 2024-04-13 20:54:13 · 296 阅读 · 0 评论 -
使用logstash迁移ES数据并解决限流等问题,没想到一个Handler还有中高级几种问法
input {# input中添加routingoutput {# 指定routing那么问题来了,如果你所有的索引都用这个模板,那么当上游没有指定routing字段的时候,下游的数据中的routing字段就会是,真的是人都麻了,这个logstash组件一段都不智能,那么这个问题能解决吗?别急,看到最后你就知道了。原创 2024-04-13 20:53:10 · 473 阅读 · 0 评论 -
使用logstash迁移ES数据并解决限流等问题(2),大数据开发高频面试题+解析
如何不知道这是个啥东东的,就自己看下官方文档吧。原创 2024-04-13 20:52:38 · 549 阅读 · 0 评论 -
使用logstash迁移ES数据并解决限流等问题(1),2024年最新微信小程序页面跳转方法总结
是不是很简单?当然这个从一个ES级群迁移数据到两一个ES集群的事情虽然不难,其实还是会遇到一些问题的。原创 2024-04-13 20:52:07 · 616 阅读 · 0 评论 -
二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse(分区字段是month或year)
204888 (备注大数据获取)**[外链图片转存中…(img-t2pdCi9e-1713005591073)]原创 2024-04-13 18:54:27 · 678 阅读 · 0 评论 -
二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse(分区字段是month或year)(1)
204888 (备注大数据获取)**[外链图片转存中…(img-mgRMSHYb-1713005566382)]原创 2024-04-13 18:53:55 · 696 阅读 · 0 评论 -
二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程(2)
lane_type int comment ‘车道类型 0渠化,1来向路段,2出口,3去向路段,4路口,5非路口路段,6其他’,lane_type_name string comment ‘车道类型名称’lane_no string comment ‘车道编号’,case when lane_type=‘0’ then ‘渠化’when lane_type=‘1’ then ‘来向路段’when lane_type=‘3’ then ‘去向路段’原创 2024-04-13 18:52:52 · 695 阅读 · 0 评论 -
二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程(1)
4)][外链图片转存中…(img-LM7OXUq6-1713005466285)][外链图片转存中…(img-Uy8QQzfr-1713005466285)][外链图片转存中…(img-EkDNz2pj-1713005466285)][外链图片转存中…(img-6wwn0rgA-1713005466286)]原创 2024-04-13 18:52:21 · 918 阅读 · 0 评论 -
二本学渣考研失败,海量算法高频面试题精编解析,这原因我服了
8、 什么是Service以及描述下它的生命周期。Service有哪些启动方法,有什么区别,怎样停用Service?9、 在service的生命周期方法onstartConmand()可不可以执行网络操作?如何在service中执行网络操作?原创 2024-04-13 18:51:50 · 677 阅读 · 0 评论 -
Kotlin学习手记——注解、注解处理器,oppo面试笔试题
代码真的是重质不重量,质量高的代码,是当前代码界提倡的,当然写出高质量的代码肯定需要一个相当高的专业素养,这需要在日常的代码书写中逐渐去吸收掌握,谁不是每天都在学习呀,目的还不是为了一个,为实现某个功能写出高质量的代码。所以,长征路还长,大家还是好好地做个务实的程序员吧。最后,小编这里有一系列Android提升学习资料,有兴趣的小伙伴们可以来看下哦~一个人可以走的很快,但一群人才能走的更远。原创 2024-04-11 09:25:25 · 664 阅读 · 0 评论 -
Kotlin学习手记——协程初步,女生学移动应用开发就业方向
如果挂起函数没有真正被挂起(没有发生线程切换)返回值返回的就是实际参数类型,否则返回的是一个标记。.body()??})最简单的复写挂起函数的回调:只不过真正的挂起需要真正的切换线程,如果直接调用的话相当于没有挂起。suspend {}.createCoroutine(object: Continuation{ //创建协程}).resume(Unit) //恢复suspend {}.startCoroutine(object: Continuation{ //启动协程。原创 2024-04-11 09:24:54 · 679 阅读 · 0 评论 -
Kotlin学习手记——协程初步(1),2024年最新binder机制面试题
这行并挂起(实际上是一个lambda表达式,它是一个Continuation的实现类SuspendLambad的包装),那yield方法中就会向state中存入值,并同时保存当前的Continuation对象,然后流传状态变化,变成ready, 紧接着for循环里取值操作会调用。//这里continuation没有直接调用resume方法,在后面用户调用hasNext()或next()时调用resume()//这个是定义一个receiver类,保证yield()方法只能在lambda表达式的大括号内使用。原创 2024-04-11 09:24:24 · 721 阅读 · 0 评论 -
Kotlin学习中,阿里技术面试难吗
为什么我要改用Kotlin简书系列文章先说个学习Kotlin语法的小窍门,将代码用Java写好,然后Code/Conver Java File to Kotlin File转换成Kotlin代码,或者将Java代码复制到Kotlin文件会提示转换也是挺方便的,比较差异很容易就能理解了,一开始难免不适应习惯后相信你一定会喜欢上Kotlin。原创 2024-04-11 09:23:53 · 893 阅读 · 0 评论 -
kotlin基本语法,撸了郭霖大神写的Framework源码笔记
带有两个 Int 参数、返回 Int 的函数:将表达式作为函数体、返回值类型自动推断的函数函数返回无意义的值//varName表示变量值varName 表示变量值,varName表示变量值{表达式}执行表达式Unit返回类型可以省略可变长参数函数,用 vararg 关键字进行标识:函数的变长参数可以用 vararg 关键字进行标识:print(it)vars(1,2,3,4) ,输出1234定义只读局部变量使用关键字val定义。只能为其赋值一次。原创 2024-04-11 09:23:22 · 512 阅读 · 0 评论 -
Kotlin和RecyclerView的一个demo,2024年最新2024年最新Android面试精讲
核心代码就在上面了,如果想要完整代码的话,去这里下载不要积分….自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。深知大多数Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!原创 2024-04-11 09:22:50 · 884 阅读 · 0 评论 -
Kotlin协程:续体、续体拦截器、调度器,京东面试题答案
为什么协程需要EventLoop呢?协程的本质是续体传递,而续体传递的本质是回调,假设在Dispatchers.Unconfined调度下,要连续执行多个suspend方法,就会有多个续体传递,假设suspend方法达到一定数量后,就会造成StackOverflow,进而引起崩溃。同样的,我们知道调用runBlocking会阻塞当前线程,而runBlocking阻塞的原理就是执行“死循环”,因此需要在循环中做任务的分发,去执行内部协程在Dispatchers.Unconfined调度器下加入的任务。原创 2024-04-11 09:22:19 · 246 阅读 · 0 评论 -
Kotlin协程:生命周期原理,2024年最新android基础面试题及答案pdf
笔者之前工作是在金融公司可能并不是特别追求技术,而笔者又是喜欢追求技术的人,所以格格不入,只能把目标放在互联网大厂了。也希望大家都去敢于尝试和追逐自己的梦想!BATJ大厂Android高频面试题一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!// 获取YieldContext。原创 2024-04-11 09:21:47 · 693 阅读 · 0 评论 -
Kotlin协程,跳槽面试大厂被拒怎么办
本人从事Android开发已经有十余年,算是一名资深的移动开发架构师了吧。根据我的观察发现,对于很多初中级Android工程师而言,想要提升技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。所以在此将我十年载,从萌新小白一步步成长为Android移动开发架构师的学习笔记,从Android四大组件到手写实现一个架构设计,我都有一一的对应笔记为你讲解。当然我也为你们整理好了百度、阿里、腾讯、字节跳动等等互联网超级大厂的历年面试真题集锦。原创 2024-04-11 09:21:16 · 697 阅读 · 0 评论 -
Kotlin协程巩固,计算机应届毕业生面试题
看到这篇文章的人不知道有多少是和我一样的Android程序员。35岁,这是我们这个行业普遍的失业高发阶段,这种情况下如果还不提升自己的技能,进阶发展,我想,很可能就是本行业的职业生涯的终点了。我们要有危机意识,切莫等到一切都成定局时才开始追悔莫及。只要有规划的,有系统地学习,进阶提升自己并不难,给自己多充一点电,你才能走的更远。千里之行始于足下。这是上小学时,那种一元钱一个的日记本上每一页下面都印刷有的一句话,当时只觉得这句话很短,后来渐渐长大才慢慢明白这句话的真正的含义。原创 2024-04-11 09:20:46 · 570 阅读 · 0 评论 -
Kotlin协程之flow工作原理,Android面试回忆录
以前一直是自己在网上东平西凑的找,找到的东西也是零零散散,很多时候都是看着看着就没了,时间浪费了,问题却还没得到解决,很让人抓狂。后面我就自己整理了一套资料,还别说,真香!资料有条理,有系统,还很全面,我不方便直接放出来,大家可以先看看有没有用得到的地方吧。一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!以先看看有没有用得到的地方吧。原创 2024-04-11 09:20:15 · 584 阅读 · 0 评论 -
Kotlin关键字与操作符,2024年最新android开发框架开源登录界面
对于很多初中级Android工程师而言,想要提升技能,往往是自己摸索成长。而不成体系的学习效果低效漫长且无助。时间久了,付出巨大的时间成本和努力,没有看到应有的效果,会气馁是再正常不过的。所以学习一定要找到最适合自己的方式,有一个思路方法,不然不止浪费时间,更可能把未来发展都一起耽误了。如果你是卡在缺少学习资源的瓶颈上,那么刚刚好我能帮到你。一个人可以走的很快,但一群人才能走的更远。原创 2024-04-11 09:19:43 · 988 阅读 · 0 评论 -
Kotlin作用域函数--let、with、run、apply,2024年最新Android面试必刷的200道真题
函数名 | 函数体内对象 | 返回值 | 是否是扩展函数 | 适用场景 || let | it指代当前对象 | Lambda表达式最后一行或return语句 | 是 | 适用于处理不为null的操作场景 || with | this指代当前对象或者省略 | Lambda表达式最后一行或return语句 | 否 | 适用于调用同一个类的多个方法时,可以省去类名重复,直接调用类的方法 |原创 2024-04-11 09:19:13 · 653 阅读 · 0 评论 -
kotlin中的文件和IO流,android高级面试题库
各行各样都会淘汰一些能力差的,不仅仅是IT这个行业,所以,不要被程序猿是吃青春饭等等这类话题所吓倒,也不要觉得,找到一份工作,就享受安逸的生活,你在安逸的同时,别人正在奋力的向前跑,这样与别人的差距也就会越来越遥远,加油,希望,我们每一个人,成为更好的自己。BAT大厂面试题、独家面试工具包,资料包括 数据结构、Kotlin、计算机网络、Framework源码、数据结构与算法、小程序、NDK、Flutter,一个人可以走的很快,但一群人才能走的更远。原创 2024-04-11 09:18:43 · 665 阅读 · 0 评论 -
Kotlin中的List排序,2024年最新学生会面试题答案
Kotlin中的排序就是这么简单,如果我们把列表声明为不可变的列表,则不能使用sortBy或sortByDescending方法,因为列表不可以改变嘛。二、排序的高级用法查看sortBy和sortByDescending的源码发现,其是通过调用sortWith方法实现的,对应的sortedBy和sortedByDescending则是通过调用sortedWith方法实现的,sortWith的功能和sortedWith的功能原理是一样的,所以我这里讲清楚sortWith的使用即可。原创 2024-04-11 09:18:12 · 745 阅读 · 0 评论