- 博客(244)
- 收藏
- 关注
原创 真实大数据简历模版(三)【大数据-2年经验】电商_大数据实战项目简历csdn(3)
项目描述:项目主要分为离线分析和实时分析两个部分,离线分析通过对页面采集来的原始日志数据进行预处理得到用户的点击流日志信息,然后针对用户的点击流日志信息进行分析,其中包括网页浏览量 PV,访客分析,来源分析,关键路径转化率分析,页面访问深度分析等。实时分析主要获取访客的相关信息与用户访问的商品信息,然后根据推荐系统的算法,为用户推荐相关的商品信息,方便用户选择,也可以增加商家的收益。项目描述:在电商平台上有很多的业务系统,一旦某个系统的运行出现异常,不能及时发现,将会对平台的运营产生一定的不好的影响。
2024-05-16 11:37:55
443
原创 真实大数据简历模版(三)【大数据-2年经验】电商_大数据实战项目简历csdn(2)
注册用户和非注册用户,分析两者之间的浏览习惯;项目描述:在电商平台上有很多的业务系统,一旦某个系统的运行出现异常,不能及时发现,将会对平台的运营产生一定的不好的影响。项目主要是通过在各个业务系统上部署埋点代码,分析各个业务系统的运行健康状态,主要包括:购物车系统分析、订单系统分析、支付系统分析、物流系统分析等等,当获取到相关的异常日志信息时就会向有关人员发送消息,保证及时获取异常信息,及时解决异常信息,将不良的影响降到你最低。1)使用 Flume 收集相关业务系统的日志,自定义拦截器,对应不同的业务系统。
2024-05-16 11:37:23
392
原创 真实大数据简历模版(三)【大数据-2年经验】电商_大数据实战项目简历csdn(1)
项目描述:项目主要分为离线分析和实时分析两个部分,离线分析通过对页面采集来的原始日志数据进行预处理得到用户的点击流日志信息,然后针对用户的点击流日志信息进行分析,其中包括网页浏览量 PV,访客分析,来源分析,关键路径转化率分析,页面访问深度分析等。通过这些分析对网站的发展情况提供参考,发现访问规律,优化网站设计结构,提高用户体验,增加访客的忠诚度。实时分析主要获取访客的相关信息与用户访问的商品信息,然后根据推荐系统的算法,为用户推荐相关的商品信息,方便用户选择,也可以增加商家的收益。
2024-05-16 11:36:50
356
1
原创 看了Python在金融行业中的应用,大数据分析实在太重要了_从python的八个方向谈谈科技对金融的影响
如果对Python感兴趣的话,可以试试我的学习方法以及相关的学习资料。
2024-05-16 11:36:16
284
原创 最全前端三剑客:一文入门JavaScript(1),程序员如何技术划水
可以通过function来定义函数// 创建函数/函数声明/函数定义function 函数名(形参列表) {函数体return 返回值;函数需要在调用后才会执行函数的定义和调用的先后顺序没有要求(但是变量必须先定义后使用)函数的实参和形参个数可以不相等(如果实参比形参多,多出来的参数不参与运算;如果实参比形参少,此时少的形参值为undefined。也可以通过函数表达式来定义函数i++) {return sum;
2024-05-16 03:49:51
1004
原创 最全利用GIT实现高效版本控制,2024金九银十
很多时候我们在修改项目内容的时候,若是直接修改了一点就提交,到后面发现这些修改又没有必要了的话,我们就要对版本进行回退操作(这个稍后再讲),非常麻烦,为了应对这种情况,分支管理操作显得非常重要!上面提到我在工作目录中添加了一行“stage08”,假如这个时候我不需要我目前所做的更改,我就可以调用这个语句,让工作目录回到上一次提交的状态。,在需要时我们用相同的操作便可以回到之前的版本,或者说任意的版本,而且工作的内容也不会丢失。这里我在后面加上两次提交的哈希值,我就能看到两次提交中的不同之处。
2024-05-16 03:49:18
567
原创 最全初识面向对象上(1),2024年抓住金三银四涨薪好时机
今天初始面向对象上就到这里了,随后我会更新初始对象下,一起卷起来.网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长![外链图片转存中…(img-ToiX4D6H-1715802504667)]
2024-05-16 03:48:46
832
原创 最全创建ROS 2工作区+导入第三方软件包_ros2 使用第三方库(1),2024年最新看懂这份大数据开发面经大厂真不是问题
正在读取软件包列表… 完成正在分析软件包的依赖关系树正在读取状态信息… 完成E: 无法定位软件包 ros-foxy-play-motion-msgsE: 无法定位软件包 ros-foxy-pal-local-joint-controlE: 无法定位软件包 ros-foxy-tiago-2dnavE: 无法定位软件包 ros-foxy-rostestE: 无法定位软件包 ros-foxy-tiago-moveit-config。
2024-05-16 03:48:13
905
原创 大数据最新【云原生 K8s系列第1篇】:K8s的基础概念、组件架构及实战安装,2024最新腾讯大数据开发面试分享
控制平面的组件对集群做出全局决策(如调度等),以及检测和响应集群事件(例如,当不满足部署的 replicas 字段时,启动新的 pod)。使用容器,不需要与外部的基础架构环境绑定, 因为每一个应用程序都不需要外部依赖,不需要与外部的基础架构环境依赖,从而完美解决了开发到生产环境的一致性问题。每个 Service 都会自动分配一个 cluster IP(仅在集群内部可访问的虚拟地址)和 DNS 名,其他容器可以通过该地址或 DNS 来访问服务,不需要了解后端容器的运行。
2024-05-15 19:01:47
253
原创 大数据最新【Three(3),你所不知道的大数据开发原生开发的现状
rotation 纹理将围绕中心点旋转多少度,单位为弧度(rad),正值为逆时针旋转,默认值问为 0。
2024-05-15 19:01:14
308
原创 大数据最新【sql语句基础】——查(select),997页手淘大数据开发面试真题解析火爆全网
细节:count(*)查询满足条件的记录的行数;count(列)统计满足条件的列,但是会排除null。基本语法:select …limit start,rows。,即0代表第一行,1代表第二行…,1代表取一行,5代表取五行…升序:asc 降序:desc。,start从0计算)
2024-05-15 19:00:41
423
原创 大数据最新【SPSS】激素水平项目实战案例(2),2024年最新该如何高效实用Kotlin
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取统计学意义。Cox模型主要应用是分析灯泡寿命、轮胎使用寿命。在经济领域的使用,比如财务收入,税后的收入。[外链图片转存中…(img-pCTRrGlX-1715770787114)]
2024-05-15 19:00:08
394
原创 助力工业物联网,工业大数据之ODS层构建:申明分区代码及测试【十】_ods 工业
问题5:Oracle中的字段类型如果与Hive中的类型不一致怎么办?:将ODS层中的每一张表创建一张对应的DWD层的表。:创建DWD层数据库one_make_dwd。问题2:表的名称名是什么,怎么获取?:理解ODS层与DWD层的区别。问题4:表的字段怎么获取?问题3:表的注释怎么来?
2024-05-15 07:59:38
977
原创 助力工业物联网,工业大数据之ODS层构建:申明分区代码及测试【十】_ods 工业(1)
问题5:Oracle中的字段类型如果与Hive中的类型不一致怎么办?:将ODS层中的每一张表创建一张对应的DWD层的表。:创建DWD层数据库one_make_dwd。问题2:表的名称名是什么,怎么获取?:理解ODS层与DWD层的区别。问题4:表的字段怎么获取?问题3:表的注释怎么来?
2024-05-15 07:59:02
625
原创 助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】(1)
Python连接HiveServer或者Spark的ThriftServer:提交SQL语句。step2:如何使用PyHive创建数据库?step4:全量表与增量表有什么区别?:阅读连接代码及实现连接代码测试。:阅读ODS建库代码及实现测试。:阅读ODS建表代码及实现测试。step3:怎么获取表的注释?step1:怎么获取连接?
2024-05-15 07:58:27
876
原创 助力工业物联网,工业大数据之ODS层及DWD层建表语法【七】_ods层建表语句
(img-RQ4qaQ2a-1715731048217)](img-PtM54cYv-1715731048217)]一站制造项目中在数据采集时遇到了什么问题,以及如何解决这个问题?一站制造项目的数仓设计为几层以及每一层的功能是什么?面向对象:将所有事物以对象的形式进行编程,万物皆对象。一站制造项目的数据来源是什么,核心的数据表有哪些?效果:将所有增量和全量表的数据采集到HDFS上。:专门用于封装一些工具方法的,utils,:专门用于构造对象的,一般称为Bean,:专门用于定义一些不会发生改变的变量的类。
2024-05-15 07:57:51
1016
原创 【JavaScript】JS实用案例分享:输入智能提示 打字机输出效果_js输入框旁边提示信息(2)
at position 9: {val},两个\̲?̲因为在模板字符串``中\也需要…// 如果val是()[].+/?output(‘hello world\n你好世界’)// 对特殊字符的处理。
2024-05-14 23:18:04
768
原创 【JavaScript】JS实用案例分享:输入智能提示 打字机输出效果_js输入框旁边提示信息(1)
at position 9: {val},两个\̲?̲因为在模板字符串``中\也需要…// 如果val是()[].+/?output(‘hello world\n你好世界’)// 对特殊字符的处理。
2024-05-14 23:17:28
540
原创 【JavaScript】JS实用案例分享:动态生成分页组件 通过按键实现移动控制_动态分页按钮(1)
本篇文章所有示例来自于,这些都是前端开发中常用的功能,借此记录一下刷题过程,巩固基础!
2024-05-14 23:16:14
570
原创 33、Java 异常掌握这些就够了(图解 Java 中的异常)_java异常分类图(2)
📖 若希望开发者重视这个异常、认真处理这个异常,则自定义检查型异常📖 创建一个类(异常类),并继承Exception即可创建一个自定义的检查型异常📖 检查型异常使用起来比较麻烦(相对非检查型异常来说)/\*\*\* @author 庆医\* @describe 自定义检查型异常\*/");!!**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
2024-05-14 13:58:34
755
原创 33、Java 异常掌握这些就够了(图解 Java 中的异常)_java异常分类图(1)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!(2) Throwable 常用方法(4) Exercise① 第1题② 第2题✏️ 或代码块中的代码执行完毕后,一定会执行代码块中的代码✏️
2024-05-14 13:57:58
662
原创 30分钟学会html+css实现乒乓球快打特效(内附源码)_用html实现球动态背景
* 画出小球 *//* 让小球动起来 bounce:反弹 linear:线性 */到这里我们就实现了左拍的全部效果,可是出现了一个问题,左拍有了,小球动了,可是谁来接球呢?总不能一边接左边一边接右边,这很明显不合理,也是一种错误的想法。我们接下来写右拍——有球必应(hhh)到这里右拍的效果就实现了,是不是非常简单,相信聪明的你,你一定可以的。
2024-05-14 13:57:22
328
原创 2个月面试腾讯、B站、网易等11家公司的面经总结!最强技术实现_b站数据仓库 面经
上回承诺过大家,一定会出 HTTP 的系列文章,今天终于整理完成了。作为一个 web 开发,HTTP 几乎是天天要打交道的东西,但我发现大部分人对 HTTP 只是浅尝辄止,对更多的细节及原理就了解不深了,在面试的时候感觉非常吃力。这篇文章就是为了帮助大家树立完整的 HTTP 知识体系,并达到一定的深度,从容地应对各种灵魂之问,也同时提升自己作为一个 web 开发的专业素养吧。
2024-05-14 13:56:45
628
原创 2024年最全《离线和实时大数据开发实战》(一)构建大数据开发知识体系图谱,2024年最新为什么大数据开发要采用Binder作为IPC机制
我们需要关注这其中的时效性,毫不夸张地说,数据采集传输工具和系统已是大数据时代的关键基础设施。
2024-05-14 05:20:28
600
原创 2024年最全《大型数据库技术》MySQL的进阶开发技巧(1),大数据开发事件分发机制面试
1.5 创建一个存储过程,名称自定,通过输入商品ID的最小值,最大值,将表中商品ID处于(最小值,最大值)范围内,且为偶数的记录删除,包括最小值与最大值本身。若事务T对数据对象A加上S锁,则事务T可以读A但不能修改A,其他事务只能再对A加S锁,而不能加X锁,直到T释放A上的S 锁。若事务T对数据对象A加上X锁,事务T可以读A也可以修改A,其他事务不能再对A加任何锁,直到T释放A上的锁。定义一个触发器,实现如下功能,在往1.2的表中插入记录的时候,将记录同时也插入到一张新的表sale_backup.
2024-05-14 05:19:52
992
原创 2024年最全《Redis实战篇》三、优惠券秒杀(2),【金九银十
ID的组成部分:符号位:1bit,永远为0时间戳:31bit,以秒为单位,可以使用69年序列号:32bit,秒内的计数器,支持每秒产生2^32个不同ID。
2024-05-14 05:19:16
937
原创 2024年最全《Redis实战篇》一、短信登录_第1关 使用redis管理登录令牌(1),2024年最新大数据开发中常见的面试题
*注意:**这里是否需要返回登录成功的凭证信息呢?不需要,因为登录或注册后会在session中存放user,一个session对应一个sessionID,sessionID会被自动放到Cookie,下次请求时,Cookie会带着JSessionID找到对应的session。
2024-05-14 05:18:39
826
原创 2024年大数据最全对计算机专业来说学历真的重要吗?_计算机专业学历重要吗,2024年最新帮你突破瓶颈
我跟我另一个同学,走了完全不同的道路。我看清了之后,我考研去了。他仍然坚持技术改变命运。结果是,在北京打拼的八年,去年去面试阿里,进了面试,仍被刷了。这就是事实!!!血的事实!!!我考研报考的是中国科学院,2011年中科院大部分的研究所的分数线都是315,只有软件所和计算所的分数特别高,我报考的软件所分数张是343,而我恰恰考了342!差一分进不了面试,只能中科院内其它所调剂。这就是事实!!!经过曲折的调剂过程,我最终进了中国海洋大学。这个学校是他们眼中的985/211人生得到了完全的改变!!!!
2024-05-13 20:32:07
964
原创 2024年大数据最全客快物流大数据项目学习框架,2024年最新大数据开发基础教程第4版
业务系统数据主要存放到Oracle和Mysql数据库中,比如CRM系统数据在Mysql,OMS系统数据存放在Oracle中OGG增量同步Oracle数据库的数据,Canal增量同步Mysql数据库的数据OGG及Canal增量抽取的数据会写入到Kafka集群,供实时分析计算程序消费实时分析计算程序消费kafka的数据,将消费出来的数据进行ETL操作。
2024-05-13 20:31:31
615
原创 2024年大数据最全学会这几款表白特效让你明年双十一不再是一个人(2),2024年最新2024最新大厂大数据开发面试真题解析
*这是另一个注释*//*这是另一个注释*/
2024-05-13 20:30:55
583
原创 2024年大数据最全学习:Elasticsearch(4),2024年最新学大数据开发看这就完事了
作为用户,我们可以将请求发送到 集群中的任何节点 ,包括主节点。每个节点都知道任意文档所处的位置,并且能够将我们的请求直接转发到存储我们所需文档的节点。无论我们将请求发送到哪个节点,它都能负责从各个包含我们所需文档的节点收集回数据,并将最终结果返回給客户端。Elasticsearch 对这一切的管理都是透明的。如果只是在相同节点数目的集群上增加更多的副本分片并不能提高性能,因为每个分片从节点上获得的资源会变少。你需要增加更多的硬件资源来提升吞吐量。
2024-05-13 20:30:18
829
原创 2024年大数据分布式系统中的脑裂,你懂吗?_分布式系统脑裂(1),2024年最新程序员面试防坑宝典
脑裂就是由原来只有一个做决策的大脑突然间变成了由多个同时做决策,而这多个大脑在做决策时,因为互相之间的信息并不同步而导致的决策之间发生冲突进而让分布式系统的管理陷入到一种混乱的局面,分布式系统中引入了多个管理者同时做决策的现象就叫脑裂。需要用可信任的第三方机构,由它来裁决谁是真正的领导,而谁只能暂时充当秘书,什么时候通过权力交接,都由第三方机构说了算。为什么会出现脑裂呢?分布式是大数据技术的核心思想,会出现还没等这个为主的领导挂掉,秘书就会搞一些小动作做一些类似夺权的行为,也开始对下面的小弟发号施令。
2024-05-13 14:58:13
397
原创 2024年大数据分布式事务的深入理解?(2),2024年最新2024年阿里大数据开发高级面试题及答案
A账户跨行向B账户转账,第一阶段为银联收到转账申请后先向A账户所在银行发起扣钱操作,A只执行不提交也就是只在内存中对金额进行扣减但是不写入到磁盘中然后把执行成功的消息告诉银联,接着银联再向B的所在的银行发起加钱操作也只是在内存中对账户金额进行增加并不写入磁盘,然后再把执行成功的消息也告诉银联,第一阶段也可称为投票阶段,如果A、B操作都成功则投票成功,否则为失败。事务的理解,比如你要将账户A转1块钱到账户B中,那么这个行为在执行时会被拆分成两个步骤,第一步是将A账户扣掉1块钱,第二步就是将B账户加上1块钱;
2024-05-13 14:57:37
791
原创 2024年大数据入门-三分钟读懂Hadoop,2024年最新大数据开发面试大数据开发基础
保证你的数据是错误的,现实生活中错误是没有办法避免的,我们唯有每天自省,每天反思,才能避免少犯错误或者不犯错误。第三,Hadoop的机器是可以动态的移动数据,这就是啥呢,这就是互帮互助,在现实生活中,你负担大了,我可以帮助你,你可以帮助我。这种帮助机制是有自己的调度资源的。**高扩展性:**Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。第二,Hadoop是可以扩展的,就是说我们一台机器不够用了,可以再加一台,流程不是很复杂,简单的写几条命令就可以了。
2024-05-13 14:57:01
623
原创 2024年大数据入门-三分钟读懂Hadoop(5),2024阿里、网易、京东等大厂最新大数据开发面试题
*背景:**经过自己三年多的接触,个人谈一些自己的愚见。第三,Hadoop的机器是可以动态的移动数据,这就是啥呢,这就是互帮互助,在现实生活中,你负担大了,我可以帮助你,你可以帮助我。**高扩展性:**Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。第二,Hadoop是可以扩展的,就是说我们一台机器不够用了,可以再加一台,流程不是很复杂,简单的写几条命令就可以了。**高容错性:**Hadoop能够自动保存数据的多个副本,并且能够将失败的任务重新分配。
2024-05-13 14:56:24
398
原创 最新大数据领域相关术语总结,2024年最新阿里P7级别面试经验总结
例如,Google的BERT模型、OpenAI的GPT模型、Facebook的RoBERTa模型等都是目前最为著名的LLM大模型之一,它们使用了大量的训练数据和强大的计算资源,取得了在自然语言处理领域的重大突破。CVR 指的是广告被点击后,用户进行了期望的行为(比如购买、注册、订阅等)的次数与广告被点击的次数之间的比例,通常以百分比的形式表示。例如,在计算机视觉、音频处理、医疗健康等领域,也可以使用类似的方法,使用大量数据和强大的计算资源来训练大型模型,从而实现更加准确和高效的预测和分析。
2024-05-12 17:35:25
339
原创 最新大数据面试题_kafka message header,阿里蚂蚁金服五面
大家都知道namenode与secondary namenode 的关系,当他们要进行数据同步时叫做checkpoint时就用到了fsimage与edit,fsimage是保存最新的元数据的信息,当fsimage数据到一定的大小事会去生成一个新的文件来保存元数据的信息,这个新的文件就是edit,edit会回滚最新的数据。这样做的好处在于,在map端进行一次reduce之后,数据量会大幅度减小,从而减小传输,保证reduce端能够更快的进行结果计算。一般开启这个会比较好,以防错误删除重要文件。
2024-05-12 17:34:49
678
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人