自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(198)
  • 收藏
  • 关注

原创 分布式系统中的那些一致性(CAP、BASE、2PC、3PC、Paxos(2)

工作过几年的同学,尤其是这几年,大家或多或少都参与过分布式系统的开发,遇到过各式各样“分布式”问题,而遇到这些问题去解决时就是我们对这个知识学习的过程。不知道大家是否跟我一样,每每搜索到“分布式”关键词,总会出现各种“分布式理论”,比如CAP、BASE理论、2PC、3PC 以及 Paxos、Raft、ZAB 算法,而这些貌似跟一致性都有一定的关系。在读过数次与之相关的不同文章后,每次都会有不一样的理解以及困惑,比如,CAP中的 C 怎么就强一致了?BASE 理论的定义怎么这么抽象?

2024-05-01 00:41:49 345

原创 分享 双十一 Kafka+Flink+Redis 的电商大屏实时计算案例_redis 实现实时双十一大屏

由于订单可能会包含多种商品,故会被拆分成子订单来表示,每条JSON消息表示一个子订单。由于大屏的最大诉求是实时性,等待迟到数据显然不太现实,因此我们采用处理时间作为时间特征,并以1分钟的频率做checkpointing。然后订阅Kafka的订单消息作为数据源给带状态的算子设定算子ID(通过调用uid()方法)是个好习惯,能够保证Flink应用从保存点重启时能够正确恢复状态现场。为了尽量稳妥,Flink官方也建议为每个算子都显式地设定ID,参考官方文档。

2024-05-01 00:40:44 189

原创 凯哥带你从零学大数据系列之Java篇---第十章 包装类和常用类(1)

*示例:**Integer类中, 将 [-128, 127] 范围内的数字对应的包装类对象预存到了一个 Integer.cache 数组中, 每当我们用到这个范围内的数字的时候, 可以直接从这个数组中获取到元素。其实, 随机数的产生, 是有一个固定的随机数算法的。**示例:**如果在一个类的重载方法中, 有两个方法的参数类型, 一个是基本数据类型, 一个是对应的包装类型。**注意事项2:**对于整数来说,字符串中如果出现了其他的非数字的字符, 都会导致转整数失败, 即便是小数点, 也不可以转。

2024-05-01 00:39:42 383

原创 凯哥带你从零学大数据系列之Java篇---第十二章 异常_catch子句可以有多个,待捕获异常对象的所属类型,其先后顺序无关紧要

(Non-Runtime Exception: 非运行时异常, 但是由于异常是发生在编译时期的,因此,常常成为编译时异常。否则将捕获不到异常, 会导致try中实际出现的异常没有被捕获处理, 依然可以终止程序的编译或运行。如果try中出现了多种异常,并且某些类型的异常,处理方式相同。如果在try代码段中, 出现了多种类型的异常, 此时如果需要对这些异常进行不同的处理, 可以写多个catch子句。无论try代码段中有没有异常出现,无论try里面出现的异常没有被捕获处理,finally中的代码始终会执行。

2024-05-01 00:39:10 250

原创 【期末复习】计算机网络 谢希仁版(六)应用层_以下应用层协议中,不采用c s工作模式的是( )

也就是说,网页 URL的后缀不是.htm、.html、.shtml、.xml等静态网页的常见形动态网页制作格式,而是以.aspx、.asp、.jsp、.php、.perl、.cgi等形式为后缀,并且在动态网页网址中有一个标志性的符号——“?本地域名服务器经过三次迭代查询后,从权限域名服务器dns.abc.com得到了主机y.abc.com的IP地址,最后把结果返回给发起查询的主机m.xyz.com。由于HTTP是面向文本的,因此在报文中的每一个字段都是一些ASCII码串,因此各个字段的长度都是不确定的。

2024-04-30 13:56:02 347

原创 【期末复习】计算机网络 谢希仁版(三)数据链路层_10个站都连接到一个10mb s以太网交换机(1)

地址字段第1字节的最低第二位规定为G/L位,当G/L为0时候是全球管理(保证全球没有相同的地址),当G/L为1时时本地管理,这时用户可任意分配网络上的地址。数据链路层的协议非常简单,接收方每收到一个帧,就进行CRC检验,如果CRC检验正确,就收下这个帧,反之则丢弃这个帧,其他扫码也不做。地址字段的第一个字节的最低位为I/G位,当I/G位为0时,地址字段表示一个的单个站地址。在不改变网络的实际拓扑,但在逻辑上则切断了某些链路,使得一台主机到所有其他主机的路径是无环路的树状结构,从而消除了都兜圈子现象。

2024-04-30 13:54:58 266

原创 【新人福利】前端学习路线,再也不用发愁自己该从何学习

JavaScript 就可以自己写出网页界面出来(2)APP 开发:比如美团外卖、酷狗音乐等手机端产品都可以用 WEB 前端开发(3)小程序开发:跳一跳 KFC 小程序点餐等等(4)小游戏开发:比如俄罗斯方块 2499 超级玛丽 切水果 飞机大战等大众类的小游戏都可以用前端写出来(5)数据可视化:比如阿里双十一可视化大屏展示 基于 webGL 大数据可视化技术(6)智能家居:比如无人汽车,飞机,家居 方面的操作台就是用。

2024-04-30 13:53:15 318

原创 【数据结构初阶】八大排序(一)——希尔排序&&堆排序&&直接插入排序&&直接选择排序

/优化–选出最小的放在begin的位置,选出最大的放在end的位置。// 大思路:选择排序,依次选数,从后往前排。// 建堆 – 向下调整建堆 - O(N)// 找出小的那个孩子。//修正一下maxi。// 升序 – 大堆。// 降序 – 小堆。

2024-04-30 13:52:44 191

原创 [项目实战,源码完整]手把手教你怎么封装组件,React 重写学成在线 III_react 函数组件如何重写

这里的 props 是用来接收父组件传来的数据的,在上一期轮播图中讲了父组件如何向子组件传递数据,这里讲的就是子组件如何从父组件中接收数据。父组件传到子组件的这些属性最终会被 React 压缩到一个对象中,约定俗成的这个对象叫做 props,这也是上文使用的。从 props 中获取数据的方法也很简单,就像从一般的对象中获取属性一样,直接使用props.data。

2024-04-30 05:45:19 361

原创 [软考高级架构] 笔记- 计算机系统+进程管理_高级架构软件笔记

如:需要N个资源,K个进程;K(N-1)+1 = 最少的资源数。**基准程序法:**跑分软件,衡量计算机各种性能的方法。,涉及抄袭时,私信直接删除或者改为转载~~~:共享,速度有差异,在一定情况下进行等待。P(S),V(S):S:信号量。一个人一个物体进行操作,分配规则:总数-1个。以上是博主自己学习中。

2024-04-30 05:44:15 86

原创 [算法刷题笔记]二叉树练习(2) 对称二叉树有关的练习_给定两个根结点分别为root1 和root2 二又树,请判断这两棵树是否完全相同数据范围 (1)

学习算法,还有一些知识的时候,有时候看书后以为自己懂了,结果做题就发现自己没什么思路,为此,博主决定坚持刷题,这里给大家推荐一个适合大家做题复习,准备面试的网站,里面还有大量的面经,大家可以在面试之前去看看我们可以看到里面根据不同知识层面分成对应的题库,算法也进行了对应的分类,十分的友好,接下来就开始今天的刷题之旅。

2024-04-30 05:43:12 289

原创 [硬核]卷起来!两万六千字总结的JavaWeb核心技术学习笔记_学习笔记卷起来

①地址栏直接写路径:http://localhost:8080/项目名/servlet路径?例如:http://www.czxy.com http://www.czxy.com:80/http://localhost:8080/web/a/c/oneServlet,不允许访问(无关路径)http://localhost:8080/web/a/b/c/oneServlet,可访问(子路径)http://localhost:8080/web/a/b/oneServlet,可访问(当前路径)

2024-04-30 05:42:41 556

原创 2024年Python+大数据学习路线图 内附「路线+视频」_python+大数据框架路线(2)

b站传送门:https://www.bilibili.com/video/BV1iF411z7Pu×Kettle与BI工具Kettle作为一个端对端的数据集成平台,其部分特色功能包括:无代码拖拽式构建数据管道、多数据源对接、数据管道可视化、模板化开发数据管道、可视化计划任务、深度Hadoop支持、数据任务下压Spark集群、数据挖掘与机器学习支持。图片b站直达图片b站传送门:https://www.bilibili.com/video/BV1CT4y157KE?p=24×。

2024-04-29 20:34:59 284

原创 2024年Java何去何从,在人工智能,云计算,物联网,区域块链,大数据的背景下Java未来会怎样发展

更有优势的是,java也是有很多发行版选择,执行环境jvm也可以选择,这点别的语言也没有的。1.成熟完善且数量众多的框架2.现有很多中小公司核心业务都是Java写的,换语言重写成本太大而且没有必要个人认为Java想发展地更好可能性不大,但也不可能被其他语言替代,保住前几的地位问题不大。基于这个原因,程序连编译都可以省了,方便调试,java这个字节码跨平台好像没有意义,内存回收就更没意义了,就跑一遍,自己回收下就好了,还需要spring对象工厂管理吗。Java ,Python,Go,底层都是二进制。

2024-04-29 20:33:56 264

原创 2024年AI十大展望:GPT-4领衔大模型变革,谷歌拉响警报,训练数据告急_人工智能未来十大趋势

大卫·霍尔茨(David Holz)是Midjourney的创始人兼首席执行官,他曾是Leap Motion的联合创始人兼首席技术官,Leap Motion曾是一家飞速发展的虚拟现实创业公司,这家公司在2010年代筹集了近1亿美元的风险投资,之后公司发展状况迅速恶化,最终被收购。因此,注定会出现一套新的工具和基础设施。原因很简单,因为我们现实世界的大部分架构都是为了人类而打造,如果我们想利用机器人在工厂、购物中心、办公室和学校这样的场所自动完成复杂活动,最有效的方法就是让机器人拥有和人类一样的外形。

2024-04-29 20:33:26 503

原创 2024大数据面试题+附答案

RDD(弹性分布式数据集)是Spark的基本抽象之一,表示不可变的、可分区的数据集合,它们能够在Spark中进行并行操作。RDD可以存储在内存中,也可以存储在磁盘中,并且可以被Spark与其他工具整合使用。Spark中大多数数据的处理操作都围绕着RDD展开。可以通过rddToStreamingContext方法将已有的RDD转换为DStream。例如:过滤器转换器(Filter Transformers)指的是DStream对象的转换操作,可以应用于DStream中的元素并返回新的DStream。

2024-04-29 20:32:21 514

原创 大话数据结构--树

其中:ltag为0时指向该结点的左孩子,为1时指向该结点的前驱。rtag为0时指向该结点的右孩子,为1时指向该结点的后继。如下:6.9.2线索二叉树结构实现二叉树的二叉线索存储结构定义/* Link=-0 表示指向左右孩子指针*/ /* Thread==1 表示指向前驱或后继的线索*/typedef struct BiThrNode /二叉线索存储结点结构结点数据左右孩子指针左右标志线索化的实质就是将二叉链表中的空指针改为指向前驱或后继的线索。

2024-04-29 00:39:50 625

原创 大话数据结构--串(2)

​ 既然是定长数组,就存在一个预定义的最大串长度,一般可以将实际的串长度值保存在数组的0下标位置,有的书中也会定义存储在数组的最后一个下标位置。它规定在串值后面加一个不计入串长度的结束标记字符,比如“\0” 来表示串值的终结,这个时候,你要想知道此时的串长度,就需要遍历计算一下才 知道了,其实这还是需要占用一个空间,何必呢。对于串的链式存储结构,与线性表是相似的,但由于串结构的特殊性,结构中的每个元素数据是一个字符,如果也简单的应用链表存储串值,一个结点对应一个字符,就会存在很大的空间浪费。

2024-04-29 00:36:47 675

原创 大话数据结构--串(1)

对于串的链式存储结构,与线性表是相似的,但由于串结构的特殊性,结构中的每个元素数据是一个字符,如果也简单的应用链表存储串值,一个结点对应一个字符,就会存在很大的空间浪费。​ 计算机中常用字符是使用标准ASCII编码,更准确一点,由7位二进制数表示一个字符,共可以表示128个字符,后来不够用了扩展ASCII码由8位二进制数表示一个字符,共可以表示256个字符,已经足够满足以英语为主的语言和特殊符号进行输入、存储、输出等操作的字符需要了。比如在计算机中存在-一个自由存储区,叫做“堆”。通常要进行下面的步骤。

2024-04-29 00:36:16 734

原创 大牛呕心力作——Kafka开发实战,助你徜徉大数据时代

集群环境规划伪分布式环境安装多节点环境安装验证部署参数设置本章小结。

2024-04-29 00:34:32 680

原创 【数据结构与算法】之动态规划经典问题_动态规划问题

0minfn−coin1n0在此过程中,我们确实会出现很多的重复子问题计算,我们需要使用一个memo备忘录进行记录。

2024-04-28 11:16:05 516

原创 【数据结构与算法】【24考研】(三(1)

分析:咱们是将偶数移动到奇数之前,也就是说,要把前面的奇数移动到后面,后面的偶数移动的前面,这个时候我就想到了快速排序,快速排序是大小,咱们这里改成奇偶,也就是说咱们要在前部分虚招一个奇数,后半部分找一个偶数,两者交换,当一次遍历完成所有偶数就到奇数前面了。自己创作代码如下代码分析:分了四种情况前奇数后偶数 交换前偶数后偶数 前继续寻找奇数前奇数后奇数 后继续寻找偶数前偶数后奇数 前后继续寻找标准答案。

2024-04-28 11:15:00 726

原创 【数据结构】顺序表基本操作的实现(C语言)_如果用顺序表,教职工信息管理系统的基本操作如何实现。

/判断ps->size是否大于0,当等于0时再删的话ps->size就会变为-1,越界。//判断ps->size是否大于0,当等于0时再删的话ps->size就会变为-1,越界。int SLNFind(SL* ps, SLDataType x, int begin)//begin是开始查找的位置。

2024-04-28 11:13:57 274

原创 【数据结构】队列基本操作的实现(C语言)

QDataType QueueFront(Queue* pq)//返回队头的值。int QueueSize(Queue* pq)//返回队列中有效值个数。int QueueSize(Queue* pq)//返回队列中有效值个数。//判断队列是否为空。void QueuePrint(Queue* pq)//打印。void QueuePrint(Queue* pq)//打印。void QueuePop(Queue* pq)//出队列。void QueuePop(Queue* pq)//出队列。

2024-04-28 11:13:26 843

原创 【Flink】(十一)Flink CEP 入门_flink cep模式 快速入门(1)

什么是复杂事件处理 CEP?简而言之,就是由一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。目标:从有序的简单事件流中发现一些高阶特征输入:一个或多个由简单事件构成的事件流处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件输出:满足规则的复杂事件CEP 用于分析低延迟、频繁产生的不同来源的事件流。CEP 可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系,以接近实时或准实时的获得通知并阻止一些行为。

2024-04-28 06:16:09 539

原创 【Flask框架】——第一个Flask项目

—static|— 1.png访问127.0.0.1:5000:static/1.png, static_url_path=‘/Flyme awei’, static_folder=‘static’) # 初始化 Flask项目的服务if# IP:0.0.0.0 代表当前计算机所有的IP地址,# port:端口默认是 5000# flask的debug模式:把错误信息显示到页面中。

2024-04-28 06:15:04 550

原创 【ES专题】ElasticSearch集群架构剖析_es集群

诸如。

2024-04-28 06:14:02 728

原创 【ES专题】ElasticSearch集群架构剖析_es集群(1)

使用何种通信协议去同步数据,互相通信采用何种策略同步数据(异步还是同步)如何保证一致性,保证到什么程度(【最终一致性】 or【实时一致性 / 强一致性】)使用何种算法去选举主次节点(感觉这个比较随意,通常为了快速恢复服务,选举流程是怎么快怎么来,但是不能出现【脑裂问题】)

2024-04-28 06:13:30 844

原创 2024年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中,敬请期待…_唯众智创 大数据 赛题(1)

资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

2024-04-27 20:41:13 815

原创 2024年Python+大数据学习路线图 内附「路线+视频」_python+大数据框架路线

任何学习过程都需要一个科学合理的学习路线,才能够有条不紊的完成我们的学习目标。以往的数据开发,需要一定的Java基础和工作经验,门槛高,入门难。今天特别为大家整理了一个全面的Python+大数据学习路线图,帮大家理清思路,攻破难关!本路线图适合零基础入门数据开发行业的小伙伴,从Python语言入手。Python语言简单易懂,适合零基础入门,在编程语言排名上升最快,能完成数据挖掘、机器学习、实时计算在内的各种大数据集成任务。PS:等不及的同学可以直接翻到文末点击阅读原文查看路线图。

2024-04-27 20:40:11 1001 2

原创 2024年Java何去何从,在人工智能,云计算,物联网,区域块链,大数据的背景下Java未来会怎样发展

首先给你总结一下,人工智能,云计算,物联网,区域块链,大数据这些行业比较高大尚,但是都是需要编程基础,你一门语言不会那个行业都轮不到你当然怎么去发展这个是未来的事,我们谁也不知道国家的下一步会怎么去规划至于Java何去何从,这就不是你应该担心的问题,就算以后这些行业没有Java的身影,这门语言也是仍然会持续的被中国人使用下去我觉得这些不是你应该担心的问题,当下就只需要把自己的事情做好,好好学习一门编程语言,这样就算他以后怎么发展,你也有跟别人竞争的资本。都不是java的主场,有参与的机会但进不了核心。

2024-04-27 20:39:40 902

原创 2024年AI十大展望:GPT-4领衔大模型变革,谷歌拉响警报,训练数据告急_人工智能未来十大趋势

大卫·霍尔茨(David Holz)是Midjourney的创始人兼首席执行官,他曾是Leap Motion的联合创始人兼首席技术官,Leap Motion曾是一家飞速发展的虚拟现实创业公司,这家公司在2010年代筹集了近1亿美元的风险投资,之后公司发展状况迅速恶化,最终被收购。因此,注定会出现一套新的工具和基础设施。原因很简单,因为我们现实世界的大部分架构都是为了人类而打造,如果我们想利用机器人在工厂、购物中心、办公室和学校这样的场所自动完成复杂活动,最有效的方法就是让机器人拥有和人类一样的外形。

2024-04-27 20:39:09 886

原创 小白必看的经典机器学习入门项目

我们看到美国总统的平均身高是182厘米,或略低于6英尺。这些集合是探索性数据科学的一些基本部分,我们将在以后的项目中更深入地探讨。

2024-04-27 13:46:34 951 1

原创 将数据库性能提升 100 倍?大数据时代中,一位数据库老兵的创新之路

*“数据库能定义未来记忆。”**由于 MatrixDB 数据库更多应用于物联网、车联网、工业互联网和智慧生活等场景,姚延栋也与 InfoQ 谈到了他对于万物互联时代中数据库的理解,万物互联的目的是为了更智能化,而智能的前提是基于记忆,但事物本身是没有记忆能力的,如风力发电机、智能手环等等。谈及数据库和四维纵横的未来,姚延栋希望能够让数据处理简单到像用电、用气、用水一样,把 MatrixDB 数据库打造成一个真正的一站式数据处理平台,让从业者在进行数据处理时,不再需要关心底层的数据存储以及计算的复杂性。

2024-04-27 13:45:32 686

原创 对话阿里云叔同:如何看待 2024 年云原生的发展,2024 年有哪些值得关注的技术?_2024云原生的新技术(2)

上云能够解决过去一代的技术问题,在过去的十年里,行业逐渐形成了上云的思路转变,但是在下一个阶段,云上应用构建又面临新的挑战,尽管业内有非常多开源项目,可以使用很多云产品,但是没有一套通用的标准和技术,购买服务器、选择规格、部署服务、定制应用及运维等,都需要耗费研发和架构师大量的精力。从函数计算、事件驱动到容器化为基础,最后会形成统一的软件架构的方向,慢慢地业界上云用云的蓝图逐渐完整,指引企业如何演进应用架构,云应该如何发展,研发范式如何升级等,所有这些变化的根源都是云原生和 Serverless 驱动的。

2024-04-27 13:43:53 567

原创 对话阿里云叔同:如何看待 2024 年云原生的发展,2024 年有哪些值得关注的技术?_2024云原生的新技术(1)

上云能够解决过去一代的技术问题,在过去的十年里,行业逐渐形成了上云的思路转变,但是在下一个阶段,云上应用构建又面临新的挑战,尽管业内有非常多开源项目,可以使用很多云产品,但是没有一套通用的标准和技术,购买服务器、选择规格、部署服务、定制应用及运维等,都需要耗费研发和架构师大量的精力。从函数计算、事件驱动到容器化为基础,最后会形成统一的软件架构的方向,慢慢地业界上云用云的蓝图逐渐完整,指引企业如何演进应用架构,云应该如何发展,研发范式如何升级等,所有这些变化的根源都是云原生和 Serverless 驱动的。

2024-04-27 13:43:22 899

原创 大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn

通常在Map Task任务完成MOF输出进度到约3%时启动Reduce,从各个Map Task获取MOF文件。Reduce Task个数由客户端决定,Reduce Task 个数决定MOF文件分区数。因此Map Task输出的MOF文件都能找到对应的Reduce Task来处理。

2024-04-27 11:16:12 872

原创 一篇文章搞懂数据仓库:三种事实表(设计原则,设计方法、对比)

在 Kimball 的维度建模中,通常按照星形模型的方式设计,通过事实表的外键关联专门的维表,这种方式来获取维度,谨慎使用退化维表;订单支付金额和订单票数,两个事实的粒度为 “订单级”,属于上一层订单级数据,与 “票级” 事实表的粒度不一致,且不能进行汇总;如,淘宝订单 “付款事务事实表” 中,粒度为 “子订单”,相关的维度有买家、卖家、商品、收货人信息、业务类型、订单时间等;如,订单金额、订单优惠金额、订单运费这 3 个事实,应该采用统一的计量单位,统一为元或者分,以方便使用;

2024-04-27 09:11:25 749

原创 【分析BMI指数~python】_pythonbmi

gradeBmis = [[(‘20级大数据一班’, “王平”, 1.66, 55), (‘20级大数据一班’, ‘王恰’, 1.65, 52), (‘20级大数据一班’, ‘周馓’, 1.75, 66)],[(‘20级大数据二班’, “仁济”, 1.66, 64), (‘20级大数据二班’, ‘范德萨’, 1.72, 66), (‘20级大数据二班’, ‘陈琳’, 1.76, 56)]]print(“\n---------------班级分割线----------------”)

2024-04-27 07:14:28 974

原创 【c++百日刷题计划】 —(3)

7279279279则按输出错误处理,不能得分。

2024-04-27 05:24:01 856

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除