- 博客(198)
- 资源 (6)
- 问答 (12)
- 收藏
- 关注
原创 大数据技术之完结:就这些了,你们看着用
有的技术尽管在初期发挥了重要作用,但因为时代的发展以及新技术的诞生已经边缘化(例如MapReduce、Storm)。例如,使用 Hive、Spark或Flink对数据进行分析,然后将结果存储到HBase中实现实时查询,再例如 Spark on Hive 或者 Hive on Spark等等,再例如 MapReduce、Spark、Storm、Flink这些计算任务都可以通过 Yarn 进行调度。例如,在应用开发中涉及到的高可用、高并发、微服务等技术都有分布式的影子,都是分而治之的思想。
2024-12-17 15:22:49
324
1
原创 大数据技术之Yarn:你丫都厉害,我就一跑腿的
在学习过程中可能会发现 MapReduce、Spark 和 Flink 也有自己的资源管理器,随之产生疑问:“各计算引擎知道自己的数据在哪,可以进行任务调度,Yarn 是怎么知道数据在哪?作为 Hadoop2.0从 MapReduce 中分离出来的组件,Yarn 已经是一个通用的资源调度管理平台,MapReduce 也可以专注于计算任务的调度工作。像 Yarn、K8s这样的资源调度平台,都是把资源的管理、分配以及计算任务调度、容错做到了自动化,可以提高资源的利用率,也可以减少开发运维人员的工作量。
2024-12-12 14:40:49
203
1
原创 大数据技术之HBase:恁爹搞的数据库
传统的关系型数据库是单机的,通常一个表的数据在一个文件中,想要做到实时的增删改查是比较容易的。但是 HDFS 中的一个文件是要分布在不同的节点上,实时添加一条数据相对容易,直接在文件末尾追加数据即可。初学者在接触HBase的时候,可能会产生一个疑问:“既然有支持SQL的Hive,为什么又有HBase,这两个有什么区别 ”。没错,HBase 就是一个支持增删改查操作的“大”数据库,只不过 HBase 是基于 HDFS 实现的。提到数据库大家应该就有概念了,所有业务系统都离不开的增删改查操作都需要数据库。
2024-12-02 17:49:51
964
14
原创 大数据技术之Flink:你俩不行,还是我“流”的好
因为是间隔一段时间再去计算,所以在实时性方面,Spark Streaming 就不如 Flink,现在说起流计算基本上就是在讨论 Flink 了。不过两者的架构和概念有很多相似的地方,也都是函数式编程。批计算和流计算整体工作流程大体一致,都有任务调度、计算结果聚合等过程。随着移动互联网、物联网的兴起,每分每秒都在产生大量的数据,例如传感器产生的数据、订单交易数据、用户行为记录等。,所以任务执行还是 Spark 的逻辑,所以 Spark Streaming 算是一个“伪”流计算系统,属于批计算这一波。
2024-11-28 14:04:35
288
8
原创 大数据技术之Spark :我快呀~
由于 MapReduce 的计算模型只有 Map 和 Reduce 两个阶段,在实现复杂计算需求时就要编写多个 Mapper 和 Reducer 的实现。以上面800个数据块为例子,MapReduce 会有800次的 Map 计算结果落盘以及多个 Reduce 计算结果聚合(这个行为有一个专业的术语: Shuffle,这里不具体说明)。但这并不影响 MapReduce 的地位,毕竟它的设计思想影响了很多技术,例如Spark。由于文章篇幅的原因,如果你和我一样有同样的疑问,请关注我,欢迎大家一起交流。
2024-11-27 11:21:07
666
9
原创 大数据技术之Hive:还是SQL好用
虽说 MapReduce 简化了大数据编程的难度,但是如果每来一个需求都要写一个 MapReduce 代码,那岂不是太麻烦了。**尤其是在全民“CRM”的2000年代,对于像数据分析师已经习惯使用SQL进行分析和统计的工程师,让他们去 MapReduce 编程还是有一定的难度**。
2024-11-16 12:19:23
423
原创 大数据技术之Hadoop :我是恁爹
不关注大数据的可能对这两个名词比较陌生,但是Hadoop大家一定都听说过吧。HDFS 和 MapReduce 就是 Hadoop 项目中的两个核心组件,。
2024-11-12 21:18:11
2083
原创 如果知道云产品有这么多门道,可能会帮你省下一大笔钱
我们能否在满足需求的情况下尽可能减少成本呢?答案是“当然的”,那么本文就告诉大家购买云产品的一些省钱攻略,让你在“上云”这方面降低成本。
2024-11-12 21:17:22
10063
7
原创 花了1个月学大数据,我发现...
第一次听说大数据是在18年左右,那个时候也才刚入行还在CRUD,对大数据这么高端的技术没有什么概念,只知道很牛逼,就买了一本《Hadoop 权威指南》。至今已经6、7年了,也只看了第一章的第一节《数据!数据!》,现在还陈列在我的书架上的第一排。虽然这期间再也没有进行学习,但毕竟是程序员嘛,多少会接触到大数据相关的一些边缘工作,说起大数据的一些技术也都不陌生,比如Hadoop、Spark、Flink什么的,但总归是没有深入了解。
2024-11-09 20:55:41
403
原创 二蛋赠书二十三期:《大模型项目实战:多领域智能应用开发》
基于大语言模型的 Chat 应用,是一种利用自然语言处理技术来进行对话交互的智能应用。大语言模型通过大量数据的学习和训练,能够理解自然语言表达的语义,具备智能对话的能力。当用户向 Chat 应用提出问题时,Chat 应用就会利用其学习到的知识和自然语言处理技术来理解用户的意图,然后推理生成相应的答案。我们的目标是使用 React.js 开发一个通用的 Chat 应 用程序,提供对话 Web 界面,调用 ChatGLM3 项目的 OpenAI 兼容接口,编译并部署到 Nginx。
2024-10-23 20:55:22
935
10
原创 为什么一条Java命令,JVM就可以执行Java程序了(串联JVM面试知识点)
如果你对JVM一知半解,如果你想了解JVM的工作流程,如果你知道一些JVM面试题却无法将知识点串联起来,那么这篇文章非常适合你。
2024-10-21 11:04:08
2610
10
原创 朋友说想投资一家自助棋牌室系统,然后......
春节返工后,我就开始规划这个项目。契机源于春节期间,我发现老家竟开了近十家自助棋牌室,而且朋友也有意投入。更巧的是,年初时我还借助《腾讯混元大模型帮我开发一个自助棋牌室系统》。身为程序员的我,在思考了自助棋牌室背后的技术需求后,嗅到了一丝丝商机:何不开发一个自助棋牌室系统?转眼已过半年之久,借腾讯云开发社区《年中回顾特别季》这个机会,在此分享项目开展过程、遇到的问题以及解决方案,同时也期待能遇到志同道合的伙伴。“一个人的力量是有限的,但是一群人的力量是无限的。
2024-10-14 15:10:41
886
9
原创 JVM实现跨平台的关键因素:class文件和“翻译器”
当你通过上文对JVM有了初步的认识后,就需要关心JVM里面的内容了。通过上文可以知道,JVM是Java实现跨平台特性的关键所在,并且支持近百种编程语言。JVM是如何做到这两点的?本文将对此进行说明。如果想要精通JVM,对class文件的了解是必不可少的。因为class文件会涉及到类加载、类文件在JVM内存中的布局等知识。除此之外,在了解JVM指令和“翻译器”后,可以让你更清晰的认识Java编程语言从编码到运行的过程。
2024-10-08 17:12:37
1240
11
原创 JAVA内存模型!=JVM内存模型
有很多JAVA开发人员,在被问起:“你知道Java内存模型吗?”,都会回答:“知道,JAVA内存模型分为方法区、堆、…”。虽说“概念”这个词发明出来是为了方便交流和说明问题的,不用太过于较真。但是,答非所问就是你的不对了。如果对两者的概念混淆不清的,希望在看完本文后对你有所帮助。虽然JAVA内存模型!=JVM内存模型,但两者也有一定的关联。通过对JAVA内存模型的了解,能够对并发编程中存在的问题(可见性、原子性、有序性)有清晰的认识以及应对方案。
2024-09-30 11:30:33
696
11
原创 这是一篇给Java小白看的JVM文章
很多Java开发人员,还不清楚JVM是什么,就直接涉足JVM调优。很多Java开发人员,说起JVM,只知道运行时数据区域(或称之为JVM内存布局或JVM内存结构)。还有很多Java开发人员,在被问起:“你知道Java内存模型吗?”,答:“知道,Java内存模型分为方法区、堆、…”。虽说“概念”这个词发明出来是为了方便交流和说明问题的,不用太过于较真。但是,答非所问就是你的不对了。如果你属于其中一者,我劝你看完这篇文章。本文就一个目的:认识JVM。
2024-09-23 13:18:13
1195
9
原创 Vue2集成高德地图遇到的几个问题
几年没碰过前端了,最近闲来无事在捣鼓一个小项目,项目中一个功能涉及到地图组件,没想到在集成高德地图时遇到好几个问题,耗时3小时最终攻克,遂特此记录。如果有跟我同样情况的,希望可以帮助到你。花费我三个小时解决,主要还是没有经验的原因。不知道各位前端大佬在遇到这些个问题是怎么高效排查并解决的,深刻体会到经验的重要性。
2024-09-18 11:06:47
1065
原创 给我一个MarsCode,我可以用中文编程
自从大模型的横空问世,开发人员都会借助大模型来生成代码节省开发时间,并且惊叹这样的能力。于是乎,各大公司纷纷在这个领域布局,催生了不少的编程助手,集成到各种开发工具(IDE)中,并提供各种各样的能力,包括本文要介绍的豆包 MarsCode 编程助手。最后,我们看看MarsCode助手都有哪些功能。第一,MarsCode提供自动代码补全、代码生成的能力。第二,MarsCode可以解释选中的代码片段。第三,MarsCode可以为选中的代码片段生成单元测试、注释。
2024-09-18 11:05:23
7922
原创 腾讯元器初体验
一个后端开发人员可能没有办法快速实现前端代码,此时,如果有一个工具可以根据界面设计或者描述生成前端代码,那么对于后端开发而言,无疑是如有神助。本文就基于腾讯元器搭建一个前端编程助手智能体,看一看能否实现这一愿景。腾讯元器是腾讯混元大模型团队推出的智能体开放平台,开发者可以通过插件、知识库、工作流等方式快速、低门槛打造高质量的智能体,支持发布到QQ、微信等平台,同时也支持API调用。
2024-09-14 13:21:58
739
1
原创 软件开发人员从0到1实现物联网项目:项目架构的思考
因为种种原因,《软件开发人员从0到1实现物联网项目》这个项目的进度停滞了将近一个月。鉴于该项目的前期开发和后期的维护就我一人,为避免开发效率低下和后期维护中的潜在问题。我针对项目架构进行了初步的思考,从开发模式到后期维护进行了全面的梳理。基于这些思考,最后整理出了一份简单的技术架构图。有什么不足之处还请各位大佬不吝赐教,欢迎提出宝贵的意见和建议。
2024-09-09 10:11:52
1140
9
原创 你的APP也可以有自己的小程序
如何让开发好的微信小程序放在自己的 APP 里直接运行?如何在不同的应用中打开它?本文利用FinClip快速构建并部署一个跨平台小程序。FinClip是一款小程序平台,不论是移动 App,还是电脑、电视、车载主机等设备,在集成FinClip 小程序 SDK之后,都能快速获得运行小程序的能力。
2024-09-09 10:09:26
1376
原创 一份详细的EdgeOne安全配置指南与教程
自定义规则配置目前包括基础访问管控和精确匹配规则。上述的拦截页面都是EdgeOne提供的默认页面,EdgeOne还支持自定义拦截页面,响应页面支持text/html、application/json、text/plain、text/xml这几种格式,非常灵活,可以通过下图进行配置。效果如下EdgeOne 的安全防护可以用一句话总结:大而全,全而简。除了默认开启的 DDoS 攻击防护,在Web安全防护方面更是提供了500+防护规则以及灵活的自定义配置,配置简单、即时生效,对于小白来讲是非常友好的。
2024-09-02 09:46:41
1256
1
原创 单元测试 Mock不Mock?
前段时间,我们团队就单元测试是否采用 Mock 进行了一番交流,各有各的说法。本文就单元测试 Mock不Mock 给出我的观点,欢迎各位同仁提出不同的意见,共同探讨、相互交流。简单来说,Mock就是模拟目标代码的行为,在实际测试过程中代替真实的调用目标。如下图这样做的意义何在?隔离测试:Mock 使得测试可以专注于测试的代码逻辑,而不必关心外部不稳定因素。提高测试速度:Mock 可以避免耗时的外部调用,从而加快测试速度。提高测试的可靠性和稳定性:通过Mock,可以避免外部变化对测试结果的影响。
2024-09-02 09:46:17
1558
10
原创 大模型+IDE,开启编程新纪元
我在注释中用中文写好需求代码,编辑器就能立刻识别并提供精准的代码提示,我只需要一个按键就完成了代码编写的工作。如果不懂这段代码,我还可以让他对这段代码进行解释,帮助我去快速理解。作为一名程序员,你有没有想过有朝一日你可以精通多门编程语言?如果有,那么恭喜你,你的这些美好幻想可能要成真了。总的来说,可以很好的帮助开发者缩短学习曲线,提升研发效率,加速开发流程,绝对是开发者的福音。安装过程中需要登录腾讯云进行授权,如果你看见这个图标,就说明你安装成功了。别着急,只要你跟我一样,把。安装到你的IDE就可以了。
2024-08-27 08:18:38
270
原创 编写我的第一行Go代码,正式入坑Go语言
前段时间浅学了Go语言,也从Java的角度记录了我对Go语言的认识《Javaer 5分钟入门 Golang今天简单实操一下,编写我的第一行Go代码,就算正式入坑Go语言了。几乎所有的编程语言都需要安装开发/运行环境,都有自己的SDK、特定的编码工具等。只要有一门编程语言的经验,接触其他编程语言也就相对容易了。
2024-08-19 14:34:49
445
原创 中国数据库的前世今生:披荆斩棘,乘风破浪
从古至今,人类会用各种方式记录数据,从原始时期在木头和骨头上刻痕,到古代文明中的竹简、丝帛以及纸张上的笔墨记载,直到20世纪50年代,人类对数据的管理进入数据库时代。在数据库成为当今数字化时代记录和管理数据的主要方式之一,你知道其发展历程吗?让我们一起了解中国数据库的前世今生吧。
2024-08-14 08:29:09
10843
12
原创 git rebase 重建清爽的历史提交
开发过程中,为了避免代码丢失或其他因素,一次功能的完成避免不了多次提交。写好提交不仅可以帮助开发人员理清代码的逻辑,而且,整洁的提交记录也可以提高评审效率。所以,尽可能在一个提交中完成一个完整的功能。
2024-08-14 08:28:38
438
1
原创 搭建个人博客需要做哪些事
花了几天时间,搭建了一个个人博客,也算是完成了年初立的一个flag,欢迎大家访问。本文就记录下搭建个人博客的全过程,包括步骤与注意事项,希望为有意搭建个人博客的同学们提供一份参考。个人博客搭建是耗时费力的,也是持续的一个过程。如果没有相关经验可能像无头苍蝇一样,找不到方向无从下手,所以希望通过本文可以为大家指引方向,减少踩坑。。
2024-08-08 08:55:05
2046
41
原创 为什么会有“建议MySQL单表数据控制在2000W”的说法?
经常听到“建议MySQL单表数据控制在2000W”这样的说法,这个说法的背后是因为表数据量过大会导致查询性能低下。那么2000W是怎么来的?综上所述,“建议MySQL单表数据控制在2000W”是根据每行记录大小为1KB估算的,并非一个标准,还是要根据实际情况去决定单表的数据量。
2024-08-08 08:53:16
497
1
原创 解决分库分表查询的巧妙设计:异构索引表
最近计划参与一个换书活动,翻到《企业IT架构转型之道阿里巴巴中台战略思想与架构实战》这本书时,回想起令我印象比较深刻的一个知识点:“异构索引表”,所以在此记录并分享,和大家共同学习交流。全库扫描和不必要的计算资源消耗。但是,异构索引表并不适用所有场景,对于复杂的查询场景可能需要结合其他技术或策略来解决问题。
2024-07-31 14:17:25
1323
1
原创 下一代云原生应用引擎OpenNJet
作为一名技术人员,我们应时刻保持对行业动态的关注,今天我们就来体验一下号称下一代云原生应用引擎OpenNJet。OpenNJet是以NGINX为基础,进行派生并独立演进的云原生应用引擎。它具备环境感知、安全控制、加速优化等能力,并可以利用动态加载机制实现不同的产品形态,如API网关、消息代理、入口/出口控制器、边车、负载均衡和WAF等。此外,OpenNJet还拥有NGINX不具备的东西向通信、透明流量劫持、熔断、遥测以及故障注入、链路追踪、蓝绿发布等新功能特性。
2024-07-31 14:14:43
878
原创 任何 Web 项目都离不开的 Spring Security【原理+实战(前后端分离+无状态)】
大部分系统开发的第一个功能,基本上都是用户注册、登录,这两个看似简单的功能,实则是任何系统安全的基石。Spring Security 想必都很熟悉,作为一个安全管理框架,提供了丰富的认证机制、授权模型以及安全防护措施,极大简化了安全性的开发过程。本文就围绕 Spring Security 的架构原理、配置方法以及高级特性,高效的构建出一个安全的Web应用。Spring Security 如何知道我们想要求所有用户都经过身份认证?如何知道我们想要支持基于表单的身份认证?
2024-07-28 20:13:14
958
原创 Javaer 5分钟入门 Golang
这两年主流的编程语言 Golang,想必大家或多或少都接触过。云原生领域的许多组件都基于Go开发的,例如Docker,Kubernetes,etcd,还有很多大厂的新业务都转向了Go。所以,对于程序员而言,掌握Go语言就显得尤为重要,尤其是Java程序员(懂得都懂)。希望通过本文的介绍,Java开发者可以快速入门Go语言。基于 Go 语言编写的代码整体看上去是非常简洁的,而且语法规则和关键字相对较少,对于小白来说也比较容易上手。
2024-07-28 20:11:27
1115
原创 秋招开始了,看看有没有遇到的面试题。
金三银四招聘季已落幕,虽说行情不是很乐观,但真正的强者从不抱怨。在此期间,我收到众多小伙伴的宝贵反馈,整理出132道面试题,从基础到高级,有八股文,也有对某个知识点的深度解析。准备好迎接金九银十吧!!!
2024-07-16 14:34:13
742
原创 Java 还有未来吗?
金三银四招聘季已落幕,虽说行情不是很乐观,但真正的强者从不抱怨。在此期间,我收到众多小伙伴的宝贵反馈,整理出132道面试题,从基础到高级,有八股文,也有对某个知识点的深度解析。准备好迎接金九银十吧!!!
2024-07-04 10:48:24
916
1
原创 腾讯云Edgeone为我的网站保驾护航
众所周知,网站如果没有安全防护,极易遭受恶意攻击,导致运行受阻甚至瘫痪。为保障网站的安全稳定运行,必须采取诸如CDN加速与DDoS防护等措施,为用户提供安全、可靠的服务。本文将基于腾讯云边缘安全加速平台,介绍网站接入CDN和DDoS防护的重要性、实施方法以及最佳实践,为大家提供有价值的参考。边缘安全加速平台全称 Tencent cloud EdgeOne ,简称 EO(下文简称为 EdgeOne)。一张图看懂EdgeOne是什么。
2024-06-06 11:04:51
1535
1
原创 Java 还能不能继续搞了?
金三银四招聘季已落幕,虽说行情不是很乐观,但真正的强者从不抱怨。在此期间,我收到众多小伙伴的宝贵反馈,整理出132道面试题,从基础到高级,有八股文,也有对某个知识点的深度解析。准备好迎接金九银十吧!!!
2024-06-05 10:17:13
4547
1
原创 基于百度智能体平台快速搭建Java学习助手
一个Java初学者在学习Java时可能不知道从哪下手,一个工作了3年的Java开发遇到瓶颈期不知如何提升自己,此时,如果有一个老师给你制定学习计划,那一定是如有神助。本文就基于文新智能体平台构建一个Java学习助手,希望通过这个智能体可以为我们量身打造学习计划。文心智能体平台是基于文心大模型的智能体构建平台,为开发者提供低成本的开发方式,支持广大开发者根据自身行业领域、应用场景,采用多样化的能力、工具,打造大模型时代的原生应用。并且为开发者提供百度生态流量分发路径,完成商业闭环。
2024-05-30 10:02:20
1833
2
原创 Java开发,准备好迎接金九银十吧!!!
金三银四招聘季已落幕,虽说行情不是很乐观,但真正的强者从不抱怨。在此期间,我收到众多小伙伴的宝贵反馈,整理出132道面试题,从基础到高级,有八股文,也有对某个知识点的深度解析。准备好迎接金九银十吧!!!
2024-05-21 10:43:07
905
23
原创 二蛋赠书二十二期:《图算法:行业应用与实践》
在当今工业领域,图思维方式与图数据技术的应用日益广泛,成为图数据探索、挖掘与应用的坚实基础。本文旨在分享嬴图团队在算法实践应用中的宝贵经验与深刻思考,不仅促进业界爱好者之间的交流,更期望从技术层面为企业在图数据库选型时提供新的视角与思路。
2024-05-10 21:54:11
2523
8
人工智能人脸识别分类器文件
2023-08-25
基于Docker容器DevOps发布系统
2023-06-06
CentOS7 RabbitMQ3.8.0安装包.zip
2022-12-08
jdk8linux、windows、mac os操作系统安装包
2022-11-29
苹果电脑远程连接Window工具
2022-11-10
JSONObject所必须的6个包
2017-02-24
代码自动生成
2016-04-19
red hat 安装cuda10.0版本失败
2022-09-13
js 原型在线等着急 谢谢
2016-07-27
存取图片有什么好办法没 我存base64位 取得时候太慢 了
2015-08-14
spring + springMVC + mybatis 存取 blob
2015-08-13
数据库取base64位码的文本怎么取比较快 或者在存之前把图片处理小
2015-08-13
js 或 jquery 有没有在一个页面上调用某个页面的方法
2015-08-12
HttpURLConnection异常 请教大神
2015-08-07
新手问题 js 离开页面是的回调函数
2015-07-27
js object对象传入数组出现情况
2015-07-22
jquery.fileupload 回调函数
2015-07-22
angularJs+HTML的问题
2015-07-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人