- 博客(70)
- 收藏
- 关注
RSS订阅原创 最新【云原生】开源数据分析 SPL 轻松应对 T+0_开源spl(1)，程序员如何自我学习和成长
除了RDB，对于有些场景涉及的NoSQL、Hadoop等数据源也能支持，SPL具备多源混算能力，无论基于何种数据源都可以进行混合查询实现T+0。SPL的计算能力还能用于ETL，将生产数据转移到历史库中，还经常伴随一些转换计算，这些都可以使用SPL来完成。比如出于某些原因，要将生产数据某些编码字段通过某个对照表转换成另一种编码（遵守一致性的编码规则、整理数据类型获得更好性能等），而对照表通常并不会存在生产库中，而不能直接在生产库中计算好，这就涉及多数据源计算了。
2024-05-16 07:32:49
956
原创 最新【云原生】3，2024年最新面试心得体会
我们来看看多租户实战，首先什么是多租户？我们看到下面这图✅看图写作环节集群里面角色分为了企业管理员（workspaces-manager）、人员管理员（users-manager）、平台普通用户（platform-regular）、平台管理员（platform-admin）
2024-05-16 07:32:16
614
原创 最新【云原生 实战研发】2：Pod的深入实践与理解_pod 深度学习(4)，2024年最新阿里大牛教你自己写大数据开发框架
所以通过上述的讲解，理解了Pod的概念设计来由，以及为什么需要Pod。通过Pod，可以知道怎么去描述超亲密关系，怎么去进行统一的业务调度。这就是Pod最主要的来由与作用。apiVersion: v1 # 必选，API的版本号kind: Pod # 必选，类型Podmetadata: # 必选，元数据name: nginx # 必选，符合RFC 1035规范的Pod名称。
2024-05-16 07:31:43
657
原创 最新【云原生 实战研发】2：Pod的深入实践与理解_pod 深度学习(3)，2024年最新最新整理
所以通过上述的讲解，理解了Pod的概念设计来由，以及为什么需要Pod。通过Pod，可以知道怎么去描述超亲密关系，怎么去进行统一的业务调度。这就是Pod最主要的来由与作用。
2024-05-16 07:31:09
666
原创 山东理工大学：PTA实验七：参考答案与解析（2024）_山东理工大学数据库pta答案
外链图片转存中…(img-wnpo18gx-1715784308062)][外链图片转存中…(img-C9q7UM3s-1715784308063)]
2024-05-15 22:45:30
1072
原创 山东大学数据结构课程设计 —— KNN分类器应用于手写数字识别、数据结构KD树的实现以及其K近邻搜索
问题描述题目要求基于KD Tree的K近邻分类器实现1.自学的原理并实现；2.随机生成二维、不同类别的数据，测试基本K近邻算法的实现；3.自学并实现；4.基于KD Tree实现K近邻分类器算法；5.比较使用和不使用KD Tree的K近邻分类器算法的差异。任务陈述使用Java构建通用的KNN算法框架、K-D Tree;使用JavaScript完成KD树插入、K近邻搜索的可视化;控制变量法研究不同因素的对分类器效率的影响;鸢尾花数据集的分类;手写字体分类系统开发平台架构概述。
2024-05-15 22:44:56
864
原创 山东大学数据结构课程设计 —— KNN分类器应用于手写数字识别、数据结构KD树的实现以及其K近邻搜索(1)
假定样本容量为 n n n, n n n的量级大概在 1 0 6 10^6 106自由，所以 k k k不超过 n / 2 \sqrt n/2 n /2，也就是500。所以，k的步长可以这样设计，从3开始，为了保证k的取值是偶数，1~10内，步长为2；10~30内，步长为4；30~60，步长为6；60~100，步长为8；100~500, 步长为40；。图像特征的数字化本次实现的KNN分类器的最终目标是实现一个建议的手写字体识别器。因此，对图像数字特征的提取工作就变得尤为关键。
2024-05-15 22:44:23
625
原创 小程序 _ 学习笔记_微信小程序开发工具app和index的区别是什么(2)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取十二、网络请求12.1、网络请求设置12.2、发起网络请求十三、uni-app 介绍13.1、什么是 uni-app13.2、uni-app 的特点13.3、开发案例十四、创建项目14.1、安装 HbuilderX 工
2024-05-15 22:43:49
873
原创 大数据最全Elasticsearch数据库_es数据库，五年大数据开发开发者小米、阿里面经
维基百科，类似百度百科，全文检索，高亮，搜索推荐Stack Overflow（国外的程序异常讨论论坛），IT问题，程序的报错，提交上去，有人会跟你讨论和回答，全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案GitHub（开源代码管理），搜索上千亿行代码电商网站，检索商品国内：站内搜索（电商，招聘，门户，等等），IT系统搜索（OA，CRM，ERP，等等），数据分析（ES热门的一个使用场景）Kibana是一个开源的分析与可视化平台，设计出来用于和。
2024-05-15 12:05:49
277
原创 大数据最全ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法，入职阿里啦
ps：凸形数据集：如果一个数据集D是凸的，简单来说，数据集D中任意两点的连线上的点，也会在数据集D内，那么数据集D就是一个凸集。简单的k-means代码demo。
2024-05-15 12:05:13
418
原创 大数据最全Elasticsearch使用教程(2)，程序员必学之一
●IK 分词器属于 Elasticsearch 的插件，所以 IK 分词器的安装目录是 Elasticsearch 的 plugins 目录，在我们使用Docker启动 Elasticsearch 时，已经将该目录挂载到主机的 /mydata/elasticsearch/plugins 目录。这里对于默认词库中没有的词，不会有词语的组合，所以我们可以通过配置自定义词库或远程词库来实现对词库的扩展。所以我们之后只需要在挂载的目录/mydata/elasticsearch/plugins下进行操作即可。
2024-05-15 12:04:37
363
原创 大数据最全Elasticsearch 教程_elasticsearch怎么启动，【绝对干货
2.将下载的elasticsearch-analysis-ik-6.2.4.zip的压缩包解压到elasticsearch-6.2.4/plugins/⽬录下，并将解压后的 ⽬录重命名成analysis-ik。1.进⼊Kibana安装⽬录下的config⽬录，修改kibana.yml⽂件，添加Elasticsearch服务地址的配置（注释放开即 可。3.在任意⼀个没有中⽂没有空格的⽬录下创建es-config⽬录，并在该⽬录下创建es-9000⽬录，最后在es-9000⽬ 录下创建data和logs⽬录。
2024-05-15 12:04:01
244
原创 【推荐系统入门到项目实战】：关联规则之Apriori算法（含代码实现(1)
假设最小支持度=0.5，那么Item4和6不符合最小支持度的，不属于频繁项集在这个基础上，我们将商品进行组合，此时只剩下筛选掉小于最小值支持度的商品组合。得到K=3项的频繁项集{1,2,3}，也就是{牛奶、面包、尿布}的组合。
2024-05-15 03:27:09
960
原创 【手把手带你学JavaSE系列】练习项目—图书管理系统_练习系统 手把手
学习了类、抽象类、封装、继承、多态、接口等知识之后，为了更好的去理解贯彻知识，我们今天练习一个小项目—图书管理系统。
2024-05-15 03:26:32
829
原创 【手把手带你学JavaSE系列】练习项目—图书管理系统_练习系统 手把手(1)
/书名//作者//价格//类型//是否借出books[0] = new Book(“三国演义”,“罗贯中”,17,“小说”);books[1] = new Book(“西游记”,“吴承恩”,40,“小说”);books[2] = new Book(“水浒传”,“施耐庵”,57,“小说”);* 获取到pos位置的一本书* @return*//\*\** 设置pos下标为一本书->[添加一本书]*/
2024-05-15 03:25:56
269
原创 【手把手带你学JavaSE】第四篇：Java中的方法_java为什么不需要声明函数
if(password.equals(“123456”)){//equals的返回值是true或者false。public static void swap(int a,int b){//交换两个变量的值。System.out.println(“你输错密码了，你还有”+count+“次机会”);//1.Java无法通过传地址的方式交换两个值的变量，后续会讲怎么做。System.out.println(“请输入你的密码”);//用函数的方法求n的阶乘之和。//1.用函数求三个数的最大值。
2024-05-15 03:25:19
788
原创 PolarDB-X最佳实践系列（二）：如何使用DataWorks将数据同步到MaxCompute(1)
【代码】PolarDB-X最佳实践系列（二）：如何使用DataWorks将数据同步到MaxCompute(1)
2024-05-14 18:05:36
809
原创 Oracle 数据怎么实时同步到 MongoDB 亲测干货分享建议收藏_oracle同步数据到ob企业版
的方式也都是先配置源和目标的连接，然后新建任务选择同步模式：全量/增量/全量+增量，因为步骤相同，其他就不再贴图说明了。如果选择的是****全量+增量同步，****在全量任务执行完毕后，Tapdata Agent 会自动进入增量同步状态。根据数据需求，选择需要同步的库、表，如果你对表名有修改需要，可以通过页面中的表名批量修改功能对目标端的表名进行批量设置.有三种校验模式，我常用最快的快速count校验 ，只需要选择到要校验的表，不用设置其他复杂的参数和条件，简单方便。根据刚才建好的连接，选定源端与目标端。
2024-05-14 18:05:00
634
原创 openGauss数据库ODBC环境连接配置(Windows)_windows安装opengaussdb
User Name:joe （连接数据库的用户名，不能使用omm用户，需要在数据库中创建）在本地（例如D:/download）下载ZIP文件后进行解压缩，解压缩后文件如下。* 或者直接使用“控制面板 > 管理工具 > ODBC 数据源(64 位)。Data Source:openGauss （数据源名称，可以自定义）。Database:db_tpcc (需要连接的Datebase名称)。Password：dbuser用户的密码，请根据实际情况填写。Pot:26000 (端口号)。
2024-05-14 18:04:24
687
原创 openGauss数据库ODBC环境连接配置(Windows)_windows安装opengaussdb(1)
Windows操作系统自带ODBC数据源管理器，无需用户手动安装管理器便可直接进行配置。
2024-05-14 18:03:47
1092
原创 2024年最新Kafka入门到实战-第二弹(2)，2024年最新大数据尽然还能有这种操作
Apache Kafka 是一个开源的分布式事件流平台，提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。
2024-05-14 09:26:54
233
原创 2024年最新Kafka与数据入库架构知识_kafka数据如何入库(5)，想跳槽涨薪的必看
在Kafka Consumer的实现中，心跳发送采用了轮询的方式，即只有当执行poll操作时，才可能会发送心跳。而大部分的时间，线程都在执行消息消费操作，因此并不会被心跳操作强制中断。当消费的处理逻辑堵塞是，心跳发送也会被堵塞，无法在规定的session.timeout,ms时间内发出，Broker就会认为消费者已经挂了，从而触发Rebalance；在Kafka客户端的设计中，消费消息（即poll操作）和发送心跳是在同一个线程中进行的，但这并不意味着心跳会强制中断消息消费操作。Python共享队列。
2024-05-14 09:26:18
315
原创 2024年最新Kafka—工作流程、如何保证消息可靠性_kafka消息可靠性，2024年最新苦熬一个月
生产者生产好消息之后调用send()方法发送到broker端，broker将收到的消息存储的对应topic中的patition中，而broker中的消息实际上是存储在了commit-log文件中，消费者监听定时循环拉取消息。前文中提到生产者发送到broker的消息都是基于topic进行分类的（逻辑上），而topic中的消息是以partition为单位存储的（物理上），每条消息都有自己的offset。数据在网络传输过程中都是以字节流的形式传输的，在生产者发送消息的时候需要将消息先进行序列化。
2024-05-14 09:25:42
426
原创 2024年最新JVM-通过MAT工具对dump文件进行分析_mat分析dump文件(1)，2024年最新帮你解决95%以上的问题
MAT(Memory Analyzer Tool)，一个基于Eclipse的内存分析工具，是一个快速、功能丰富的JAVA heap分析工具，它可以帮助我们查找内存泄漏和减少内存消耗。使用内存分析工具从众多的对象中进行分析，快速的计算出在内存中对象的占用大小，看看是谁阻止 了垃圾收集器的回收工作，并可以通过报表直观的查看到可能造成这种结果的对象。
2024-05-14 09:25:06
368
原创 2024年大数据最新前端只是切图仔？来学学给开发人看的UI设计_前端界面设计(1)，2024年最新大数据开发开发手册
保证元素间有基本的间距，是最基本的设计技巧。文本是站点的主要内容载体；字体设计自然也是重中之重。既然我们在讲设计体系，以一致性为目标。那么同样地，我们也要把站点所使用的字号字重等范围框定在数十个选项中。数十个是个，大部分情况下应该都能满足。只要场景够特殊，特殊字体完全可以再加。
2024-05-14 00:48:03
704
原创 2024年大数据最新分布式架构在商城项目中的应用_分布式架构商城项目(1)，2024年最新全靠这套面试题
但是为了让用户更好的管理监控众多的dubbo服务，官方提供了一个可视化的监控程序，不过这个监控即使不装也不影响使用。如果想改变端口号去tomcat中的server.conf中修改，课件中已改为7080,然后就可以启动服务了。提供端在实现类上增加注解 @Service，和spring的是一样的但是引的包是不一样的。port 是服务提供端为zookeeper暴露的端口，不能跟别的dubbo提供端重复。顾名思义就是提供服务供别人调用的，相当于spring中的Service的实现类。
2024-05-14 00:46:51
881
原创 2024年大数据最新冗余双写方案下数据一致性问题解决及延申问题处理方案(1)，高级大数据开发开发面试解答之线程篇
如果还是用雪花算法，则容易C端和B端不一致，所以才用编号递增+1的方式。* 如果短链码重复，则调用这个方法。* url前缀的编号递增1。* 判断短链域名是否合法。* 查询短链码是否存在。* 判断组名是否合法。
2024-05-14 00:46:13
535
原创 超简单的入门级git操作指令(掌握这些足够在企业干活了)_commit hash cf2772fab0af5573da775e7437e6acdca424f
HEAD 现在位于 1881972 Merge pull request #15002 from light-and-ray/support_resizable_columns_for_touch_(tablets)cha@cha-virtual-machine:/stable-diffusion-webui$ sudo git commit -m “git提交代码测试”提交为空，但是存在尚未跟踪的文件（使用 “git add” 建立跟踪）分支 dev 设置为跟踪来自 origin 的远程分支 dev。
2024-05-12 21:42:11
269
原创 超简单的入门级git操作指令(掌握这些足够在企业干活了)_commit hash cf2772fab0af5573da775e7437e6acdca424f(1)
获取:2 http://mirrors.tuna.tsinghua.edu.cn/ubuntu xenial-updates/main amd64 git-man all 1:2.7.4-0ubuntu1.10 [737 kB]获取:3 http://mirrors.tuna.tsinghua.edu.cn/ubuntu xenial-updates/main amd64 git amd64 1:2.7.4-0ubuntu1.10 [3,183 kB](正在读取数据库 …
2024-05-12 21:41:35
240
原创 赚不到钱怪行业？转行互联网网络安全，新风口肯定赚钱_这些年随着移动互联网大数据和人工智能等技术的发展
为了帮助大家更好的学习Python，小编给大家准备了一份网络安全入门/进阶学习资料，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂，所有资料共282G，朋友们如果有需要全套网络安全入门+进阶学习资源包，可以****************点击免费领取****************（如遇扫码问题，可以在评论区留言领取哦）~
2024-05-12 21:40:59
653
原创 谈谈我的面试经历：大数据开发如何面试？_大数据开源项目可以过面试吗
J2EE：大数据采集单元，大数据分析单元的主要工作，如何做出服务，如何SpringBoot集成Hadoop，Spark。·Hadoop：多少个节点，高并发，高可用的实际问题中解决数据倾斜，数据处理，数据统计，数据离线分析等。技术难点一：离线处理中的数据处理，比如数据表的行转列，JSON转Java,复杂的SQL语句等。·机器学习 ：分析的数据集生成，数据处理，数据建模，数据预测，数据模型调优。主要贡献：代码行数，框架集成，数据处理，性能调优，整体设计等。·系统设计：设计数据流，分业务和分模块说。
2024-05-12 21:40:23
292
原创 开源SPL,WebService Restful广泛应用于程序间通讯，如微服务、数据交换、公共或私有的数据服务等。_webserivce接口应用广吗(3)
结构化运算函数的参数常常很复杂，比如SQL就需要用各种关键字把一条语句的参数分隔成多个组，但这会动用很多关键字，也使语句结构不统一。可以看到，SPL对条件查询的支持很完整，包括关系运算符、逻辑运算符、正则表达式和字符串函数，如模糊匹配like。以序表为基础，SPL内置丰富的计算函数、日期函数、字符串函数，提供了强大的计算能力。SPL支持多种多层数据源，可用一致的代码进行计算，使代码易于移植。时间类函数，日期增减：elapse(“2020-02-27”,5) //返回2020-03-03。
2024-05-12 04:31:54
611
原创 开源SPL,WebService Restful广泛应用于程序间通讯，如微服务、数据交换、公共或私有的数据服务等。_webserivce接口应用广吗(2)
后来，XPath/JsonPath、Python Pandas、Scala这类专业的json/XML的后处理技术出现了，才终于在保证较好架构性的同时，提供了一定的计算能力。但这些技术也存在各自的问题，XPath/JsonPath只支持条件查询和简单聚合，不支持一般的日常计算，比如排序、去重、分组汇总、关联、交集等，而且没有自己的多层数据对象，计算能力较差。Python Pandas支持一般的日常计算，其数据对象dataFrame能描述二维表，但计算处理多层数据并不方便，而且和Java应用的集成性很不好。
2024-05-12 04:31:18
724
原创 开源SPL,WebService Restful广泛应用于程序间通讯，如微服务、数据交换、公共或私有的数据服务等。_webserivce接口应用广吗(1)
结构化运算函数的参数常常很复杂，比如SQL就需要用各种关键字把一条语句的参数分隔成多个组，但这会动用很多关键字，也使语句结构不统一。可以看到，SPL对条件查询的支持很完整，包括关系运算符、逻辑运算符、正则表达式和字符串函数，如模糊匹配like。以序表为基础，SPL内置丰富的计算函数、日期函数、字符串函数，提供了强大的计算能力。SPL支持多种多层数据源，可用一致的代码进行计算，使代码易于移植。时间类函数，日期增减：elapse(“2020-02-27”,5) //返回2020-03-03。
2024-05-12 04:30:42
864
原创 开源 SPL 消灭数以万计的数据库中间表_删除数据库中间表不会影响源表
中间数据从某种意义上讲是有必要的，但仅仅为了获得进一步的计算能力就要占用大量数据库资源，显然不是个理想的解决方案。如果让文件也拥有与数据库等同的能力，那将中间表存储在数据库外的文件系统中就可以解决数据库中间表的各种问题，数据库也可以因此解脱（减负）。开源SPL可以实现这个目标。SPL是一款开源的结构化数据计算引擎，可以直接基于文件进行数据处理，使得文件也拥有计算能力。
2024-05-12 04:30:06
746
原创 大数据最全凯哥带你从零学大数据系列之Java篇---第二十五章 文件操作详解，2024年教你增加拿到BAT等大厂offer几率
如果你的程序只需要考虑部署在windows平台， 那么只需要按照windows的规范书写就可以；如果你的程序只需要部署到linux上， 那么只需要按照linux的规范书写就可以。但是， 如果你的程序需要考虑在不同的平台上部署运行， 此时就需要使用以下方法进行分隔符的获取。是对磁盘上的某一个文件、文件夹（目录）的描述。所谓的文件操作， 其实都是需要使用这个类来完成的。
2024-05-11 19:53:23
284
原创 大数据最全全面总结C++类模板使用的基础知识_c++模板怎么用(2)，大厂面试必问
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取✨目录类模板类模板与函数模板的区别类模板中的成员函数创建时机类模板对象做函数参数类模板与继承类模板成员函数的类外实现类模板的分文件编写类模板和友元✨总结建立一个通用类，类中的成员数据类型可以不具体确定，先用一个虚拟的类
2024-05-11 19:52:47
537
原创 大数据最全全栈项目【尚医通】预约挂号系统项目介绍_尚医通项目(1)，2024年最新大数据开发开发前景怎么样
尚医通是使用前后端分离的一款医院在线预约挂号项目，主要功能如下图所示：管理端主要功能分为数据管理，会员管理，订单管理，医院管理与统计管理五大模块。数据管理模块是对共通数据进行的封装处理，相当于数据字典。会员管理模块是对会员用户的管理，会员权限审批等。订单管理模块是对客户预约挂号订单的管理。医院管理就是管理相关医院的信息，统计管理是对某一时间段中挂号预约流量的统计。
2024-05-11 19:52:11
751
原创 大数据最全入门ClickHouse和Elasticsearch，2024年最新腾讯T3面试官透露
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，这里需要注意的是列式数据库，我们常用的数据库如：MySQL、Postgres和MS SQL Server都是行式数据库行式存储数据库：处于同一行中的数据总是被物理的存储在一起。列式存储数据库：来自不同列的值被单独存储，来自同一列的数据被存储在一起。
2024-05-11 19:51:34
1128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人