- 博客(269)
- 收藏
- 关注
RSS订阅原创 ES相关问题
通常情况下，这些预训练模型能够在大量的未标注文本数据上学习到丰富的语言结构和语义信息，因此所得到的词向量在许多自然语言处理任务中表现优秀。因此，尽管 Elasticsearch 不是传统意义上的纯向量数据库，但它通过增强对向量数据的支持，已经在很多场景下扮演了向量数据库的角色，并且在AI和ML领域具有重要的实用价值。这些开源服务通常都提供了详细的文档和API，使得开发者可以根据自己的需求选择合适的模型，并在本地进行训练或者直接应用已有的预训练模型来生成词向量。
2024-06-21 00:47:30
347
原创 elasticsearch6
下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.23.tar.gz1、准备三台机器，192.168.1.1、192.168.1.2、192.168.1.32、上传elasticsearch-6.8.23.tar.gz到三台机器的 /usr/local，然后都执行下面的命令3、验证是否安装成功：curl 192.168.1.1:9200浏览器访问 http://192.168.1.1:9200/_cat/
2024-06-20 14:36:07
302
原创 Scala和Spark的介绍_scala和spark关系
①快速一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是Hadoop MapReduce运行速度的100多倍，在磁盘上的运行速度是Hadoop MapReduce运行速度的10多倍。②易用性Spark支持使用Scala、Python、Java及R语言快速编写应用。同时Spark提供超过80个高阶算子，使得编写并行应用程序变得容易，并且可以在Scala、Python或R的交互模式下使用Spark。③通用性Spark可以与SQL、Streaming及复杂的分析良好结合。
2024-06-20 01:25:51
763
原创 java 操作大数据量的Excel
其中ExcelProperty对应的就是我们的列名，更多详细的描述可以自行查看开发手册，由于文章篇幅限制，我把getter和setter方法删除了，自己可以自行添加进去。// 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM。这样的话就可以快速将表中的数据转存到数据库中，大数据量的导出也可以参考此思路，后面会更新上去。这样的话就可以快速将表中的数据转存到数据库中，大数据量的导出也可以参考此思路，后面会更新上去。log.info(“{}条数据，开始存储数据库！
2024-06-20 00:22:15
825
原创 AI遮天传 DL-回归与分类_分类回归 ai
我们上面讲解了一维和多维二分类，其实对于多分类，只是增加了函数个数作为维度。如上图，比如对于一个x，三个函数的结果为1.2、4.1、1.9，那么便可根据后续操作对其进行回归或者分类。这三个函数可能是线性的，也可能是非线性的，如logistic回归。选择均方误差(MSE)作为损失函数对其使用最小二乘法/梯度下降法进行计算得出参数。
2024-06-19 23:10:23
820
原创 机器学习算法系列（九）-多分类对数几率回归算法（Multinomial Logistic Regression）(1)
yK∣xW1∑i1KeWiTxeW1TxeW2Tx⋯eWKTx{T} x} \ e由于多分类对数几率回归使用了 Softmax 函数，所以该回归算法有时也被称为 Softmax 回归（Softmax Regression）与二分类对数几率回归的代价函数一样，也是使用最大似然函数的对数形式，首先写出其似然函数：LW∏i1N∏j1KeWjTXi∑k1KeWkTXi1jyi。
2024-05-16 10:16:04
289
1
原创 机器人恶意刷接口？加个验证码几分钟搞定！_登录系统 防止机器人登录
很多时间我们会在登录或者比如一些抽奖报名页面放一个。然后在后台进行校验。通过放置图片验证码，这样可以防止机器人暴力扫描重试系统接口。当然也有些网站验证码设计的像是防止正常用户使用似的（像之前某车票网站一样。。。
2024-05-16 10:15:30
435
1
原创 机器人恶意刷接口？加个验证码几分钟搞定！_登录系统 防止机器人登录(1)
对应的我们在页面可以编写类似下面的代码（非完整，仅重点展示核心实现）主要是为了实现下面的form表单：对了，学委还有这个可以关注长期阅读 =>或者=>持续学习持续开发，我是雷学委！编程很有趣，关键是把技术搞透彻讲明白。
2024-05-16 10:14:57
406
原创 有没有完全自主的国产化数据库技术 _国产数据库都是基于什么技术(1)
而SPL实现的优化代码仅50多行，利用任务特点大幅降低了计算量（远不到2500亿），在4核的笔记本上仅用2分多钟就完成了计算，计算500万的目标规模只要数小时就能搞定，完全可以实用。和SQL不同，SPL完成这个运算的语句中没有排序字样，也就不会产生大排序的动作，在全集还是分组中计算TopN的语法基本一致，不仅写法上更简单，性能也更高。它不仅在工程实现上完全自主开发，连理论模型都是自己原创的，突破的不仅仅是数据库本身，还有背后的理论框架，这样的产品在国内可以说更是绝无仅有的了。
2024-05-16 10:14:25
297
原创 最全Windows10安装hadoop3，2024年最新大数据开发开发基础自学
朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**文件中的“set JAVA_HOME=”后面的路径，并且最好把jdk的安装路径用双引号引起来，以免出错。（5）如果之前安装的jdk不是默认安装到C盘的路径，要修改。这里要把两个“”改成自己hadoop安装的地址。覆盖到hadoop-3.1.3\bin中。
2024-05-16 02:28:41
358
1
原创 最全VMware配置CentOS 7过程中的问题（下载Hadoop）(2)，2024年最新34岁大数据开发程序员裸辞
2.为了探究尝试进行查看BIOS中的VT，对于是在开机时连续点击F12（注意是开机时就按）。进入后发现确实和系统显示一样是开启状态。所以进行更改为disableed。F10保存后，进入系统发现虚拟化显示被禁用，但是硬件检测却成功。3.开启BIOS中的VT之后cpu虚拟化还是被禁用（如果继续进行安装，在安装好虚拟机的操作系统后会发现无法打开虚拟机，显示没有启用BIOS的VT）经过搜索发现这不仅仅是硬件问题，还有软件冲突。window自带的虚拟化以及内核会导致虚拟机的矛盾。
2024-05-16 02:28:08
846
原创 最全VMware14安装CentOS7的详细教程(3)，2024年最新2024金九银十
这里要注意兼容性，如果是VMwear12创建的虚拟机复制到VM11、10或者更低的版本会出现一不兼容的现象。磁盘容量暂时分配100G即可后期可以随时增加，不要勾选立即分配所有磁盘，否则虚拟机会将100G直接分配给CentOS，会导致宿主机所剩硬盘容量减少。在使用过程中CPU不够的话是可以再增加的。先选择CD/DVD，再选择使用ISO映像文件，最后选择浏览找到下载好的镜像文件。这里选择之后安装的操作系统，正确的选择会让vm tools更好的兼容。选择安装过程中使用的语言，这里选择英文、键盘选择美式键盘。
2024-05-16 02:27:35
916
原创 最全VMware14安装CentOS7的详细教程(2)，2024年最新腾讯面试算法题
先选择CD/DVD，再选择使用ISO映像文件，最后选择浏览找到下载好的镜像文件。选择i wil configure partitioning（我将会配置分区），然后点击done。首先要打开网卡，然后查看是否能获取到IP地址(我这里是桥接)，再更改主机名后点击Done。选择安装过程中使用的语言，这里选择英文、键盘选择美式键盘。如下图所示，点击加号，选择/boot，给boot分区分200M。选择第一项，安装直接CentOS 7，回车，进入下面的界面。选择 Server with Gui，然后点击Done。
2024-05-16 02:27:02
911
原创 大数据最新hadoop安装（第二步）(2)，阿里、腾讯、华为、京东等多家大厂最新大数据开发面试题
深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！注意：安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK。
2024-05-15 17:40:32
399
原创 大数据最新Hadoop大数据应用：NFS网关 连接 HDFS集群(1)，大数据开发开发面试问题
修改前：（5）修改主机域名（6）同步域名(7)查看 （nfsgateway节点）（8）同步Hadoop配置 (hadoop节点)（9）停止服务（10）启动服务（12）查看jps(13) 验证（14）卸载 （nfsgateway节点）完成（15）安装java运行环境查看jps（16）SSH免密认证（17）关闭安全机制（需要reboot重启）（18）同步hadoop配置（19）修改NFS网关配置文件 （nfsgateway节点）修改前：（20）创建转储目录（21）为代理用户授权。
2024-05-15 17:39:59
252
1
原创 大数据最新Hadoop大数据平台_dhp hadoop，2024年最新【面试必会
Hadoop名字不是一个缩写，是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。Hadoop的框架最核心的设计就是：HDFS和MapReduce。hadoop应用场景：在线旅游移动数据电子商务能源开采与节能基础架构管理图像处理诈骗检测IT安全医疗保健。
2024-05-15 17:39:26
289
原创 大数据最新Hadoop入门 day2(2)，大数据开发面试基础
设置SNN进程运行机器位置信息node2:9868```配置mapred-site.xml（记得要放在两个configuration中间）配置yarn-site.xml配置workers复制hadoop文件给另外两台文件到该路径下。
2024-05-15 17:38:53
248
原创 大数据最全【面试题】大数据方向_大数据方向问题，2024年最新【金三银四
窗口函数（Window functions）是一种SQL函数，非常适合于数据分析，因此也叫做OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。你也可以理解为窗口有大有小（行有多有少）。通过OVER子句，窗口函数与其他SQL函数有所区别。如果函数具有OVER子句，则它是窗口函数。如果它缺少OVER子句，则它是一个普通的聚合函数。窗口函数可以简单地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，
2024-05-15 14:53:51
396
原创 大数据最全【面试题】前端开发中如何高效渲染大数据量？(2)，2024年最新大数据开发开发必须掌握
selectDataselectData为了保证结果最终的展示顺序和 select 语句顺序一致，我们为单纯的 sqlIdList 循环方法加上了 Promise.allsettled 的方法，使得 n 个 selectData 的请求顺序和 select 语句顺序一致。由上述逻辑可以看出，问题可能出现在如果选中的 sql 中有大量 select 语句的话，会在「整段运行」完成后大批量请求selectData接口，再等待所有selectData请求完成后，集中进行渲染。
2024-05-15 14:53:19
290
原创 大数据最全【趣学算法】Day4 分治算法——二分搜索_分治法之二分查找(2)，1个月学会大数据开发开发
❤️一名热爱Java的大一学生，希望与各位大佬共同学习进步❤️📕该篇文章收录专栏—
2024-05-15 14:52:46
276
原创 大数据最全【趣学算法】Day3 贪心算法——背包问题_贪心算法背包问题，2024年最新作为大数据开发开发程序员
有n种物品，每种物品只有一个，第i种物品的重量为 wi，价值为 vi，背包的容量为 w，物品可以分割。如何放置物品，使装入背包的物品价值之和最大?
2024-05-15 14:52:12
345
原创 二、Elasticsearch入门必读指南：到底选择哪个ES版本更合适_elticsearch用什么版本的多
前些时间正好公司有新业务要用到ES，就花了些时间进行各种调研。目前网上有不少文章是ES5.x、6.x版本的，这两版本已经比较老了，在设计上、稳定性上、特性上都有些显得过时，毕竟已经发布7年了。三、综上来说选择7.10版本是比较合适的，当然使用者要首先考虑业务场景。
2024-05-15 06:29:56
898
原创 二、Elasticsearch入门必读指南：到底选择哪个ES版本更合适_elticsearch用什么版本的多(3)
前些时间正好公司有新业务要用到ES，就花了些时间进行各种调研。目前网上有不少文章是ES5.x、6.x版本的，这两版本已经比较老了，在设计上、稳定性上、特性上都有些显得过时，毕竟已经发布7年了。三、综上来说选择7.10版本是比较合适的，当然使用者要首先考虑业务场景。
2024-05-15 06:29:20
859
原创 二、Elasticsearch入门必读指南：到底选择哪个ES版本更合适_elticsearch用什么版本的多(2)
为什么写这篇，一是没人讲，二是网上很多同学分享ES相关知识、问题排查等，很多都不讲版本，导致新手在技术选型时不知道选择什么版本，更多的是问题排查时看半天文章却发现版本对不上。所以想通过这篇文章告诉你2024年了，选择什么版本更合适。
2024-05-15 06:28:44
934
原创 二、Elasticsearch入门必读指南：到底选择哪个ES版本更合适_elticsearch用什么版本的多(1)
前些时间正好公司有新业务要用到ES，就花了些时间进行各种调研。目前网上有不少文章是ES5.x、6.x版本的，这两版本已经比较老了，在设计上、稳定性上、特性上都有些显得过时，毕竟已经发布7年了。先说结论，以个人实践经验及综合考虑推荐使用 7.x 版本中的 7.10版本。综上来说选择7.10版本是比较合适的，当然使用者要首先考虑业务场景。且后续会持续更新**
2024-05-15 06:28:08
320
原创 「机器学习」推荐系统简介——一起来看看你是怎么被大数据杀熟的(四)_杀熟的思维导图
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2024-05-14 21:48:00
409
原创 「SQL面试题库」 No_27 2016年的投资_写一个查询语句,将 2016 年 (tiv_2016) 所有成功投资的金额加起来,保留 2 位小数,
【代码】「SQL面试题库」 No_27 2016年的投资_写一个查询语句,将 2016 年 (tiv_2016) 所有成功投资的金额加起来,保留 2 位小数,
2024-05-14 21:47:24
335
原创 「SQL面试题库」 No_27 2016年的投资_写一个查询语句,将 2016 年 (tiv_2016) 所有成功投资的金额加起来,保留 2 位小数,(2)
是该投保人在2015年的总投保金额，是该投保人在2016年的投保金额，字段是投保人的投保编号，是投保人所在城市的维度，是投保人所在城市的经度。
2024-05-14 21:46:49
278
原创 「SQL面试题库」 No_27 2016年的投资_写一个查询语句,将 2016 年 (tiv_2016) 所有成功投资的金额加起来,保留 2 位小数,(1)
SQL面试题库」是由不是西红柿发起，全员免费参与的SQL学习活动。我每天发布1道SQL面试真题，从简单到困难，涵盖所有SQL知识点，我敢保证只要做完这100道题，不仅能轻松搞定面试，代码能力和工作效率也会有明显提升。
2024-05-14 21:46:13
959
原创 2024年最新机器学习算法（7）—— 朴素贝叶斯算法(2)，墙都不扶就服你
（1）优点朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率对缺失数据不太敏感，算法也比较简单，常用于文本分类分类准确度高，速度快（2）缺点网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-05-14 12:28:19
740
原创 2024年最新服务拆分和远程调用（微服务）_服务调用拆分什么意思，2024年最新近期想跳槽的程序员必看
那个，导入工程啥的，在这我就不给具体流程了，大家学到了这里，相信都有这些基本能力了，接下来咱们直接根据这个演示服务拆分的小demo，来聊一下远程调用。
2024-05-14 12:27:43
835
原创 2024年最新新一代数据湖存储技术Apache Paimon入门Demo(1)，面试官不讲武德
Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。Paimon 以湖存储的方式基于分布式文件系统管理元数据，并采用开放的。
2024-05-14 12:27:07
2123
原创 2024年最新数据结构基础入门之【顺序表】详解，大数据开发实习面试经验汇总
在定义结构体时，我们可以用typedef进行数组类型简化，同时方便我们后期更改存储类型的时候直接更改typedef处即可。同时我们也用typedef进行结构体类型简化，方便我们以后编辑代码。int size;通过上面的代码我们可以发现，当我们不想存储int型数据时，我们只需把‘typedef int SQDataType’改为‘typedef double SQDataType’即可。极大的提高了代码的维护性。
2024-05-14 12:26:30
541
原创 2024年最全docker-compose部署kafka、SASL模式(密码校验模式)_system(1)，2024年最新大数据开发开发必会技术
Zookeeper作为Kafka的协调服务，负责管理集群的状态和配置。这个配置文件中，Zookeeper和Kafka都有详细的配置和环境变量设置，以适应特定的使用场景或安全需求。例如，SASL_PLAINTEXT是用于安全认证的协议，而SimpleAclAuthorizer则是一个简单的访问控制列表作者器，用于权限控制。总之，这个配置是用于设置Kafka UI服务的Docker容器，该服务依赖于Zookeeper和Kafka集群，并使用特定的环境变量进行配置。其他的没改变，就是最后添加的四行。
2024-05-14 03:50:38
811
原创 2024年最全Docker 核心知识点 可视化仪表盘_containers apps，大数据开发外包是如何进入阿里的
此外，图像视图显示有关图像的元数据，例如标签、图像ID、创建图像的日期和图像的大小。它还在运行和停止容器使用的图像旁边显示使用中的标签。视图可以执行核心操作，例如将图像作为容器运行，从Docker Hub中提取最新版本的图像，将图像推送到Docker Hub，以及检查图像。还可以使用顶部栏上的快速操作按钮执行常见操作，例如打开CLI在容器中运行命令，并执行生命周期操作，例如停止、启动、重新启动或删除容器。检查图像会显示有关图像的详细信息，例如图像历史记录、图像ID、图像创建日期、图像大小等。
2024-05-14 03:50:02
567
原创 2024年最全Django常见面试题总结（二）_django modelviewset 字段可以为空，2024大厂大数据开发高级面试题及答案
router.register(‘project’,视图类)django-admin startproject django_project 创建一个项目python manage.py runserver 运行项目python manage.py startapp 子应用名 创建子应用python manage.py makemigrations 子应用名 创建迁移脚本python manage.py migrate 生成迁移脚本。
2024-05-14 03:49:26
547
原创 2024年最全DirectX12（D3D12）基础教程（外篇三）(1)，干货面试教程
【代码】2024年最全DirectX12（D3D12）基础教程（外篇三）(1)，干货面试教程。
2024-05-14 03:48:50
240
原创 2024年大数据最全【开卷数据结构 】稀疏矩阵_数据结构稀疏矩阵，2024年最新大数据开发面试真题解析火爆全网
*A：**数学上，一个矩阵由 m 行 n 列的元素组成，是一个 m 行，n 列的表，m 和 n 是矩阵的维度。一般地，写作 mxn（读作“m乘n”）来指明一个 m 行 n 列矩阵。矩阵的元素个数总计为 mn 个。如果 m 等于 n ，矩阵为方阵。一般情况下，矩阵的标准存储方式是一个二维数组 a[MAX_ROWS][MAX_COLS]。利用这种存储方式，可以通过 a[i][j] ，通过行下标，列下标快速找到任意元素的存储位置。
2024-05-13 19:02:12
854
原创 2024年大数据最全【开卷数据结构 】多项式的链表表示_用链表表示多项式(1)，2024年最新大数据开发技术功底不够如何去面试
如果这两项的指数相同，那么把它们的系数相加，并生成一个新的结果项，然后移动这两个指针，分别指向多项式 a 和 b 的下一个结点。如果 a 的当前项指数小于 b 的当前项指数，那么生成 b 的副本项，加入到结果 d 中，并移动指针指向 b 的下一项。每次生成一个新结点，设置它的 coef 域和 expon 域，并将它添加到 d 的尾部，为了避免每次加入新结点时都搜索 d 的最后结点，使用函数 rear 指向 d 中最后的结点。**第三步：**a−>expon>b−>expon。
2024-05-13 19:01:36
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人