- 博客(172)
- 收藏
- 关注
RSS订阅原创 最新Elasticsearch数据库_es数据库(2)，2024年最新大数据开发性能优化和内存优化面试
68 discovery.zen.ping.unicast.hosts: [“192.168.5.55”, “192.168.5.56”,“192.168.5.100”] //多个服务集群ip。28 elasticsearch.hosts: [“http://192.168.5.55:9200”] //ES服务器地址。33 path.data: /var/es/data //数据存放目录。37 path.logs: /var/es/log //日志存放目录。修改192.168.5.55配置文件。
2024-05-16 05:57:38
1099
原创 最新ECMAScript6入门上_emacscript，大数据开发程序员秋招三面蚂蚁金服
/ const foo = []同理，可以正常使用push等功能。const MyClass = class Me { // 如果类的内部没用到的话，可以省略Me。constructor(x, y) { // 构造方法，this关键字代表实例对象。toString() { // 自定义方法，方法之间不需要逗号分隔，加了会报错。// 即使声明是var a = 10;// 将foo指向另一个对象，就会报错。//或var n = 5;//报错，已经声明了n。Me.name // 报错，Me没有定义。
2024-05-16 05:57:04
735
原创 最新EasyPlane小游戏，C语言初学者练习项目，行业寒冬
void plane(int plane_x, int plane_y, int isfire)//生成飞机。//如果按下E或e，结束本次游戏。if (isfire && plane_x == target_x)//如果击中目标，生成下一个目标。if (isfire)//如果开火，显示竖线。void test()//判断是否开始游戏。void game()//游戏主程序。void menu()//打印菜单栏。
2024-05-16 05:56:31
861
原创 最新EasyExcel导出大数据文件（100万条）_easyexcel导出百万数据(2)，2024年最新在线面试指南
/这里给id起别名innerid是为了防止数据库分不出来这两个id哪个是哪个。System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);System.out.println(“一万条数据第”+i+“个文件的第”+j+“次写入时间：” + (t5-t4) / 1000D);
2024-05-16 05:55:59
727
原创 大数据最新每天一道大厂SQL题【Day04】大数据排序统计_hive sql练习题目(1)，大数据开发面试题2024答案
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！从源表到结果表，一路可能要走多个步骤，其实就是可能需要多个子查询，过程多就用with as来重构提高可读性。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。– 一个2亿记录的用户看电影的记录文件(user_id，url)，有一个5000万的用户文件(user_id，name，age)，提高SQL功底的思路。
2024-05-15 21:09:37
382
原创 大数据最新案例驱动 ：从入门到掌握Shell编程详细指南_shell编程指南(1)，2024年最新大厂面经合集
基本语法Action;funname必须在调用函数地方之前，先声明函数，shell脚本是逐行运行。不会像其它语言一样先编译。函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n(0-255)案例：计算两个输入参数的和/bin/bashs=0!!!**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**
2024-05-15 21:09:04
332
原创 大数据最新机器学习算法（5）—— 集成学习算法_集成学习算法库(3)，大数据开发多进程从头讲到尾
integer，optional(default = 10)森林里的树木数量120,200,300,500,800,1200在利用最大投票数或平均值来预测之前，你想要建立子树的数量。Criterion：string，可选(default =“gini”)分割特征的测量方法max_depth：integer或None，可选(默认=无)树的最大深度 5,8,15,25,30="auto”,每个决策树的最大特征数量bootstrap是否在构建树时使用放回抽样内部节点再划分所需最小样本数。
2024-05-15 21:08:31
405
原创 大数据最新机器学习算法（3）—— 逻辑回归算法，2024年最新大数据开发黑科技保活实现原理揭秘
广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，用于解决二分类问题。名字中带有回归，它与回归之间有一定的联系。逻辑回归的输入就是线性回归的输出sigmoid函数又称激活函数，其定义如下：回归的结果输入到sigmoid函数当中[0, 1]区间中的一个概率值，默认为0.5为阈值。
2024-05-15 21:07:58
300
原创 大数据Flink面试考题___Flink高频考点,万字超全整理(建议)_flink选择题(1)
Flink 中的时间与现实世界中的时间是不一致的，在 flink 中被划分为事件时间，摄入时间， 处理时间三种。如果以 EventTime 为基准来定义时间窗口将形成 EventTimeWindow,要求消息本身 就 应 该 携 带 EventTime如 果 以 IngesingtTime 为 基 准 来 定 义 时 间 窗 口 将 形 成 IngestingTimeWindow,以 source 的 systemTime 为准。
2024-05-15 10:20:38
434
原创 大数据ELK（二）：Elasticsearch简单介绍_elk是什么时候开始流行的
统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**Elasticsearch 聚合可以对数十亿行日志数据进行聚合分析，探索数据的趋势和规律。Shay Banon （谢巴农）电商 / 门户 / 论坛。
2024-05-15 10:20:02
237
原创 大数据ELK（二）：Elasticsearch简单介绍_elk是什么时候开始流行的(5)
统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**Elasticsearch 聚合可以对数十亿行日志数据进行聚合分析，探索数据的趋势和规律。Shay Banon （谢巴农）电商 / 门户 / 论坛。
2024-05-15 10:19:26
365
原创 大数据ELK（二）：Elasticsearch简单介绍_elk是什么时候开始流行的(4)
统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**Elasticsearch 聚合可以对数十亿行日志数据进行聚合分析，探索数据的趋势和规律。Shay Banon （谢巴农）电商 / 门户 / 论坛。
2024-05-15 10:18:50
307
原创 【云原生 K8s系列特别篇】：一文速通实战Helm管理工具_非在线场景下 helm 是当前云原生应用的打包和交付的最佳选择之一。(2)
首先，从chart仓库中获取chart，然后开发者配置自己的values文件，根据自己的运行环境对values进行修改，然后默认values文件和使用者values文件会进行一个merge，形成最终的values文件；使用最终的values文件，渲染chart的template，形成可以被kubernetes执行的yaml，最后调用kube apply提交yaml到kubernetes。在上述的过程中，使用者只需要理解一点点配置的知识就可以完成操作，没有那么困难了。这也正是helm的核心设计理念。
2024-05-15 01:42:12
862
原创 【云原生 K8s系列特别篇】：一文速通实战Helm管理工具_非在线场景下 helm 是当前云原生应用的打包和交付的最佳选择之一。(1)
并且，Kubernetes的yaml文件本身是没有版本的概念的。当某次部署失败，需要回滚到上一个稳定版本，该选择哪一套yaml文件来处理也成了需要解决的额外问题。所以，Helm可以很好的解决这些问题。Helm是通过被称作Helm Chart的包来描述和管理云服务的。
2024-05-15 01:41:36
861
原创 【云原生 从零开始学Kubernetes】十六、k8s核心技术-Deployment深入使用_deployment 替换entrypoint
有时候应用程序可能暂时无法接受请求，比如 Pod 已经 Running 了，但是容器内应用程序尚未启动成功，在这种情况下，如果没有 ReadinessProbe，则 Kubernetes 认为它可以处理请求了，然而此时，我们知道程序还没启动成功是不能接收用户请求的，所以不希望 kubernetes 把请求调度给它，则使用ReadinessProbe 探针。deployment 是一个三级结构，deployment 管理 replicaset，replicaset 管理 pod，
2024-05-15 01:41:00
955
原创 【云原生 从零开始学Kubernetes】十六、k8s核心技术-Deployment深入使用_deployment 替换entrypoint(2)
外链图片转存中…(img-9KK2nhPF-1715708402082)][外链图片转存中…(img-4l07O3dP-1715708402083)][外链图片转存中…(img-tgrHWxv4-1715708402083)]既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新。
2024-05-15 01:40:24
644
原创 hive建表指定列分隔符为多字符分隔符实战(默认只支持单字符)_hive row formate ###
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取ROW FORMAT SERDE ‘org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe’ WITH SERDEPROPERTIES (“field.delim
2024-05-14 16:19:38
1261
原创 HiveSQL分区的作用及创建分区表案例演示(图解)_hive 动态分区sql(4)
partitioned by (role string comment ‘角色字段-充当分区字段’) – 核心细节: 分区字段必须是表中没有的字段.partitioned by (role string comment ‘角色字段-充当分区字段’) – 核心细节: 分区字段必须是表中没有的字段.由于建表时增加一个role的分区字段,所以总共有9个普通字段和1个分区字段,所以插入数据时select语句中需要单独加上一个分区字段。role_main string comment ‘主要定位’,
2024-05-14 16:19:02
857
原创 HiveSQL分区的作用及创建分区表案例演示(图解)_hive 动态分区sql(3)
HiveSQL分区的作用是将数据划分为更小的部分，以及根据特定的字段值将数据进行组织和管理。分区的原理是通过在数据存储和查询过程中利用分区信息来提高性能和查询效率，避免全表扫描，通俗来讲分区相当于分文件夹。具体来说，HiveSQL分区的作用包括以下几个方面：数据组织和管理：分区可以将数据按照特定的字段值进行组织和管理。通过将数据划分为更小的分区，可以更方便地进行数据的存储、查询和维护。查询性能优化：分区可以根据查询的条件过滤掉不满足条件的分区，从而减少需要扫描的数据量，提高查询的性能和效率。
2024-05-14 16:18:26
973
原创 HiveSQL分区的作用及创建分区表案例演示(图解)_hive 动态分区sql(2)
总的来说，HiveSQL分区的作用是提供更好的数据组织、查询性能优化、并行处理能力、存储空间优化以及数据分析和统计的功能，从而更高效地管理和查询大规模数据集。
2024-05-14 16:17:49
915
原创 2024年最全数据挖掘(2，2024年最新简直无敌
在许多比赛环节中,为了避免评委个人的偏好与偏向对整体评分造成影响,通常使用去掉个最低分,去掉一个最高分,用其他分数计算平均分的手段来进行打分,这就是一种形式的截断均值。比较常用的分位数为最小值(可以认为是0分位数)、0.25分位数(Q1)、中位数(0.5分位数，Q2)、0.75分位数(Q3)和最大值(可以认为是1分位数)。描述数据的方法,包括描述数据中心趋势的方法如均值、中位数，描述数据的分散程度的方法如方差、标准差,以及数据的其他描述方法如散点图和参数化方法等。评委：80，80，80，80，80。
2024-05-14 07:41:33
1014
原创 2024年最全数据库简介(1)，一文带你搞懂大数据开发多线程Handler
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！关系型数据库，是指采用了关系模型来组织数据的数据库，简单来说，关系模型指的就是二维表模型，好比Excel文件中的表格，强调使用表格的方式存储数据。关系数据库管理系统（
2024-05-14 07:40:57
683
原创 2024年最全数据仓库面试题集锦（附答案和数仓知识体系）(1)，2024年最新2024大数据开发春招面试真题详解
包含了数据平台和数据仓库的所有内容，将其打包，并且以更加整合以及更加产品化的方式对外提供服务和价值：一个存储企业各种各样原始数据的大型仓库，包括结构化和非结构化数据，其中湖里的数据可供存取、处理、分析和传输2）业务能力上的区别：为业务提供数据主要方式是提供数据集：相对具体的功能概念是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表：企业级的逻辑概念，体现企业数据产生价值的能力，为业务提供服务的主要方式是数据API：数据仓库的数据来源。
2024-05-14 07:40:21
714
原创 2024年最全数据仓库工具hive面试题集锦，金三银四大数据开发高级工程师面试题整理
3）SemiJoin，semijoin 就是左边连接是 reducejoin 的一种变种，在 map 端过滤掉一些数据，在网络传输过程中，只传输参与连接的数据，减少了 shuffle的网络传输量，其他和 reduce的思想是一样的。2、hive 内部表和外部表的区别？外部表：一般会建立分区，增加分区的时候不会将数据移到此表的 location下，删除数据的时候，只删除了表的元数据信息，表的数据不会删除。1）join 优化，尽量将小表放在 join 的左边，如果一个表很小可以采用 mapjoin。
2024-05-14 07:39:45
830
原创 2024年大数据最新mac系统使用经验(1)，你们觉得作为一名程序员最大的悲哀是什么
brew是macos下的一个包管理工具，类似与centos的yum，ubuntu的apt-get等。自动脚本(全部国内地址)（在Mac os终端中复制粘贴回车下面这句话)即可按照提示，自动安装。安装完成后，重新启动终端，就可以运行brew。Elasticsearch是java开发，这里面包含一个赠送的jdk。重新设置密码方式（在启动es的情况下执行）用户名是elastic。我们推荐用环境变量存储elastic的密码。以安装openjdk17为例。输入以下命令，即可解决。
2024-05-13 22:53:22
399
原创 2024年大数据最新MAC M1使用docker 安装es kibana ik分词器(2)，程序员深度学习
我的路径是/Users/jim/elasticsearch/kibana.yml。将ik文件夹从宿主机复制到docker容器内。6.一样提前创建好kibana.yml文件。11.然后打开主页选择左下角的开发工具。10.解压到主机并改名为ik。得到如下图片即安装成功。7.在终端运行以下命令。9.安装ik分词器插件。进入容器内检查是否存在。5.安装kibana。找到8.6.2版本的。
2024-05-13 22:52:47
380
原创 2024年大数据最新ky使用教程（基于fetch的小巧优雅js的http客服端）_ky axios，某大厂开发者对于大数据开发多线程的总结
在前缀URL和输入连接后，将根据页面的URL（如果有）解析结果。当使用此选项来加强一致性并避免混淆如何处理输入URL时，不允许使用输入中的前导斜杠，因为在使用前缀URL时，输入不会遵循正常的URL解析规则，这会改变前导斜杠的含义。
2024-05-13 22:52:11
949
原创 2024年大数据最新Knife4j实现微服务聚合API文档实战，2024大数据开发面试笔试总结
在微服务环境下，我们每个服务都有各自的API文档，这样访问起来非常麻烦，那么此时我们就需要使用聚合API文档了。微服务聚合模式分为Disk、Cloud、Eureka、Nacos四种模式，我这里先以Cloud模式为例。配置yml启动项目如下：注意的是，这边location必须使用如下图所示的内容，否则无法识别，会报异常。
2024-05-13 22:51:34
294
原创 牛客刷题——剑指offer(第6期）_剑指offerc语言&；&；牛客(3)
学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-12 19:56:32
240
原创 源码解析 Handler 面试宝典_handler mhandler = new handler() publish(logrecord
在Android 的中，高级面试中，我们经常会被问到Handler 相关的知识点，而且占重比例还比较大，这是什么呢？由上图我们可以看出，整个APP 的启动流程：就是我们APP 独有的main 启动方法，如图所示，绿色的部分，就是Handler 为我们开辟的独有空间，启动主线程独有的Looper，将当前App 独立出来。由此我们可以得出一个结论：Handler 并不是只属于进程通讯，进程通讯只是Handler 的附属功能，而Handler 的真正功能是所有的代码，都是在Handler 中运行的。
2024-05-12 19:54:44
592
原创 大数据最新运营商大数据实时获客(2)，分享一点面试小经验
如果你的产品没有优势，价格没有优势，业务员没有沟通能力，只能靠着服务去赢得客户，然而后期的服务在前期的沟通当中无法体现，也就导致你的公司没有任何的竞争力，那么这个时候你就要考虑去挖掘同行的客户了，我这边提供的方法是抓取同行的网站，网址，APP，400，固话，或者小程序，谁访问了这个网址或者谁给这个400打了电话，我们将他定义为有意向的客户，抓到数据之后进行电销和他们沟通。正规的是和运营商合作的，抓取到的数据必须用运营商的外呼系统拨打才可以，不仅保护了客户的隐私，还可以对同行的客户进行挖掘，何乐而不为呢？
2024-05-12 02:47:01
341
原创 大数据最新超硬核 一文带你入门用户画像_java 用户画像，字节跳动大数据开发架构师学习笔记
用户画像，即用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对用户或者产品特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌，如图1-1所示。用户画像可看作企业应用大数据的根基，是定向广告投放与个性化推荐的前置条件，为数据驱动运营奠定了基础。由此看来，如何从海量数据中挖掘出有价值的信息越发重要。大数据已经兴起多年，其对于互联网公司的应用来说已经如水、电、空气对于人们的生活一样，成为不可或缺的重要组成部分。
2024-05-12 02:46:25
879
原创 大数据最新赶紧进来看看---C语言实现学生信息管理系统(2，2024年最新腾讯&字节&爱奇艺&网易&华为实习面试汇总
在初始化的容量满后需要扩容，此时封装一个扩容函数实现对动态内存增容函数定义↓函数定义↓//在堆区创建stumgt类型大小的空间给柔性数组分配的空间if (tmp == NULL) // 增容失败 显示错误并返回return;else// 将重新开辟的空间地址赋给main函数里的pstus指针变量//最大容量增容 SZ 个。
2024-05-12 02:45:49
586
原创 大数据最新贪吃蛇基础·框架版（简单）开头有原码_贪吃蛇小游戏框架图，360°深入了解大数据
printf(“继续努力吧~你离最高分还差：%d”,highScore-sumScore);printf(“继续努力吧~你离最高分还差：%d”,highScore-sumScore);//分配内存空间，使用头插法（单链表），以设定的x,y位置开始插入。printf(“你的得分是：%d分”,sumScore);printf(“你的得分是：%d分”,sumScore);printf(“当前得分：%d”,sumScore);
2024-05-12 02:45:13
710
原创 大数据最全OpenSearch 学习，成体系化的神级大数据开发进阶笔记
OpenSearch和Elasticsearch (ES) 的关系，因为OpenSearch是由一群离开Elastic公司的开发人员创建的，他们离开了Elastic公司是因为Elastic公司宣布他们的商业许可证将改变，使得一些开发人员对于开源许可证的使用感到担忧。这些离开的开发人员创建了OpenSearch作为Elasticsearch的一个分支，并承诺将OpenSearch保持作为一个真正的开源项目，同时继续开发和支持OpenSearch。
2024-05-11 18:07:14
1176
原创 大数据最全openCV实践项目：银行卡卡号识别_thresh,ref= cv2，干了5年大数据开发开发还没掌握binder机制
我去掉了图片展示，直接输出文本结果。
2024-05-11 18:06:38
833
原创 大数据最全openCV实战项目--人脸考勤_javaopencv人脸识别考勤，2024年最新大数据开发开发手册
这里与上面流程相似，不过是加了一个对比功能，距离小于阈值，则表示匹配成功。(这里我默认是faceCount=3，Interval=3，即每3秒采集一次，共3次）这里加入了注册成功等的提示，且把一些变量放到了全局，因为后面人脸识别打卡时也会用到。之后，我们根据参数，即faceCount 和 Interval 进行。
2024-05-11 18:06:02
457
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人