- 博客(71)
- 收藏
- 关注
RSS订阅原创 最新【Spark ML】（二）Spark ML 分类算法_spark分类算法，从入门到精通
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Precision by label:label 0: 0.694444444444label 1: 0.909090909091label 2: 1.0Re
2024-05-16 07:23:28
749
原创 最新【Spark MLlib】（五）随机森林(1)，高薪程序员必会
目前，Spark MLlib 中实现了 tree 相关的算法，决策树 DT（DecisionTree），随机森林 RF（Random Forest），GBDT（Gradient Boosting Decision Tree），其基础都是RF，DT 是 RF 一棵树时的情况，而 GBDT 则是循环构建DT，GBDT与DT的代码是非常简单明了的，本文会对 Random Forest 的源码进行分析，介绍 Spark 在实现过程中使用的一些技巧。个值，最多个划分如果值是有序的，那么就最多。
2024-05-16 07:22:55
1038
原创 最新【R语言文本挖掘】：文本挖掘（以特朗普推文数据为例，不看绝对血亏
接下来我们要做的另一个小调整是，得到提取的接下来我们来看一下哪些单词出现的次数最多不难理解这些词出现的次数最多。但是这些词没有提供信息。stop_words接下来我们删选掉属于停用词的文本可以看出这个时候出现最多的次数的word能给我们一些信息，现在我们已经将所有单词放在了一个表格中，以及有关用于撰写它们来自的推文的设备的信息，我们可以开始探索在将 Android 与 iPhone 进行比较时哪些单词更常见。对于每个单词，我们想知道它更有可能来自 Android 推文还是 iPhone 推文。
2024-05-16 07:22:23
705
原创 最新【Redis高手修炼之路】③持久化_redis禁用手动的save怎么关闭(2)，已拿offer入职
如果你只是使用Redis的缓存功能，而不需要持久化，那么你就可以注释掉所有的save行停用该功能。
2024-05-16 07:21:49
897
原创 实时即未来，大数据项目车联网之项目基石与前瞻【一】_车联网 大数据 项目(4)
更全 8-》21+篇更细 -》 图文并茂、部分代码首次披露更新 -》Flink车联网项目贴近企业开发凡购买本专栏的读者，可加我好友获取车联网大数据资料文章持续更新不止21篇，保障更新完整。前期49.9元，后期满50人恢复原价99元车联网的概念介绍车联网（ Internet of Vehicles ）指按照一定的通信协议和数据交互标准，在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化，再利用各种传感技术，感知车辆状态信息，并借助无线通信网络与大数据分析技术实现交通的智能化管理。
2024-05-15 22:36:11
1000
原创 实时即未来，大数据项目车联网之项目基石与前瞻【一】_车联网 大数据 项目(1)
车联网的概念介绍车联网（ Internet of Vehicles ）指按照一定的通信协议和数据交互标准，在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化，再利用各种传感技术，感知车辆状态信息，并借助无线通信网络与大数据分析技术实现交通的智能化管理。整体而言，车联网产业是汽车、电子、信息通信、道路交通运输等行业深度融合的新型产业形态。车辆数据如何采集车辆上有传感器捕获车辆的数据，CAN总线采集这些传感器数据，tbox 盒子将传感器数据封装成报文上报给云平台。
2024-05-15 22:34:32
1054
原创 大数据最全DirectX12（D3D12）基础教程（十二）(1)，腾讯大数据开发开发面试经验
上一章中最后一个水彩画效果是有问题的，这一讲我们特意修正这个错误。其实错误主要是因为真正的水彩画效果还需要一个后处理——高斯模糊。这一章主要的任务就是修正这个错误。同时这一章中将结合使用酷炫的多线程+多显卡渲染框架。为了能更好的理解本章教程示例，请各位最好已经仔细阅读了之前关于多线程渲染、多显卡渲染，以及Shader原始特效的章节文章及示例代码。在本章中，多线程渲染依旧是用来录制渲染三个不同物体的命令列表。而多显卡渲染则主要用主显卡来渲染3D场景到纹理，而辅助显卡（核显）用来做后处理。
2024-05-15 11:55:33
395
原创 大数据最全DenseNet实战：tensorflow2(2)，大数据开发开发面试
读取图片如果是训练就增强resize图片将image转数组将图像和label分别放到input_samples和input_labels将input_samples缩放到0-1之间，将input_labels转为数组返回一次迭代第五步 保留最好的模型和动态设置学习率语法如下：该回调函数将在每个epoch后保存模型到filepathfilepath可以是格式化的字符串，里面的占位符将会被epoch值和传入on_epoch_end的logs关键字所填入。
2024-05-15 11:54:57
346
原创 大数据最全DataEase安装与教程，人人都会的大数据可视化与BI工具！！！(3)，2024年最新论程序员成长的正确姿势
更多数据源支持持续增加中…
2024-05-15 11:54:21
254
原创 大数据最全DARPA TC-engagement5数据集官方工具可视化_darpa数据集，2024年最新我的腾讯大数据开发面试经历分享
其实从上面的流程就可以看出来，别的都是开源工具辅助查看，重点就是从日志构建溯源图并以流式传输。elssticsearch是为了存数据，配合grafana为溯源图的节点编辑标签，logstash是为了捕获流式数据。这里推荐UNICORN，作者开源了数据集和代码。里面包含了四种日志解析器和构建好的溯源图。代码在，数据集在，我自己写的论文笔记在。如果你还是想走个流程感受一下，建议先看完文章再动手，因为作者的readme有点抽象。
2024-05-15 11:53:45
357
原创 【微信小程序入门到精通】— 事件绑定的详细解读_微信小程序绑定点击事件
大家每天都要开开心心的喔，让我们一起快乐的学习吧！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！尝辄止，不再深入研究，那么很难做到真正的技术提升。**需要这份系统化资料的朋友，可以戳这里获取。
2024-05-15 03:16:52
842
原创 【微信小程序入门到精通】— 事件绑定的详细解读_微信小程序绑定点击事件(3)
tap 事件非常常用，因为在我们微信小程序中，点击这一用户操作是必然发生的，我们绝大部分需要处理的也是点击事件。前面咱们提到 target 的时候，说到这俩属性值有相似但是有实质性区别，那么他们到底有什么不同呢？当我们的事件触发后进行回调时，会收到一个事件对象 event，接下来我们详细介绍一下它的属性。事件是渲染层到逻辑层的通讯方式，通过事件我们可以将用户在界面的操作反馈到逻辑层进行处理。其基本过程就是在 .wxml 里面设置事件，然后在 .js 里面构建处理函数。
2024-05-15 03:16:16
924
原创 【微信小程序入门到精通】— 事件绑定的详细解读_微信小程序绑定点击事件(2)
对于目前形式，微信小程序是一个热门，那么我们该如何去学习并且掌握之后去做实际项目呢？为此我特意开设此专栏，在我学习的同时也将其分享给大家！这一篇文章我们就涉及到事件绑定问题了，也就是我们小程序最重要的用户交互问题，我们是如何接收用户触发的信息并且处理的呢？这一篇文章将告诉你答案！如果在往下阅读的过程中，有什么错误的地方，期待大家的指点！
2024-05-15 03:15:40
689
原创 【微信小程序入门到精通】— 事件绑定的详细解读_微信小程序绑定点击事件(1)
对于目前形式，微信小程序是一个热门，那么我们该如何去学习并且掌握之后去做实际项目呢？为此我特意开设此专栏，在我学习的同时也将其分享给大家！这一篇文章我们就涉及到事件绑定问题了，也就是我们小程序最重要的用户交互问题，我们是如何接收用户触发的信息并且处理的呢？这一篇文章将告诉你答案！如果在往下阅读的过程中，有什么错误的地方，期待大家的指点！
2024-05-15 03:15:04
874
原创 Neo4j-Graph数据库技能树学习体验及一些建议_neo4j graphx 使用经验
企业在日常活动中，与职能部门、客户、合作伙伴、投资者都会打交道，他们与外部的单位、人员有非常广泛的联系，呈现出来的是错综复杂的关系。通过图可以实现企业图谱查询，挖掘信息。
2024-05-14 17:55:20
628
原创 Neo4j-Graph数据库技能树学习体验及一些建议_neo4j graphx 使用经验(1)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2024-05-14 17:54:44
910
原创 Nasu Elasticsearch Charts：轻松实现数据可视化的利器_eschart市场
Nasu Elasticsearch Charts是纳速云云服务中的一个组件，旨在简化数据可视化的过程。它允许用户轻松创建多种图表，包括线性图、饼图、散点图等，以更好地展示Elasticsearch中的数据。，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！假设我们有一个电商平台，通过Nasu Charts来进行销售分析。
2024-05-14 17:54:08
461
原创 Nasu Elasticsearch Charts：轻松实现数据可视化的利器_eschart市场(2)
Nasu Elasticsearch Charts是纳速云云服务中的一个组件，旨在简化数据可视化的过程。它允许用户轻松创建多种图表，包括线性图、饼图、散点图等，以更好地展示Elasticsearch中的数据。友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**假设我们有一个电商平台，通过Nasu Charts来进行销售分析。
2024-05-14 17:53:32
383
原创 2024年最新JavaSE学习----（九）线程（1），2024年最新大数据开发面试项目全代码
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！到真正的技术提升。**需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-14 09:16:40
376
原创 2024年最新JavaScript之预编译学习(附带多个面试题)_预编译面试题，2024年最新【金九银十
为false，if内部不会执行，那test的AO中为什么还会有b啊？预编译并不是执行，它只不过把变量、函数等进行提升，只有在执行时，才会设计代码逻辑的判断。test中定义了变量a，因此打印的a为自身AO中的值。如果test中没有定义a，就会沿着作用域链，当GO中查找a。JavaScript中变量如果未经声明就赋值，会默认将变量挂载到window对象上，这也就是所谓的。全局中不存在形参和实参，所以只需处理变量声明和函数声明。
2024-05-14 09:16:04
341
原创 2024年最新Java8 Stream 数据流，大数据量下的性能效率怎么样？(1)，2024年最新一线互联网架构师360°全方面性能调优
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！JVM：HotSpot™ 64-Bit Server VM (build 25.151-b12, mixed mode)JVM Settings:-Xms1024m-
2024-05-14 09:15:28
369
原创 2024年最新Java 面试秘诀_java 不同年限面试题(1)，2024年最新4个改变你编程技能的小技巧
再给大家举个例子，比如Java虚拟机内存管理和数据库优化是绝大多数项目都要遇到的两大问题，大家都可以在叙述项目经验时说，在这个项目里，我们需要考虑内存因素，因为我们的代码只允许在2G内存环境中运行，而且对数据库性能要求比较高，所以我们经常要监控优化内存和数据库里的SQL语句。哪怕你在前三点表现一般，那么至少也能超越将近一般的候选人，尤其当你在SQL优化方面表现非常好，那么你在面试高级开发时，数据库层面一定是达标的，如果你连第四点也回答非常好，那么恭喜你，你在数据库方面的能力甚至达到了初级架构的级别。
2024-05-14 09:14:52
289
原创 2024年大数据最新一篇讲明白 Hadoop 生态的三大部件，2024年最新瞬间高大上了
它和现有的分布式文件系统有很多共同点，例如典型的 Master-Slave 架构（这里不准备展开介绍），也有不同点，HDFS 是一个具有高度容错性的系统，适合部署在廉价的机器上。机架感知的目的是在计算中尽量让不同节点之间的通信能够发生在同一个机架之 内，而不是跨机架，进而减少分布式计算中数据在不同的网络之间的传输，减少网络带 宽资源的消耗。一部从企业架构视角系统讲解企业级数据架构的著作，系统梳理和阐述了企业架构的基础知识，以及数据架构的组成要素、架构模型、数据治理和数据资产管理的理论知识。
2024-05-14 00:36:59
915
原创 2024年大数据最新一文速学-玩转SQL之执行顺序，单表自连接操作和用法_表自链接(1)，大数据开发面试大数据开发基础
众所周知要玩转SQL查询光靠那个几个查询关键字是远远不够的，SQL作为数据库的存在，往往存在多个物理表或者映射，有时候存在内容吃紧的情况，或者是查询结果表存在多个指标。这需要我们进行单表操作，实现统计不同的指标或者不同条件查询结果进行计算。要进行指标提取或者是创建新指标，推荐是使用自连接的方法可以快速从原始表根据相关指标，如：时间、主键等相关联相同数值的特征连接。下面不再废话让我们一步一步实现。
2024-05-14 00:36:23
725
原创 2024年大数据最新一文读懂数据挖掘建模预测_数据挖掘做预测模型比较(1)，大数据开发开发零基础教学
数据挖掘技术的应用非常广泛，比如工业领域中可以根据历史生产数据来预测良品情况，从而改进工艺参数降低不良率；畜牧业可以使用数据挖掘技术根据测量牲畜体温来预测牲畜是否生病，从而提前防治；医院也可以使用历史医疗记录基于数据挖掘技术找出关联规律，帮助医生更好地诊断疾病。总之，只要是有数据有场景几乎都会考虑用数据挖掘解决某些问题。
2024-05-14 00:35:47
938
原创 2024年大数据最新一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事，2024年最新中高级大数据开发开发应该要了解
Spring Boot 本身发展特别快，自从 2014 年 4 月发布 Spring Boot 1.0 之后，版本更新非常频繁，我在 2016 年使用的时候是 1.3.X，到现在 Spring Boot 已经发布了 Spring Boot 2.0，Spring Boot 2.0 集成了很多最新优秀的技术和新特性，并且对 Spring Boot 1.0 的 API 进行了大幅优化。另外，应尽量避免统一的、集中式的服务管理机制，对具体的一个服务而言，应根据业务上下文，选择合适的语言、工具对其进行构建。
2024-05-14 00:35:10
530
原创 计算机网络：数据链路层功能_对网络层而言,数据链路层的基本任务是将源机器中来自网络层的数据(2)
数据链路层在物理层提供服务的基础上向网络层提供服务，其主要作用是加强物理层传输原始比特流的功能，将物理层提供的可能出错的物理连接改造为逻辑上无差错的数据链路，使之对网络层表现为一条无差错的链路。
2024-05-12 21:31:58
230
原创 计算机网络：数据链路层功能_对网络层而言,数据链路层的基本任务是将源机器中来自网络层的数据(1)
目的机器对收到的每帧都要给出确认，源机器收到确认后才能发送下一帧，因而该服务的可靠性最高。该服务适用于通信要求（可靠性、实时性）较高的场合。注意:有连接就一定要有确认，不存在无确认的面向连接的服务。
2024-05-12 21:31:22
221
原创 计算机网络经典面试题30问_计算机网络经典面试题30问_孙中明的博客-csdn博客
MAC是身份证号码，用来识别网络设备本身。IP地址是居住地。应用层：负责向用户提供应用程序，比如HTTP、FTP、Telnet、DNS、SMTP等。传输层：自负责对报文进行分组和重组，并以TCP或UDP协议格式封装报文。网络层：负责路由以及把分组报文发送给目标网络或主机。链路层：负责封装和解封装IP报文，发送和接受ARP/RARP报文等。
2024-05-12 21:30:46
257
原创 计算机网络经典面试题30问_计算机网络经典面试题30问_孙中明的博客-csdn博客(1)
长连接:当一个网页打开完成后，客户端和服务器之间用于传输HTTP数据的 TCP连接不会关闭，如果客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的连接。Keep-Alive不会永久保持连接，它有一个保持时间，可以在不同的服务器软件（如Apache）中设定这个时间。实现长连接要客户端和服务端都支持长连接。
2024-05-12 21:30:09
355
原创 工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql
上面笛卡尔积的概念是关系代数中的概念，而我在前一篇文章中提到还有关系演算的查询方法.上面的关系代数是分布理解的，上面的语句推导过程是这样的：“对表Student和Class进行内连接，匹配所有ClassID和StudentClassID相等行，选择所有的列”自连接的是一种特殊的连接，是对物理上相同但逻辑上不相同的表进行连接的方式。而关系演算法，更多关注的是我想要什么,比如说上面同样查询，用关系演算法思考的方式是“给我找到所有学生的信息，包括他们的班级信息，班级ID，学生ID，学生姓名”恩，恭喜你，答错了…
2024-05-12 04:21:41
718
原创 工业互联网智能智造-工业企业大数据汇聚通道-产品设计_工业互联网产品设计
这些系统要么是自建系统，要么是采购或开源系统，这些系统均存在数据在各自系统中，不能提供全面、跨业务、跨系统数据统计解决方案，要想解决这一问题，就需要协调各业务系统相关厂商修改系统，这在一定程度上很难协调和完成，在一定程度上增加系统风险、协调难度和建设成本。本产品提供的“基于数据通道服务”在不影响原业务系统使用、不需要原系统开发商完全配合情况下，仅需业务部门授权是相关账号密码访问权限，就能完美实现这一需求，为企业提供解决方案。(21)申请公布号 202011236616.0。
2024-05-12 04:21:05
255
1
原创 工业互联网-工业企业大数据交换通道-数据通道产品描述_工业互联网如何数据交易操作
企业现有系统重建基本不可能，就需要对现有系统进行二次升级，通过定制接口开发或导出导入人工等方式采集异构系统数据，这无异于加重企业负担，得不尝试，但每年也会有大量企业会为信息化统计买单，只为要精准的决策支撑数据，助力企业重大决策。最简单应用：供应商相关系统需要录入供应商管理员工的信息、生产类系统需要录入生产员工信息、销售类系统需要录入销售员工信息、CRM系统需要录入负责相关客户的员工信息、财务类系统需要录入所有员工信息。这样极易造成数据重复录入、数据不准确、数据不对称等问题发生，从而导致数据不可靠问题。
2024-05-12 04:20:29
780
原创 工业互联网-工业企业大数据交换通道-数据通道产品描述_工业互联网如何数据交易操作(2)
企业现有系统重建基本不可能，就需要对现有系统进行二次升级，通过定制接口开发或导出导入人工等方式采集异构系统数据，这无异于加重企业负担，得不尝试，但每年也会有大量企业会为信息化统计买单，只为要精准的决策支撑数据，助力企业重大决策。最简单应用：供应商相关系统需要录入供应商管理员工的信息、生产类系统需要录入生产员工信息、销售类系统需要录入销售员工信息、CRM系统需要录入负责相关客户的员工信息、财务类系统需要录入所有员工信息。这样极易造成数据重复录入、数据不准确、数据不对称等问题发生，从而导致数据不可靠问题。
2024-05-12 04:19:52
1034
原创 大数据最全一篇文章搞懂数据仓库：数据仓库规范设计，大数据开发基础图形
业务域、主题域我们都可以用词根的方式枚举清楚，不断完善，粒度也是同样的，主要的是时间粒度、日、月、年、周等，使用词根定义好简称。一级指标：数据中台直接产出，核心指标（提供给公司高层看的）、原子指标以及跨部门的派生指标。建模方法、建模工具、血缘关系、维度退化、一致性维度、元数据管理。脚本注释、字段别名、编码规范、脚本格式、数据类型、缩写规范。二级指标：基于中台提供的原子指标，业务部门创建的派生指标。统一，就是要确保派生指标和它继承的原子指标命名是一致的。各层级命名、任务命名、表命名、字段命名、指标命名等。
2024-05-11 19:43:05
697
原创 大数据最全一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比，211本硕如何通过字节跳动、百度、美团大数据开发面试
开发和维护的复杂性问题：Lambda 架构需要在两个不同的 API（application programming interface，应用程序编程接口）中对同样的业务逻辑进行两次编程：一次为批量计算的ETL系统，一次为流式计算的Streaming系统。实时与批量计算结果不一致引起的数据口径问题：因为批量和实时计算走的是两个计算框架和计算程序，算出的结果往往不同，经常看到一个数字当天看是一个数据，第二天看昨天的数据反而发生了变化。当新的实例做完后，停止老的流计算实例，并把老的一些结果删除。
2024-05-11 19:42:29
659
原创 大数据最全一篇文章搞懂数据仓库：元数据分类、元数据管理(2)，【深夜思考】
源数据到数仓、数据集市层的各类规则。数据仓库结构的描述，包括仓库模式、视图、维、层次结构及数据集市的位置和内容；业务系统、数据仓库和数据集市的体系结构和模式等。因此此处元数据主要为：各表各列的"正确"数据规则；例如：数据源的 IP、端口、数据库类型；原数据各列的定义及 key 指对应的值。汇总用的算法、包括各类度量和维度定义算法。数据粒度、主题领域、聚集、汇总、预定义的查询与报告。：类似于 BI 中的语义层、数仓中的一致性事实；，对分析的各维度定义实现规范化、标准化。：每段 ETL、表背后的归属业务主题。
2024-05-11 19:41:53
406
1
原创 大数据最全一看就懂的大数据排序算法：如何给100万用户数据排序？(2)，2024年最新自学者福利
如果要排序的数据有 n 个，我们把它们均匀地划分到 m 个桶内，每个桶里就有 k=n/m 个元素。每个桶内部使用快速排序，时间复杂度为 O(k * logk)。m 个桶排序的时间复杂度就是 O(m * k * logk)，因为 k=n/m，所以整个桶排序的时间复杂度就是 O(n*log(n/m))。当桶的个数 m 接近数据个数 n 时，log(n/m) 就是一个非常小的常量，这个时候桶排序的时间复杂度接近 O(n)。
2024-05-11 19:41:18
584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人