- 博客(109)
- 收藏
- 关注
RSS订阅
原创 【spark学习 | sparkstreaming 与kafka】使用sparkstreaming与kafka相结合进行实时处理数据（文件流）
System.err.println("用法: KafkaWordProducer ")// Kafka生产者属性// 文件路径val filePath = "/home/hadoop/bilibili/streaming/data/part2.txt" // 假设数据文件名为 part2.txt// 记录已发送的行数// 等待一段时间再次检查文件是否有新内容// 不会执行到这里，因为循环会一直运行。
2024-05-07 16:23:35
235
1
原创 远程连接ubantu虚拟机mysql
开启tftp客户端然后进入ubantu找到 bind-address 这一行，将其注释掉或修改为 0.0.0.0，这样 MySQL 就会监听所有网络接口要实现主机通过 Navicat 连接到虚拟机中的 Ubuntu 系统上的 MySQL 数据库，你需要确保虚拟机的网络配置允许外部连接，并且 MySQL 服务配置正确。
2024-07-01 20:15:02
928
1
原创 安装打包工具0.13.11使用jar包（通用0.13.x）
插入语句：typesafe:artifactartifact.[ext]按esc退出编辑并且输入:wq退出。
2024-07-01 20:11:47
1004
原创 window创建anaconda环境并且搭载在Jupyter
这样，你就可以在 Jupyter Notebook 中使用你的虚拟环境了。注意，每个虚拟环境都需要单独地在 Jupyter Notebook 中进行添加。添加到 Jupyter Notebook 中，并将其显示为。Jupyter Notebook 应在浏览器中打开。
2024-07-01 20:08:59
223
原创 使用node+socket搭建一个星铁聊天室
使用node+socket搭建一个星铁聊天室👻👻 要实现一个基于Node.js和Socket.IO的网页聊天室创建一个Node.js项目。安装必要的依赖库。设置服务器端Socket.IO。创建客户端HTML和JavaScript代码。实现聊天功能，支持三个角色：阿晴、瓦尔特、三月七。1. 创建Node.js项目首先，初始化一个新的Node.js项目：mkdir cha
2024-07-01 19:37:12
937
原创 如何设置虚拟机里面的neo4j可以在本机访问
操作系统：Ubuntu 16.04（虚拟机）数据库：neo4j-community-3.5.12-unix.tar.gz网络配置：桥接模式或NAT模式ifconfig或ip a查看IP地址，ufw配置防火墙。
2024-06-20 16:51:37
946
原创 【node学习】使用node简单搭建一个网页和todo
Express 是一个快速、开放、极简的 Node.js web 应用框架。的文件夹，可以在其中存放静态文件，如 CSS、JavaScript、图片等。首先，需要安装 Node.js 和 npm（Node 包管理器）。的文件夹，并在其中创建一个名为。，可以看到一个包含动态内容的网页。这会在项目目录中创建一个。在项目目录中创建一个名为。在项目目录中创建一个名为。在项目目录中创建一个名为。
2024-06-14 16:28:08
335
原创 【node学习】基础项目操作文档：使用 Express、MongoDB 驱动 和 Core 实现对 MongoDB 数据的插入、查询和更新
现在你已经创建了一个基础的 Express 项目，并使用 MongoDB 驱动程序与 MongoDB 进行交互。打开浏览器，访问，你可以看到一个简单的界面，可以插入、查询和更新用户数据。
2024-06-14 15:44:13
368
原创 【node学习】基础项目操作文档：使用 Express、Mongoose 和 Core 实现对 MongoDB 数据的插入、查询和更新
基础项目操作文档：使用 Express、Mongoose 和 Core 实现对 MongoDB 数据的插入、查询和更新1. 项目初始化首先，确保你已经安装了 Node.js 和 npm。然后，在你的项目目录中初始化一个新的 Node.js 项目。mkdir myprojectcd myprojectnpm init -y2. 安装必要的依赖安装 Express、Mongoose 和一些其他需要的包。npm install express mongoose body-parser cors
2024-06-14 15:39:56
227
原创 【node学习】mongoose和mongodb在node.js使用的区别
Mongoose提供更高级别的抽象，包括数据模式和验证，适合需要管理数据关系的应用。MongoDB驱动程序提供更底层的操作，适合需要更细粒度控制和性能优化的应用。选择使用哪个库取决于具体的需求和项目复杂度。
2024-06-14 13:09:19
678
原创 卸载mongodb
要卸载在 Linux 系统上手动安装的 MongoDB 7.0.1，你可以按照以下步骤操作。这里假设你的 MongoDB 安装在目录下。
2024-06-14 12:48:18
180
原创 【工具】房屋推荐系统使用工具
房屋推荐系统对于一个房屋推荐系统，使用 Node.js 为基础是个不错的选择，因为它可以处理大量的并发连接，并且拥有丰富的生态系统和库支持。
2024-06-14 12:46:33
269
原创 在 Ubuntu 22.04上配置 redis 单节点服务器并启用远程连接
在Ubuntu 22.04上配置Redis单节点服务器以启用远程连接的过程可以分为几个步骤。以下教程将指导你完成安装Redis，配置以允许远程连接，调整防火墙规则，并验证设置的完整性。
2024-06-11 15:55:24
1426
原创 在 Ubuntu 22.04上配置 MongoDB7.0 单节点服务器并启用远程连接
本文将详细讨论在 Ubuntu 系统上安装和配置 MongoDB 单节点服务器，以及设置远程连接。
2024-06-09 21:32:18
1221
原创 阳光热线问政平台爬取数据分析学习，词云分析(详细版)
html/body/div[2]/div[3]/ul[2]/li//span[@class=‘state1’]/text()这样提取里面的内容。我们继续操作不难发现li标签可以提取到一行数据，并且第二行是li[2]，第三行是li[3]，按照这种思路我们可以把他们作为一组来提取。提取的思路就是按照里面的语法，我们来看看html元素。我们选中里面表格的元素进行点击检查，这个就实现一个页面我们如何提取数据。然后我们来处理开发下一页的逻辑。复制后我们点击下载好的插件。我们再进行词云分析学习。
2024-06-03 15:58:26
349
原创 js使用的请求有哪些
Asynchronous JavaScript and XML，是一种创建交互式网页应用的网页开发技术，通过在后台与服务器进行少量数据交换，可以使网页实现异步更新。这些是一些常见的JavaScript请求方法的示例，你可以根据具体的需求选择合适的方法来发起网络请求。：一种在单个TCP连接上进行全双工通信的协议，能够实现客户端和服务器之间的实时双向数据传输。：新一代的网络请求API，提供更强大和灵活的功能，并且支持 Promise 对象。：传统的发起HTTP请求的方式，可以实现异步数据交换。
2024-05-30 02:11:43
398
原创 flink这个窗口计算有什么用呢，有啥实用的例子，我为什么一定要保证等他到才计算，计算完后我后面干什么
通过确保事件数据的完整性和准确性，你可以进行精确的实时分析和决策，这对于业务的动态调整和优化非常重要。无论是评估促销活动的效果、调整营销策略还是优化库存管理，事件时间和水印的计算都起到了至关重要的作用。
2024-05-28 02:02:05
592
原创 举例解释flink中的水印和事件时间提取逻辑
水印和事件时间提取逻辑帮助流式处理系统准确地管理基于事件时间的数据，处理延迟到达的数据，确保处理结果的正确性。例如，在我们的在线购物平台订单处理场景中，水印确保了即使订单数据延迟到达，系统也能正确地进行统计和分析。
2024-05-28 01:59:06
285
原创 Flink 中默认是按照事件时间（Event Time）来进行处理的，而不是按照数据顺序，这个是啥意思呢？
在事件时间（Event Time）处理中，Flink 会根据每个事件自身携带的时间戳来处理数据，而不是按照数据到达的顺序。这样可以处理乱序数据，并在数据延迟的情况下依然保证计算的准确性。在这种情况下，尽管订单1是最早生成的，它被最后处理。这种方法可能导致计算结果不准确，特别是在处理需要时间顺序的数据时，例如计算每分钟的订单总数。订单数据从不同的地区发送到数据中心，可能会因为网络延迟而乱序到达。即使订单1和订单2比订单3晚到达，通过事件时间处理，Flink 仍然可以准确地计算每分钟的订单数量。
2024-05-28 01:14:22
563
原创 计算机网络作业实验二
答：在这里我们可以看出这里我们发送了一个百度请求，他直接就返回了我们想要的ip地址，和我们理论的不同，我们无法直接看到流程中是否经过了根域名服务器和权威域名服务器。可以看出是ipv4报文结构，他发送了一个请求查询www.baidu.com的ip地址,接着我们来看dns响应的数据包（解析 www.baidu.com 域名对应的 IPv4 地址）答：从图片可以查看出：IP 报文的协议字段的值是 17。IP报文版本号：这是IPv4，因为它的首部长度字段的值是5，代表20字节，而IPv4的首部长度为20字节。
2024-05-24 20:00:50
351
原创 个人内容展示前端，支持动态显示
这是一个HTML代码，用于创建一个简单的网页。该页面是一个"Credits"页面，用于显示一些内容并提供复制功能。页面的结构包括一个标题（Credits）、一系列产品（product），每个产品都包括一个标题（title）和一个内容部分（licence），以及一个复制按钮（copy-button）。用户可以点击复制按钮将内容复制到剪贴板，支持动态显示。
2024-05-16 07:50:43
256
原创 基于文件流的structstreaming
创建一个java的maven项目，把pom.xml导入，然后修改当前的scala环境2.12.7 或者2.12.x其他版本，然后创建scala项目文件，运行程序。确保你有一个包含数据的文件夹，该文件夹的路径在代码中指定为file:///home/hadoop/Desktop/data2/。在代码中已经指定了master(“local[*]”)，这意味着代码将在本地模式下运行，使用所有可用的CPU内核。数据文件应该是文本文件，每行包含以制表符分隔的字段，字段的顺序和类型需要符合代码中定义的结构。
2024-05-15 20:46:45
69
原创 kafka_sparkstreaming实现流数据处理数据
创建Topic 名为 fiction_ratings。可以看出，数据已经读取成功，并且可以每秒输出一条。在生产者运行的情况下执行消费者代码，查看输出。启动监控端，监控是否有数据发送到该主题。可以看出数据成功读取并且分析统计。注意这里也要指定号端口，主题目。启动生产者，查看监控终端。启动zookeeper。
2024-05-14 13:57:14
304
原创 决策树算法超参数调优
/ 使用BinaryClassificationEvaluator评估AUC。.setNumFolds(5) // 设置交叉验证的折数。).na.fill(0) // 填充空值为0。// 创建SparkSession。// 读取CSV文件并选择所需的列。// 执行交叉验证，并选择最佳模型。// 关闭SparkSession。// 在测试数据集上进行预测。// 实例化决策树分类器。// 在验证集上进行预测。// 对测试集进行预测。// 创建新的标签列。// 设置超参数网格。// 评估预测准确率。
2024-05-09 22:25:25
397
原创 决策树算法实现二分类
println(s"训练集行数: ${trainData.count()}, 验证集行数: ${testData.count()}").setHandleInvalid(“skip”) // 设置handleInvalid参数为"skip"，跳过空值。// 使用MulticlassClassificationEvaluator评估模型在验证集上的分类准确率。).na.fill(0) // 填充空值为0。// 展示训练集和验证集的行数。// 划分训练集和验证集。// 创建新的标签列。// 创建新的标签列。
2024-05-09 22:24:04
539
使用node+socket搭建一个星铁聊天室
2024-07-01
技术关键词：HadoopMapReduceHiveFlinkKafkaECharts数据可视化数据预处理
2024-06-25
大数据+spark+mongodb+nodejs+express+redis+scala实现实和离线房屋系统开发
2024-06-22
Nosql数据库原理与应用综合项目
2024-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人