- 博客(29)
- 收藏
- 关注
RSS订阅
原创 解决Sublime出现中文乱码的情况
Sublime text 软件中出现中文乱码，大多是因为编码格式不支持，只需要安装一个插件就可以解决中文乱码问题。
2023-05-09 15:53:34
8794
原创 hive搭建完整教学
Hive是一个建立在Hadoop上的数据仓库工具，它提供了一个类似于SQL的查询语言来分析大规模数据。1. 处理大规模数据高效能够处理TB至PB级数据，并优化MapReduce任务以提高效率。2.高可扩展性和容错性利用Hadoop生态系统实现高效扩展，支持大规模并行计算。3.数据管理与存储提供表、分区等抽象，方便数据组织和管理。4.灵活性和集成性支持自定义数据类型、函数和脚本，实现复杂查询和数据转换。5.类SQL查询语言使用与SQL相似的HiveQL，使数据分析变得简单。
2024-04-19 14:23:05
1394
4
原创 实时读取本地文件和目录到HDFS
数据集中存储HDFS提供高可用、分布式的文件系统，使得本地数据可以在集群中集中存储，方便管理。提高处理效率HDFS支持并行处理，通过将数据存储在HDFS上，可以加快数据处理速度。满足实时性需求对于需要实时分析的场景，如日志监控，实时上传数据到HDFS可确保及时响应。数据备份与容灾HDFS的副本策略和容错机制有助于保护数据的安全性和可靠性。跨平台与扩展性HDFS跨平台运行，并随着集群规模的扩大而自动调整。
2024-04-01 20:52:32
392
原创 运行flume文件到hdfs出现java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument或拒绝连接
2 ] 只需要删除flume的lib下面的guava包，然后拷贝kafka下面的guava包给flume即可。去查看flume配置文件中的端口是否与hadoop配置文件core-site.xml的端口是否保持一致。该命令将返回当前安全模式的状态，可能的状态包括ON和OFF。是由于flume文件与hadoop配置的文件端口不一致导致的。flume的lib下面的为guava-11.0.2.jar。该命令将使集群退出安全模式，允许正常的读写操作。kafka下面的为guava-20.0.jar。
2024-04-01 18:59:57
385
1
原创 Hadoop单词统计实践：结果分析全流程详尽指南
Hadoop的单词统计（Word Count）是一个经典的MapReduce示例，用于计算输入文本文件中每个单词出现的次数。本指南旨在帮助读者在搭建完Hadoop集群后运行单词统计程序，并最终分析输出结果，全程详细解析，帮助读者深入理解大数据处理的核心流程。通过虚拟机实现Hadoop单词统计是一个很好的学习和实践大数据处理的方式。通过搭建Hadoop集群、准备数据、运行作业，这不仅增强了我们对大数据处理流程的理解，也提高了我们运用Hadoop进行实际数据处理的能力。
2024-03-23 17:42:39
525
原创 Hadoop之Ha高可用搭建教程
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。Hadoop集群的HA高可用方案是保障集群稳定性和可用性的重要手段。
2024-03-18 22:54:58
1102
原创 应对虚拟机紧急模式登录失败的解决方案
导致系统进入紧急模式并登录失败的原因多种多样，包括但不限于文件系统错误、硬件故障、系统配置错误、权限问题以及软件包问题等。通过仔细排查和尝试上述解决方法，通常可以解决大部分登录失败的问题，使系统恢复正常运行。值得注意的是，虚拟机关闭不正确是导致系统进入紧急模式的常见原因之一。因此，在关闭虚拟机时，请确保使用正确的关机流程，以避免不必要的系统问题。通过不断学习和实践，您可以提高处理这类问题的能力，并在CSDN等平台上分享您的经验和见解，从而提高您的质量分数。
2024-03-12 11:11:15
573
原创 使用Selenium实现有道翻译自动化——简化你的翻译工作流
在当今全球化的时代，翻译成为了日常生活中不可或缺的一部分。为了简化翻译的工作流，我们可以使用Selenium来实现自动化的翻译过程。本文将介绍如何使用Selenium库编写一个自动翻译脚本，以有道翻译为例，实现输入文本的自动翻译。通过以上步骤，我们成功地使用Selenium实现了一个简单的有道翻译自动化脚本。当然，这个脚本只是一个基础示例，实际应用中还可以根据需求添加更多高级功能。希望本文能为你提供一些启示和帮助，让你更深入地了解Selenium的应用。
2023-11-21 18:57:51
280
原创 Kafka：创建主题，查看主题，压力测试，发送和接收数据
在现今的大数据时代，数据流的处理与分析成为了许多企业和组织的核心需求。Apache Kafka作为一个分布式流处理平台，以其高性能、高吞吐量和可靠性在大数据领域崭露头角。它允许在分布式系统中处理和传输实时的数据流，为数据处理提供了全新的解决方案。对于Kafka的初学者和开发者来说，熟练掌握其基础操作至关重要。为此，本文将带领读者走进Kafka的世界，深入探讨主题的创建、管理，以及消息的发送与接收等核心操作。
2023-11-21 18:14:58
601
原创 kafka介绍及环境部署
本篇文章主要带来kafka的详细介绍和环境部署Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理大量的消息数据流。它的设计目标是提供强大的消息传递系统，同时保证高性能、高可用和可扩展性。Kafka最初由LinkedIn公司开发，现已成为Apache项目之一。在Kafka中，消息被组织成一个或多个主题（topics），而这些主题在一个或多个Kafka节点中进行分区（partitions）和复制（replication），以确保数据的可靠性和高可用性。
2023-11-16 09:10:50
111
原创 zookeeper介绍及环境部署
Zookeeper是一个分布式应用程序协调服务，它通过提供一个层次结构的命名空间、为应用程序提供一致性和可靠性、状态同步等功能来帮助构建分布式应用程序。在本篇文章中，我们将详细介绍Zookeeper的概念、特点、应用场景以及环境搭建方法。至此，Zookeeper环境已经搭建完成。本篇文章简要介绍了Zookeeper的概念、特点、应用场景以及环境搭建方法，希望能够帮助读者理解Zookeeper的重要性以及如何在虚拟机中国搭建Zookeeper环境。
2023-11-16 09:10:32
248
原创 详解Chrome驱动安装步骤：版本选择与配置全解析
本篇文章主要详解Chrome版本选择与配置全解析， 解决python中使用selenium库，对chrom浏览器进行操作时遇到的闪退问题当你尝试了上述建议仍然不能解决问题，建议搜索具体的错误信息或在Selenium和ChromeDriver的官方论坛和社区中寻求帮助。以上就是本篇文章的全部内容，希望能够帮助到大家！
2023-11-07 14:51:46
5284
原创 使用python爬取豆瓣电影top250的数据
本篇文章主要讲解如何爬取豆瓣电影top250中的数据。爬取豆瓣top250比较适合初学者用于练习和熟悉爬虫技能知识的简单实战项目，通过这个项目，可以让小白对爬虫有一个初步认识和了解。那么就让我们开始吧！爬虫（Spider）是一种自动化程序，用于在互联网上抓取和提取信息。它通过模拟人类浏览器的行为，访问网页并提取所需的数据。爬虫可以自动化地访问大量的网页，从中提取出有用的数据，如文本、图片、链接等。爬虫通常用于搜索引擎、数据挖掘、数据分析等领域。
2023-11-07 14:00:48
1977
2
原创 Dbeaver非关系型数据库管理工具的连接
本章带来的是Dbeaver工具的安装及使用教程DBeaver 是一款基于java开发的，免费且开源的多平台数据库管理工具，支持多种数据库，包括 MySQL、PostgreSQL、Oracle、SQL Server、SQLite 等。
2023-10-31 22:40:08
593
1
原创 python中使用request库，进行照片获取
本篇主要讲解在python中进行照片获取，使用requests库获取照片可以通过以下步骤实现：2. 使用requests库发送HTTP GET请求获取图片内容：其中为图片的URL地址。其中为保存的文件名，表示二进制写入模式，返回的是二进制内容。
2023-10-15 11:45:16
254
1
原创 flume监测文件内容及变化
本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。flume组件说明source 组件指定数据源channel 组件作为一个缓存，连接 source 和 sinksink 组件指定数据目的地Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。
2023-10-15 11:42:04
336
1
原创 配置linux的mysql时出现ERROR 1045 (28000): Access denied for user ‘start‘@‘localhost‘ (using password: YES)
中文意思：用户’root’@'localhost’的访问被拒绝（使用密码：是）
2023-10-10 20:02:15
462
2
原创 python的基本语法 | 跳出循环（ break 和 contiue ）
3.for循环第3次，循环到列表第3个元素7，进入条件判断代码块，7 10不符合条件，执行下一个代码块print(grads)，输出20。2.for循环第2次，循环到列表第2个元素30，进入条件判断代码块，30>10不符合条件，执行下一个代码块print(grads)，输出30。
2023-10-04 17:37:43
308
1
原创 虚拟机中Hadoop集群NameNode和DataNode进程缺失问题解析与解决
在虚拟机中运行Hadoop集群时，通过执行jps命令检查进程时，发现NameNode和DataNode进程缺失。这通常会导致Hadoop集群无法正常运行，影响数据的存储和访问。在操作Hadoop集群时，务必遵循正确的启动和停止流程，避免异常退出导致的问题。定期检查Hadoop集群的配置文件，确保各项配置正确无误。在进行NameNode格式化之前，务必备份重要数据，以防数据丢失。如果在解决问题过程中遇到其他错误或异常，请查看Hadoop的日志文件以获取更多详细信息，并根据日志提示进行相应的调整。
2023-09-25 16:05:54
2272
2
原创 虚拟机启动集群时遇到“localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)”错误解析与解决方案
目录问题展示：编辑问题分析：解决方法：是因为虚拟机的免密登录没有配置好重新进行虚拟机的免密配置
2023-09-22 22:34:36
634
1
原创 虚拟机中出现 ERROR: Cannot set priority of secondarynamenode process xxxx 报错解析与解决方案
通过以上方法，您应该能够解决虚拟机中“ERROR: Cannot set priority of secondarynamenode process”的报错问题。如果问题仍然存在，建议仔细检查配置文件和日志文件中的错误信息，以便进一步定位和解决问题。
2023-09-22 22:01:28
2719
1
原创 Vmware虚拟机网络配置指南
虚拟机网络配置是确保虚拟机能够正常接入网络、与其他设备进行通信的关键步骤。无论是用于开发、测试还是其他目的，正确的网络配置都是保证虚拟机功能正常运行的基础。本篇文章将指导您逐步完成虚拟机的网络配置过程，包括登录用户和密码、切换至网络配置文件目录、查看文件信息、编辑配置文件、修改参数、重启网络服务以及测试配置是否成功等步骤。通过遵循这些步骤，您将能够轻松配置虚拟机的网络，确保其能够顺畅地接入网络并与外部世界进行交互。
2023-09-17 14:19:23
1682
1
原创 linux退出编辑的三种方式
wq 保存文件并退出vi 编辑 （比较常用）:w 保存文件但不退出vi 编辑 （比较常用）:w file 将修改另存到file中，不退出vi 编辑。放弃所有修改，从上次保存文件开始编辑。强制保存文件并退出vi 编辑。不保存文件并强制退出vi 编辑。强制保存，不退出vi 编辑。:q 不保存文件并退出vi 编辑。
2023-09-12 09:50:19
901
原创 使用Xshell为linux设置免密登录
免密登录指的是在使用 SSH 连接 Linux 主机时，可以省略输入密码的过程，直接登录到目标主机。2. 将生成的公钥拷贝到目标主机。这样，在下次连接目标主机时，就可以省略输入密码的过程，直接登录到目标主机。即可进行免密登录（如：ssh 192.168.1.138）连点三次回车，会在当前用户的主目录下会生成。再根据提示输入yes和对应主机密码。
2023-09-12 09:22:00
143
原创 MySQL 出现1055错误 this is incompatible with sql mode=only full group by 的解决办法
在学习过程中出现的问题：IDEA与Navicat出现不兼容的情况 会弹出1055的错误，这种错误通常在mysql 5.7以上的版本才会出现1055 SELECT列表的表达式#1不在GROUP BY子句中……这与sql mode=only full group by不兼容。
2023-05-09 17:21:54
1460
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人