愚公系列-大数据教学课程
关注
分享
扫一扫
文章平均质量分 96
专栏涵盖了大数据的基本概念、技术框架、存储和处理、分析和可视化等方面。通过深入浅出的讲解，我们帮助读者了解大数据技术的核心原理和应用场景，同时结合实际案例和实践经验，让读者更好地掌握大数据技术的操作和实践。
愚公搬代码
《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。
《近期荣誉》：2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳博主等。
《博客内容》：.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。
展开
-
【愚公系列】2024年02月 大数据教学课程 022-Hadoop的HDFS
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写。它是一种分布式文件系统，旨在将大量的数据存储在Hadoop集群中的多台机器上。HDFS具有高度容错性，并且设计用于在低成本硬件上部署。它允许高吞吐量的数据访问，并为大数据应用程序提供可扩展的存储。HDFS是Apache Hadoop生态系统的关键组件之一，许多组织使用它来存储和处理大型数据集。原创 2024-02-03 11:09:52 · 93113 阅读 · 21 评论 -
【愚公系列】2024年02月 大数据教学课程 021-zookeeper的使用
作用描述分布式协调和一致性协调多个节点的活动，确保一致性和顺序。实现一致性、领导选举、集群管理等功能，确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统，通过多个节点提供服务，容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件，提供稳定的分布式协调和管理服务，保证系统的连续可用性。配置管理和动态更新作为配置中心，集中管理和分发配置信息。通过订阅机制，实现对配置的动态更新，以适应系统的变化和需求的变化。分布式锁和并发控制。原创 2024-02-03 09:05:48 · 92428 阅读 · 2 评论 -
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
在安装Hadoop之前，需要进行以下准备工作：确认操作系统：Hadoop可以运行在多种操作系统上，包括Linux、Windows和Mac OS等。选择适合你的操作系统，并确保操作系统版本符合Hadoop的要求。安装Java环境：Hadoop是基于Java开发的，因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK)，并设置好JAVA_HOME环境变量。确认硬件要求：Hadoop是一个分布式系统，因此需要多台计算机组成集群。原创 2024-02-02 14:22:19 · 93269 阅读 · 3 评论 -
【愚公系列】2024年02月 大数据教学课程 019-Hadoop的体系
Hadoop模块功能提供Hadoop的基本功能，包括分布式文件系统（HDFS）、分布式数据处理、分布式调度和集群管理等用于存储大量数据，并提供高容错性和高吞吐量负责集群资源的调度和分配，将Hadoop从一个简单的批处理系统转变为一个通用的大数据处理平台，支持不同的计算模型，如MapReduce、Spark和Flink等并行处理大规模数据集，通过将输入数据分成多个小块，然后分发给集群中的多个计算节点进行处理，并将结果汇总输出。原创 2024-02-02 11:06:23 · 93186 阅读 · 8 评论 -
【愚公系列】2024年02月 大数据教学课程 018-Hadoop辅助软件安装
Hadoop是一个开源的分布式计算平台，用于处理大数据量和复杂的数据处理任务。在搭建和使用Hadoop集群时，通常需要一些辅助软件来支持其运行和管理。下面是一些常用的辅助软件：JDK（Java Development Kit）：Hadoop是用Java语言编写的，所以需要安装JDK来支持Hadoop的运行。可以从Oracle官方网站下载适用于操作系统的JDK安装包。MySQL：Hadoop可以与关系型数据库进行交互，而MySQL是一个常用的关系型数据库管理系统。原创 2024-02-01 17:01:18 · 93447 阅读 · 4 评论 -
【愚公系列】2024年02月 大数据教学课程 017-Hadoop环境配置
🏆 作者简介，愚公搬代码🏆《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，51CTO博客专家等。🏆《近期荣誉》：2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主等。原创 2024-02-01 19:31:13 · 93653 阅读 · 17 评论 -
【愚公系列】2024年02月 大数据教学课程 016-Hadoop预备知识
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它由Apache软件基金会开发和维护。Hadoop的核心组件包括：Hadoop Distributed File System（HDFS）：用于存储大数据集的分布式文件系统。它可以将数据分布在集群的多个机器上，并提供了高可靠性和容错能力。MapReduce：一种用于分布式计算的编程模型。MapReduce将计算任务分解为多个独立的Map和Reduce阶段，并将它们分发到不同的机器上进行并行处理。原创 2024-01-31 22:27:42 · 94154 阅读 · 18 评论 -
【愚公系列】2023年11月 大数据教学课程 015-JVM字节码
字节码是一种中间代码形式，其设计目的是为了在不同的平台上实现跨语言的程序执行。它是一种类似于汇编语言的低级代码，使用单字节指令表示高级语言中的指令，通常以二进制形式存储。Java和Python等编程语言都采用了字节码技术，将源代码编译成字节码，然后运行时再将字节码解释成机器代码执行。这种方法既保证了跨平台性，也提高了程序的运行效率。原创 2023-11-28 11:27:58 · 63215 阅读 · 10 评论 -
【愚公系列】2023年11月 大数据教学课程 014-JVM实战之Tomcat和参数优化
Tomcat是一个Java Servlet容器，也是一个开源的Web服务器，可以将Java代码转换成HTML代码，并且能够处理HTTP请求和响应。Tomcat是Java应用程序的一个重要组成部分，主要用于将Java代码转换为动态网页。Tomcat优化主要是为了提高其性能和稳定性，因为Tomcat在处理大量请求时可能会出现响应延迟和崩溃等问题。通过优化Tomcat可以提高其容器的并发处理能力、增加吞吐量、减少响应时间、优化内存管理、提高安全性和稳定性等，从而提高用户的体验和应用的可靠性。原创 2023-11-28 09:02:14 · 63038 阅读 · 21 评论 -
【愚公系列】2023年11月 大数据教学课程 013-JVM垃圾回收日志分析工具
一些常见的JVM垃圾回收日志分析工具包括：GCViewer: 是一款功能强大的图形化GC日志分析工具，可以用来查看和分析不同格式的GC日志文件，提供了丰富的视图和图表，包括各种统计数据、堆和方法图等。GCEasy: 是另一个可视化的GC日志分析工具，能够自动识别并提出GC日志中的问题，并提供了诸如GC时间、JVM停顿等指标的故障排除建议。GCLogAnalyzer: 是一款基于Java的命令行工具，可以通过聚合和分析GC日志文件，帮助诊断性能问题并找到优化机会。原创 2023-11-27 10:58:32 · 63282 阅读 · 40 评论 -
【愚公系列】2023年11月 大数据教学课程 012-JVM垃圾收集器以及内存分配
垃圾收集器是一种自动化程序，用于管理计算机内存中不再使用的数据，并在需要时回收它们。垃圾收集器有助于确保内存空间被充分利用，并且不会因为程序员的错误而产生内存泄漏问题。垃圾收集器可用于各种编程语言和平台，包括Java、Python、C#等。不同的垃圾收集器使用不同的回收算法，例如标记-清除、复制、标记-整理等。原创 2023-11-27 09:28:46 · 63040 阅读 · 11 评论 -
【愚公系列】2023年11月 大数据教学课程 011-JVM垃圾回收算法
🏆 作者简介，愚公搬代码🏆《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，51CTO博客专家等。🏆《近期荣誉》：2022年CSDN博客之星TOP2，2022年华为云十佳博主等。🏆《博客内容》：.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。原创 2023-11-27 08:56:23 · 63005 阅读 · 9 评论 -
【愚公系列】2023年11月 大数据教学课程 010-JVM分析工具（VisualVM）
JMX是Java Management Extensions的缩写，它是一种为Java应用程序提供管理和监控能力的技术。通过JMX，我们可以实现对Java应用程序的运行时状态进行监控和管理，比如检测应用程序性能瓶颈、定位故障、修改配置参数等。JMX提供了一个标准的方式来访问Java应用程序的管理接口，包括一组API和管理界面。JMX是Java平台的核心技术之一，它使得Java应用程序变得更加可管理和可监控。原创 2023-11-26 17:27:15 · 63243 阅读 · 26 评论 -
【愚公系列】2023年11月 大数据教学课程 009-JVM线程执行分析
后进行线程执行分析可以帮助我们了解程序在运行时的具体调用过程和资源占用情况，进而发现并排除程序中的性能瓶颈和线程安全问题。通过线程执行分析可以获得以下好处：定位程序性能瓶颈。分析线程执行情况可以帮助我们找到程序性能瓶颈所在，从而优化程序性能。发现线程安全问题。多线程程序中存在线程安全问题时，常常会导致程序崩溃或产生不可预期的结果。通过线程执行分析可以找到这些问题并尽早解决它们。挖掘潜在的性能问题。原创 2023-11-26 17:24:52 · 62948 阅读 · 0 评论 -
【愚公系列】2023年11月 大数据教学课程 008-JVM内存溢出分析
内存溢出是指程序在运行过程中申请的内存超过了系统所能提供的内存空间。当程序运行时，需要申请内存空间来存储变量、对象等数据，如果程序申请的内存超出了系统所能提供的物理内存，就会导致内存溢出。内存溢出会导致程序崩溃或表现异常，甚至会导致操作系统停止运行。常见的内存溢出原因包括无限递归、内存泄露、大量数据存储等。为避免内存溢出，程序员需要充分利用内存，避免占用过多的内存，提高内存使用效率。原创 2023-11-26 02:30:00 · 63103 阅读 · 13 评论 -
【愚公系列】2023年11月 大数据教学课程 007-JVM内存模型
内存模型是指计算机系统中用于组织和管理内存的数据结构和算法，它描述了如何将程序中的变量和数据存储到计算机的内存中，并且规定了程序访问内存时的行为和限制。内存模型通常包括以下几个方面的内容：内存组织结构：描述了内存的物理结构和逻辑结构，如内存分页、内存映射等。内存管理算法：描述了如何动态分配内存并进行回收，如伙伴系统、slab分配器等。内存访问机制：描述了程序如何访问内存，包括指针、引用、值传递等。内存同步机制：描述了线程之间如何共享内存，并防止出现并发访问的问题，如锁、信号量等。原创 2023-11-26 00:15:00 · 62965 阅读 · 1 评论 -
【愚公系列】2023年11月 大数据教学课程 006-JVM简介和运行参数
JVM全称为Java虚拟机，是Java语言的核心和关键技术之一，是一种可以在不同操作系统上运行Java字节码的虚拟计算机。JVM的主要作用是负责将Java源代码编译成字节码（即.class文件），并在运行时负责解释执行这些字节码。JVM的由来：JVM最初是由Sun公司开发的，旨在为Java语言提供跨平台的支持。由于Java语言的多平台特性和需求不断增加，JVM成为Java应用程序发展中的重要组成部分。原创 2023-11-25 14:11:50 · 63140 阅读 · 24 评论 -
【愚公系列】2023年11月 大数据教学课程 005-Linux的Shell编程
Shell编程是一种编程语言，用于在Unix或其他操作系统的命令行下编写脚本。它使用Shell解释器来执行脚本，Shell解释器是一种程序，它可以解释拥有特殊语法的文本文件，以执行操作系统命令和管理操作系统。Shell编程可以自动化重复性的任务，使命令行操作更有效和方便。常用的几种Shell编程语言包括：Bash、Zsh、Ksh等。Shell是一种指令解析器，它是一个用于与操作系统内核通信的特殊程序。Shell脚本是一种编程语言，它被设计用于在Unix和Linux系统上执行命令。原创 2023-11-25 11:52:41 · 63048 阅读 · 10 评论 -
【愚公系列】2023年11月 大数据教学课程 004-Linux管道相关命令
在Linux和其他类Unix系统中，管道（Pipeline）是将一个命令的输出直接传递给另一个命令的一种方法，以便实现高效的数据处理和传输。原创 2023-11-25 09:12:47 · 62477 阅读 · 16 评论 -
【愚公系列】2023年11月 大数据教学课程 003-Linux权限和系统相关命令
Linux权限指的是文件或目录在系统中的访问权限，分为读、写、执行三种权限，通过权限设置可以保护系统的安全性。命令描述chmod更改文件或目录的权限chown更改文件或目录的所有者ls显示目录或文件的内容mkdir创建新目录rm删除一个文件或目录mv移动或重命名文件或目录ps显示当前正在运行的进程kill停止运行的进程grep在文件中搜索特定的字符串awk在文本文件中搜索和操作数据sed对文本进行替换和流编辑操作ping测试网络连接ifconfig。原创 2023-11-24 15:03:20 · 62616 阅读 · 24 评论 -
【愚公系列】2023年11月 大数据教学课程 002-Linux介绍和常用命令
Linux是一种开放源代码的操作系统，它基于Unix操作系统设计，具有良好的稳定性和安全性，被广泛应用于服务器、移动设备、个人电脑和嵌入式设备等领域。Linux系统类型有很多，以下是一些常见的类型：Debian：以稳定性和安全性著称，适合服务器环境。Ubuntu：以简单易用和友好的用户界面著称，适合个人电脑和桌面系统。Red Hat Enterprise Linux：以企业级支持和稳定性著称，适合大型企业和机构。原创 2023-11-24 10:56:54 · 62838 阅读 · 10 评论 -
【愚公系列】2023年11月 大数据教学课程 001-大数据简介和相关概念
大数据是指规模庞大、类型多样、速度快、价值密度低的数据集合。它包括文本、图片、音频、视频等多种类型的数据，涵盖了人类社会的方方面面。这些数据通过大规模的计算、分析和处理，可以挖掘出隐藏在其中的有价值的信息和知识，为企业、政府和个人提供决策支持、业务创新和价值创造的机会。大数据已经成为当今信息时代的核心资源之一，被广泛应用于金融、零售、医疗、交通、能源、智能制造等各个领域。原创 2023-11-24 09:22:29 · 62404 阅读 · 14 评论