- 博客(59)
- 收藏
- 关注
RSS订阅原创 七牛云面试复盘-实习后端Java开发 一面复盘 【已通过】
先问几个基础题，循序渐进的来哈，谈谈Java⾃动装箱与拆箱答：⾃动装箱与拆箱就是对象和基本数据类型之间进行转换。装箱就是基本数据类型转换为包装器类型：int–>Integer,**valueOf**方法拆箱就是⾃动将包装器类型转换为基本数据类型：Integer->int，**intValue**方法
2023-07-05 01:23:50
544
原创 大数据分析与机器学习：技术深度与实例解析【上进小菜猪大数据系列】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。大数据分析与机器学习已成为当今商业决策和科学研究中的关键组成部分。本文将深入探讨大数据技术的背景和原则，并结合实例介绍一些常见的大数据分析和机器学习技术。随着互联网和计算能力的飞速发展，大数据成为了各行业面临的重要挑战和机遇。通过大数据分析，我们可以挖掘出隐藏在海量数据中的有价值信息，为企业决策提供有力支持。机器学习作为大数据分析的重要工具，可以帮助我们从数据中学习模式、预测趋势和进行智能决策。
2023-06-13 23:31:19
826
原创 Spark实时数据流分析与可视化：实战指南【上进小菜猪大数据系列】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。本文介绍了如何利用Apache Spark技术栈进行实时数据流分析，并通过可视化技术将分析结果实时展示。我们将使用Spark Streaming进行数据流处理，结合常见的数据处理和可视化库，实现实时的数据流分析和可视化展示。本文包括了数据流处理、实时计算、可视化展示三个主要步骤，并提供相应的代码示例和技术细节。
2023-06-11 23:42:27
1610
原创 大数据驱动的实时文本情感分析系统：构建高效准确的情感洞察【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。随着互联网的快速发展和大数据技术的不断成熟，用户推荐系统在各个应用领域变得越来越重要。本文将介绍如何利用大数据技术构建一个实时用户推荐系统。我们将通过结合Apache Kafka、Apache Spark和机器学习算法，实现一个高效、可扩展且准确的推荐系统。同时，本文还将提供具体的代码实例和技术深度解析，帮助读者更好地理解和实践。首先，我们需要收集用户行为数据并进行预处理。数据可以包括用户的点击记录、购买记录、评分等信息。
2023-06-10 23:04:07
659
原创 大数据分析的Python实战指南：数据处理、可视化与机器学习【上进小菜猪大数据】
结论： 本文介绍了使用Python进行大数据分析的实战技术，包括数据清洗、数据探索、数据可视化和机器学习模型训练等方面。通过掌握这些技术，您可以更好地处理和分析大数据，并从中获取有价值的信息。使用Python的丰富生态系统和易用性，您可以更高效地进行大数据分析和实践。通过有效地处理和分析大量的数据，企业可以从中获得有价值的洞察，以做出更明智的决策。本文将介绍使用Python进行大数据分析的实战技术，包括数据清洗、数据探索、数据可视化和机器学习模型训练等方面。
2023-06-09 22:43:08
2247
原创 PySpark实战指南：大数据处理与分析的终极指南【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。大数据处理与分析是当今信息时代的核心任务之一。本文将介绍如何使用PySpark（Python的Spark API）进行大数据处理和分析的实战技术。我们将探讨PySpark的基本概念、数据准备、数据处理和分析的关键步骤，并提供示例代码和技术深度。数据处理 一旦数据准备完毕，我们可以使用PySpark对数据进行各种处理操作，如过滤、转换、聚合等。PySpark提供了丰富的操作函数和高级API，使得数据处理变得简单而高效。
2023-06-09 22:39:08
2183
原创 基于Spark的分布式数据处理和机器学习技术【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。大数据已经成为当今社会中一个重要的资源和挑战。随着数据规模的不断增长，如何高效地处理和分析这些数据成为了一个关键问题。本文将介绍基于Apache Spark的分布式数据处理和机器学习技术，展示如何利用Spark来处理大规模数据集并进行复杂的机器学习任务。我们将详细讨论Spark的基本概念、架构和编程模型，并提供一些示例代码来说明其在大数据领域中的应用。
2023-06-07 23:44:23
430
原创 大数据存储与处理技术探索：Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。大数据时代带来了数据规模的爆炸性增长，对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术：Hadoop HDFS和Amazon S3。我们将深入了解它们的特点、架构以及如何使用它们来构建可扩展的大数据解决方案。本文还将提供代码实例来说明如何使用这些技术来处理大规模数据集。在当今数字化时代，大数据成为了各个领域的关键驱动力。
2023-06-06 09:56:14
1072
原创 构建智能电商推荐系统：大数据实战中的Kudu、Flink和Mahout应用【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。本文将介绍如何利用Kudu、Flink和Mahout这三种技术构建一个强大的大数据分析平台。我们将详细讨论这些技术的特点和优势，并提供代码示例，帮助读者了解如何在实际项目中应用它们。通过本文的指导，读者将能够掌握如何使用这些工具来处理大规模数据集，并进行智能分析。在当今的信息时代，大数据分析成为了各行各业中不可或缺的一环。为了有效地处理海量数据并从中提取有价值的信息，我们需要依赖于强大的工具和技术。
2023-06-05 14:11:27
595
原创 大数据处理领域的经典框架：MapReduce详解与应用【上进小菜猪大数据】
本文介绍了MapReduce的基本原理和实现方法，并给出了一个简单的WordCount示例。MapReduce是大数据处理领域的经典框架，对于处理庞大的数据集十分有效。开发者可以通过实现Map函数和Reduce函数来构建自己的数据处理应用程序，并通过MapReduce框架来实现高效的数据处理。
2023-06-04 00:46:34
2475
原创 深入探索Apache Flume：大数据领域的数据采集神器【上进小菜猪大数据系列】
Apache Flume是一个开源的、分布式的数据采集系统，旨在可靠地、高效地从各种数据源采集、聚合和传输数据到目的地。Flume的设计目标是解决大规模数据采集的可靠性和扩展性问题。其基于可插拔的架构和配置驱动的方式，使得用户可以方便地定制和扩展数据采集的流程。
2023-05-25 00:01:18
801
原创 TensorFlow巨浪中的巨人：大数据领域的引领者 TensorFlow实战【上进小菜猪大数据系列】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。欢迎订阅本专栏！大数据时代的到来带来了海量数据的处理和分析需求。在这个背景下，TensorFlow作为一种强大的深度学习框架，展现了其在大数据领域中的巨大潜力。本文将深入探索TensorFlow在大数据处理和分析中的应用，介绍其在数据预处理、模型构建、分布式训练和性能优化等方面的优势和特点。
2023-05-22 23:42:28
428
原创 Apache NiFi：实时数据流处理的可视化利器【上进小菜猪大数据系列】
实时数据流处理是指对数据流进行即时处理和分析的过程。与批处理不同，实时数据流处理能够在数据流中的数据到达时立即进行处理和响应。这种实时性使得组织能够及时地获取有关数据的洞察力，并做出实时决策。
2023-05-21 23:03:14
876
原创 超越大数据的边界：Apache Flink实战解析【上进小菜猪大数据系列】
Apache Flink是一个分布式流处理和批处理框架，具有低延迟、高吞吐量和Exactly-Once语义的特点。它提供了丰富的API和工具，使开发者能够轻松地构建和部署大规模流处理应用程序。相比其他流处理框架，Flink的优势在于其高效的调度算法、可靠的故障恢复机制以及对复杂事件处理的支持。
2023-05-18 11:38:56
453
原创 Apache Kafka实战：超越数据边界-Apache Kafka在大数据领域的崭新征程【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。本文将介绍Apache Kafka在大数据领域的应用及其重要性，并提供一些代码实例来帮助读者更好地理解和应用Apache Kafka。文章主要包括以下几个方面：Apache Kafka的基本概念、Kafka在大数据处理中的角色、Kafka的架构和工作原理、如何使用Kafka进行数据流处理以及一些常见的使用场景。通过本文的阅读，读者将能够深入了解Apache Kafka，并学会如何使用它在大数据领域进行高效的数据处理。
2023-05-16 23:51:20
309
原创 大数据之光：Apache Spark 实用指南 大数据实战详解【上进小菜猪大数据】
随着大数据时代的到来，处理大规模数据的需求越来越迫切。Apache Spark作为一个快速、可扩展的大数据处理框架，获得了广泛的应用。相比于传统的MapReduce模型，Spark采用了内存计算和基于弹性分布式数据集（Resilient Distributed Datasets，简称RDD）的抽象模型，从而实现了更快的数据处理速度和更高的可扩展性。Apache Spark是由加州大学伯克利分校AMPLab开发的开源分布式计算框架。Spark的设计目标是解决大数据处理中的瓶颈和性能问题。
2023-05-15 23:52:53
474
原创 数据流畅驰骋：探秘Logstash在大数据领域的卓越表现【上进小菜猪大数据系列】
Logstash是一个开源的数据处理引擎，通过输入插件从不同数据源采集数据，经过过滤器进行处理和转换，最后通过输出插件将数据发送到目标位置。它具有高度可配置性和灵活性，支持多种数据源和目标。Logstash作为大数据领域的数据处理引擎，具备强大的功能和灵活的配置选项。它在日志收集和分析、实时数据处理和流式计算、数据转换和集成等方面发挥重要作用。通过本文的介绍，读者可以深入了解Logstash的技术细节和应用场景，并掌握基本的配置和使用方法，为大数据处理提供有效的解决方案。
2023-05-14 21:15:42
1044
2
原创 Sqoop: Hadoop数据传输的利器【Sqoop实战】【上进小菜猪大数据系列】
Sqoop是一个强大而灵活的工具，用于在Hadoop和关系型数据库之间进行数据传输。通过深入理解Sqoop的工作原理和常用功能，我们可以更好地利用Sqoop来处理大数据的导入和导出任务。本文介绍了Sqoop的工作原理，并提供了常用功能的示例代码，希望能为读者提供关于Sqoop的深入了解和实际应用的指导。
2023-05-13 21:57:14
628
原创 【上进小菜猪】使用Ambari提高Hadoop集群管理和开发效率:提高大数据应用部署和管理效率的利器
Hadoop是一种开源的分布式处理框架，用于在一组低成本硬件的集群上存储和处理大规模数据集。Ambari是一种基于Web的管理工具，用于轻松管理和监控Hadoop集群。在本文中，我们将探讨如何使用Ambari在Hadoop集群上运行应用程序，包括编写示例代码并将其部署到集群中。Ambari是Apache Hadoop项目的一个子项目，旨在简化Hadoop集群的部署、管理和监控。它提供了一个基于Web的用户界面，让用户可以轻松地监控整个集群，包括节点的健康状况、资源使用情况以及服务的运行状态等。
2023-05-11 01:27:26
678
原创 HBase：Hadoop生态系统中的分布式NoSQL数据库【上进小菜猪大数据系列】
HBase是一个基于Hadoop的分布式、面向列的NoSQL数据库。它使用Google的Bigtable作为数据模型，提供了高性能、高可用、高可扩展性的存储和访问能力。HBase是一个开源项目，由Apache基金会管理和维护。
2023-05-10 00:42:07
1051
原创 MySQL与Hadoop数据同步方案：Sqoop与Flume的应用探究【上进小菜猪大数据系列】
本文介绍了如何使用Sqoop和Flume这两个工具实现MySQL与Hadoop数据同步的方案。Sqoop可以将MySQL中的数据批量地导入到Hadoop中，适用于需要定期导入数据的场景。而Flume可以实时地将MySQL中的数据导入到Hadoop中，适用于需要实时处理数据的场景。这两种方案各有优劣，需要根据具体的业务需求来选择合适的方案。
2023-05-09 00:31:00
671
原创 深入探究HDFS：高可靠、高可扩展、高吞吐量的分布式文件系统【上进小菜猪大数据系列】
HDFS是一个高可靠、高可扩展、高吞吐量的分布式文件系统，适用于大规模的数据处理和批处理任务。它的设计理念就是针对大数据量的处理，因此不适合小文件存储和实时读写操作。HDFS已经被广泛地应用于大数据处理、数据分析等领域，例如Hadoop、Spark、HBase、Hive等。通过上述的代码实例，可以初步了解HDFS的基本操作方式。当然，HDFS还有很多其他的高级特性，例如快照、权限控制、Federation等，这些特性在大规模集群中是非常有用的。
2023-05-08 00:16:42
2077
原创 深入理解MapReduce：使用Java编写MapReduce程序【上进小菜猪】
本文介绍了MapReduce的原理和使用Java编写MapReduce程序的方法。MapReduce是一个强大的并行编程模型，可用于处理大规模数据集。如果你正在处理大数据集，那么MapReduce可能是你的首选方案。
2023-05-07 00:38:08
2030
原创 【上进小菜猪】深入了解Hadoop：HDFS、MapReduce和Hive
本文介绍了Hadoop的基本概念，包括HDFS，MapReduce和YARN。我们还演示了如何使用Java编写MapReduce作业和如何使用Hive进行数据分析。这些技术可以帮助处理和分析大规模数据集，从而实现数据驱动的决策和业务增长。
2023-05-06 00:12:27
766
1
原创 安卓开发的深度技术实战详解
本文介绍了一些安卓开发中的深度技术，如 Kotlin 语言、MVVM 架构、协程、数据库等，并给出了相应的代码实例。这些技术可以让开发者更加简单、高效、易维护地开发安卓应用。当然，这些技术只是冰山一角，还有许多其他值得探索的技术，希望读者能够深入研究，不断学习和实践。本文介绍了安卓开发中的四个重要概念：视图、布局、协程和数据库，并提供了相应的代码实例。这些概念是安卓开发中的基础知识，掌握它们对于开发高质量的安卓应用程序至关重要。希望读者能够通过本文的介绍和示例代码，更好地理解和掌握这些概念。
2023-04-13 00:36:24
682
原创 AI-深度神经网络（前向传播算法和滑动平均模型）以及激活函数实例
①滑动平均模型的作用是提高测试值上的健壮性，一个参数变化很大，那势必会影响到测试准确度问题，从他的公式看shadow_var = decay * shadow_var + (1 - decay) * var_new，decay控制着该shadow变量的更新速度，decay越大，那么很明显其值就会越倾向接近于旧值，而decay越小，那么var_new产生的叠加作用就会越强，其结果就会越倾向于远离旧值，那这样波动就很大，通常认为稳定性就不够好当然就不够健壮了。此外，反向传播是训练DL模型的主要算法。
2023-01-21 01:43:27
297
原创 Perl项目中的面向对象、继承默认加载和正则表达式的使用方法
如果在当前类、当前类的所有基类和UNIVERSAL类中找不到请求的方法，将再次找到名为AUTOLOAD（）的方法。其次，基于array方法，在定义类时，我们将为每个实例属性创建一个数组，每个对象实例的本质是对这些数组中的行的索引的引用。正则表达式描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。Perl语言的正则表达式功能非常强大，基本上是常用语言中最强大的，很多语言设计正则式支持的时候都参考Perl的正则表达式。
2022-12-31 23:25:25
179
原创 在项目中使用Curator的Java 客户端搭建后进行长TCP连接和TCP权限配置【Zookeeper】
当Zookeeper类调用exists方法时，它将创建事件侦听器封装到请求对象中，将watch属性设置为true，并在服务器返回响应后将侦听器事件封装到客户端的ZKCatchManager类中。在Zookeeper的运行过程中，客户端会在会话超时的到期范围内向服务器发送请求（包括读写）或ping请求，俗称心跳检测，以完成会话激活，从而保持会话的有效性。当服务器检测到会话已过期时，会话将标记为“已关闭”，不会处理会话的新请求。客户端连接到服务器的默认2181端口，即会话会话。因此，删除节点失败。
2022-12-30 22:44:06
214
原创 【NetBeans】在Maven项目开发过程中对于NetBeans的合理运用以及自动化部署的方案详解
配置文件在构建期间修改POM，用于为参数设置不同的目标环境（例如，开发、测试和生产环境中数据库服务器的地址）。NetBeans可以通过自己的工作区解决Maven依赖问题，而无需安装到本地Maven存储库，尽管需要依赖的项目位于同一工作区。可以通过绑定到插件的目标来配置要执行的任务。这些阶段相当于Maven提供的统一接口，这些阶段的实现由Maven插件完成。Maven实际上是一个依赖插件执行的框架，每个任务实际上都是由插件完成的。因此，Maven生命周期每个阶段的具体实现是由Maven插件实现的。
2022-12-29 23:48:57
465
原创 【Maven项目】在项目开发中对于NAPSHOT、Maven依赖关系管理以及三个标准生命周期
插件是使用plugins元素在pom.xml中定义的。每个插件可以有多个目标。可以定义阶段，插件将使用其阶段元素开始处理。我们使用了清洁阶段。可以通过绑定到插件的目标来配置要执行的任务。我们已经将echo任务绑定到maven antrun插件的运行目标。就这样。Maven将处理剩下的问题。它将下载本地存储库中不可用的插件并开始处理。我们在示例中广泛使用了maven antrun插件来将数据输出到控制台。请查看Maven-BuildProfile部分。
2022-12-28 23:39:35
153
原创 安卓开发过程中的RatingBar、Handler以及GPS在大型项目中的使用【Android】
我们发送的信息将进入主线程的MessageQueue等待，Looper将按照先入先出的顺序将其取出，然后根据消息对象的属性将其分发给相应的Handler进行处理！它将进步转化为分数。RequestLocationUpdates（long minTime，float minDistance，Criteria Criteria，PendingIntent intent）：通过指定的位置提供商定期获取位置信息，并通过意向启动相应的组件。Android返回的方向值是一个长度为3的flaot数组，包括三个方向的值！
2022-12-27 23:48:18
166
原创 开发时遇到监听的事件处理机制和SoundPool播放音效解决方法以及外部类的使用【Android】
处理流程如下：步骤1：为事件源（组件）设置侦听器以侦听用户操作步骤2：用户操作触发事件源的侦听器步骤3：生成相应的事件对象步骤4：将此事件源对象作为参数传递给事件侦听器步骤5：事件侦听器判断事件对象，执行相应的事件处理程序（相应事件的处理方法）只需让Activity类实现XxxListener事件侦听器接口，定义并重写相应的事件处理程序方法，例如在Activity:Activity中实现OnClickListener接口，并重写onClick（view）方法。事件侦听器机制是一种委托的事件处理机制。
2022-12-26 23:32:08
150
原创 【Android】Android对于Activity的运用以及ViewGroup和 用户界面组件在项目中的运用
有两种方法可以创建UI布局。确保无论系统从哪个任务启动活动，都只会创建一个活动实例并将其添加到新任务堆栈的顶部，也就是说，该实例启动的其他活动将自动在另一个任务中运行。如果任务中已存在要启动的活动的实例，请清除该实例上方的所有活动，并向用户显示该实例。如果任务不存在，将启动一个新任务，并在新任务中启动单一任务模式下的活动实例。如果存在，它会将此实例的任务安排到前台，并重用此活动的实例（此任务中只有一个活动）。如果它不存在，它将打开一个新任务，并在此新任务中启动此singleInstance模式的活动实例。
2022-12-25 23:42:43
240
原创 【Android】开发Android应用时对于Handler消息传递与缓存问题深入运用and理解
根据应用范围的不同，有两种类型的存储：会话存储和本地存储，用于会话级存储（关闭时页面消失）和本地化存储（除非主动删除数据，否则数据永远不会过期）。当我们的子线程想要修改活动中的UI组件时，我们可以创建一个新的Handler对象，并通过该对象向主线程发送信息；我们发送的信息将进入主线程的MessageQueue等待，Looper将按照先入先出的顺序将其取出，然后根据消息对象的属性将其分发给相应的Handler进行处理！我们可以直接操作的是数据部分，而页面缓存是由浏览器的行为生成的。UI线程：我们的主线程。
2022-12-24 23:15:29
192
原创 【AJAX】对于AJAX 解析已经XMLHttpRequest对象对于异步的操作等等在项目中的体验
为了应对所有现代浏览器，包括IE5和IE6，请检查浏览器是否支持XMLHttpRequest对象。在服务器上执行的许多任务都很耗时。如果的网站上有多个AJAX任务，应该编写一个用于创建XMLHttpRequest对象的标准函数，并为每个AJAX任务调用该函数。所有现代浏览器都支持XMLHttpRequest对象（IE5和IE6使用ActiveX对象）。AJAX不需要任何浏览器插件，但用户需要允许JavaScript在浏览器上执行。我们不建议使用async=false，但对于一些小请求，这是可以的。
2022-12-23 23:53:45
112
原创 【NumPy高级运用】NumPy的Matrix与Broadcast高级运用以及IO操作
如果两个数组a和b的形状相同，即a.shape==b.shape，则a*b的结果是数组a和b的相应位的乘法。默认情况下，数组以未压缩的原始二进制格式保存在扩展名为.npz的文件中。NumPy数组的维数称为rank，rank是轴的数量，即数组的维数。如果输入数组的维度的长度与输出数组的相应维度的长度相同或其长度为1，则可以使用该数组进行计算，否则会发生错误。例如，通过使用t（）函数，可以将具有m行和n列的矩阵转换为具有n行和m列的矩阵。当输入数组的维度长度为1时，该维度中的第一组值将用于沿该维度的操作。
2022-12-22 23:48:26
108
原创 【Android】使用Android开发应用过程中遇到ViewGroup的简单效以及aw和assets文件夹下的文件（Http协议的底层工作）
然而，定义布局的最简单和最有效的方法是使用XML文件，这更符合人们的阅读习惯。当然，如果我们不将上述设置方法应用于0dp，我们可以直接使用wrap _ Content和match _在parent的情况下，需要解析weight属性。服务器接收SYN包，确认客户端的SYN（ACK＝j+1），同时发送一个SYN包（SYN＝k），即SYN+ACK包，服务器进入SYN_RECV状态。服务器验证帐户和加密密码。服务器会将用户提交的帐户和加密密码保存到服务器的数据库中，也就是说，服务器不会保存我们的明文密码（原始）！
2022-12-21 23:34:34
122
原创 【Ruby高级技术】在项目中使用多线程之后的一系列问题解决方案-同步控制、异常处理、死锁处理
如果线程完全运行，value方法将返回线程值。不同的线程可以使用一对统一的类，但不要担心队列中的数据是否可以同步。但是，如果其他线程由于thread#join关系一直在等待该线程，则等待线程也将抛出相同的异常。4.线程代码块中的最后一条语句是线程的值，它可以通过线程的方法调用。1.new可以用于创建线程，Thread也可以使用相同的语法Start或Thread。Ruby线程是轻量级的，可以以高效的方式实现并行代码。线程可以有自己的私有变量，在创建线程时将其写入线程。线程的优先级是影响线程调度的主要因素。
2022-12-20 23:34:49
142
原创 【Ruby高级技术】对面向对象里的控制访问，包括类的继承类常量的深入理解和使用
实例变量是类属性，当使用类创建对象时，这些属性将成为对象的属性。@operator用于访问类内部的这些属性，而名为accessor方法的公共方法用于访问类外部的这些属性。让我们将上面定义的类Box作为实例，并将@width和@height作为类Box的实例变量。这实际上并没有定义任何数据，而是定义了类的名称意味着什么，即类的对象将由什么组成，以及可以对对象执行什么操作。在创建类时，程序员可以直接指定新类继承自现有类的成员，这样就不必从头开始编写新的数据成员和成员函数。类中的数据和方法称为类的成员。
2022-12-19 23:39:53
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人