- 博客(4)
- 收藏
- 关注
原创 Hadoop集群与映射
Hadoop集群是一个由多台计算机组成的分布式系统,用于存储和处理大规模数据集。Hadoop集群主要包括两个核心组件:Hadoop Distributed File System(HDFS)和MapReduce。HDFS提供了高容错性的系统,能够存储海量的数据,而MapReduce则用于大规模数据集的并行处理。首先在Linux虚拟机上要有一个主机,这里我命名为master,通过“右键虚拟机--管理--克隆”的方式创建三个克隆机,修改名字为slave1,slave2,slave3,并修改安装路径。
2024-05-17 19:07:29
1930
原创 动态爬取:技术、挑战与实践
爬虫技术是一门艺术与科学的结合体。在编写高效的爬虫程序时,我们需要综合考虑技术、法律和道德等多个方面。通过不断地学习和实践,我们可以不断提升自己的技能水平,为数据获取和处理领域做出更大的贡献。同时,我们也要始终保持对数据隐私和保护问题的关注,确保我们的行为合法合规。
2024-01-08 13:32:34
2335
1
原创 类与对象:Java中的基石概念
类与对象是Java编程中的核心概念,它们为我们提供了一种构建软件应用程序的强大工具。通过理解类与对象的概念、关系及其在Java中的应用,我们可以更好地利用面向对象编程的优势,提高代码的可重用性、可维护性和可扩展性。随着技术的不断进步,面向对象编程将继续发挥重要作用,成为软件开发的基石之一。
2023-12-26 16:27:09
999
1
原创 Pyecharts实践:数据可视化大屏
Pyecharts是一个基于Python的开源可视化库,它能够生成Echarts图表的JSON数据,并使用JavaScript进行渲染。Echarts是一个使用JavaScript开发的,开源的数据可视化库,它可以生成各种类型的图表,包括折线图、柱状图、饼图、散点图等。
2023-12-25 15:58:43
2842
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人