- 博客(24)
- 收藏
- 关注
原创 基于Scrapy-Redis的分布式房产数据爬虫系统设计与实现
HouseSpider 是一个基于 Scrapy-Redis 的分布式房产数据爬虫系统,专门用于爬取房天下网站的二手房和新房数据。项目支持全国多城市数据采集,具备反爬虫机制、数据清洗、分布式调度等功能
2025-12-15 18:14:18
919
原创 Python 3入门指南
本文聚焦 Python3 基础知识板块,专为两类人群打造:一是刚踏入编程领域、对 Python3 感到陌生的新手,能通过清晰的知识结构和通俗讲解快速入门;二是需要回顾基础、强化记忆的学习者,可借助条理化的内容梳理,高效完成知识复盘,助力轻松应对后续编程学习或实践需求。
2025-09-15 20:57:54
1003
1
原创 ZooKeeper 集群高可用配置指南
本文详细介绍了Zookeeper集群的安装配置过程,主要包括前期网络检查、时间同步等准备工作,Zookeeper的安装解压、数据目录创建、配置文件修改、环境变量设置等步骤,以及集群同步启动和常见问题解决方法
2025-09-15 15:26:02
780
原创 Ubuntu 服务器实战:Docker 部署 Nextcloud+ZeroTier,打造可远程访问的个人云
这套组合方案(Docker + Nextcloud + ZeroTier)的优点是高度集成、隔离性好、管理方便,并且通过 ZeroTier 实现了安全的点对点直连。整套方案通过 Docker 实现 Nextcloud 容器化部署,搭配 ZeroTier 构建虚拟局域网,无需公网 IP 即可实现远程访问。
2025-09-01 16:10:59
1012
原创 IntelliJ IDEA快速搭建Hadoop开发环境
本文介绍了使用IntelliJ IDEA配置HDFS API开发环境的步骤。首先需要下载安装IntelliJ IDEA(社区版或专业版),创建Maven项目(JDK 1.8),然后在pom.xml中配置Hadoop相关依赖包(3.1.4版本)。文章详细说明了如何编写HDFS操作类,包括初始化HDFS客户端、文件上传下载、目录创建/删除/重命名等功能的实现代码,并提供了完整的HDFS_Test类代码示例,展示了通过JUnit测试HDFS基本操作的方法。
2025-06-30 16:23:46
772
原创 HDFS Shell 常用命令
HDFS采用主从架构(Master/Slave架构)。HDFS集群是由一个NameNode和多个 DataNode组成。HDFS提供SecondaryNameNode 辅助 NameNode。Block是HDFS文件系统中最小的存储单位,通常称之为数据块。在HDFS文件系统中存储的文件会被拆分成多个Block,每个Block作为独立的单元进行存储,同一文件的多个Block通常存放在不同的DataNode。hadoop1.x的HDFS默认块大小为64MB;
2025-06-30 11:21:07
1013
原创 一文搞懂 Docker + Nginx + MySQL + Redis + Mongo + ELK + K8s 全栈部署教程(含 GitHub Actions 自动化)
本文总结了 Docker 常用命令与容器操作方法,涵盖 Nginx、MySQL、Redis、MongoDB、Elasticsearch、Kibana 等服务的部署示例,结合 Docker Compose 实现多容器管理,并提供常见语言项目的 Dockerfile 模板与 GitHub Actions 自动构建配置,适合开发者快速上手实践。
2025-05-17 16:22:22
431
原创 如何在 IntelliJ IDEA 中配置 Maven 项目并使用 Java 8
在 IntelliJ IDEA 中配置 Maven 项目并使用 Java 8 是一个相对简单的过程,下面是详细的步骤。
2024-11-13 11:14:38
3914
1
原创 自然语言处理技术及其应用概述
自然语言处理(NLP)是人工智能的一个重要分支,旨在使计算机能够理解、解释和生成自然语言。随着大数据和深度学习技术的发展,NLP在各种应用场景中显示出了巨大的潜力。
2024-09-10 08:00:00
630
原创 大数据技能考核1-1
修改ip -> vi /etc/sysconfig/network-scripts/ifcfg-ens33 (记得修改vm虚拟机vm8网络以及windows设置修改网段一致)计算圆周率 hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 5 5。解压文件 tar -zxf jdk-8u131-linux-x64.tar.gz /export/server。重命名 mv jdk1.8.0_131 JDK1.8。查看主机名 hostname。
2024-09-09 20:23:52
327
1
原创 Git 的基本概念和使用方式
在软件开发和版本控制中,Git 是一种非常强大和流行的工具。它是一个分布式版本控制系统,由 Linus Torvalds 于 2005 年创建。Git 的设计目标是速度、数据完整性和支持大型项目的分布式开发。
2024-04-20 20:04:37
455
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅