自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 基于Scrapy-Redis的分布式房产数据爬虫系统设计与实现

HouseSpider 是一个基于 Scrapy-Redis 的分布式房产数据爬虫系统,专门用于爬取房天下网站的二手房和新房数据。项目支持全国多城市数据采集,具备反爬虫机制、数据清洗、分布式调度等功能

2025-12-15 18:14:18 919

原创 Flume安装部署

本指南介绍如何配置Apache Flume 1.9.0实现数据实时采集到HDFS

2025-11-09 13:54:34 999

原创 Sqoop的安装与配置

Sqoop的安装以及基本使用

2025-10-07 11:05:24 395

原创 CentOS 7 环境下 MySQL 5.7 深度指南:从安装、配置到基础 SQL 操作

MySQL5.7的安装以及SQL的CURD基本使用

2025-10-07 10:31:22 1170

原创 Hadoop HA (高可用) 配置与操作指南

本文介绍了Hadoop高可用集群的安装配置过程以及问题处理

2025-09-25 09:24:34 1058

原创 Python 3入门指南

本文聚焦 Python3 基础知识板块,专为两类人群打造:一是刚踏入编程领域、对 Python3 感到陌生的新手,能通过清晰的知识结构和通俗讲解快速入门;二是需要回顾基础、强化记忆的学习者,可借助条理化的内容梳理,高效完成知识复盘,助力轻松应对后续编程学习或实践需求。

2025-09-15 20:57:54 1003 1

原创 ZooKeeper 集群高可用配置指南

本文详细介绍了Zookeeper集群的安装配置过程,主要包括前期网络检查、时间同步等准备工作,Zookeeper的安装解压、数据目录创建、配置文件修改、环境变量设置等步骤,以及集群同步启动和常见问题解决方法

2025-09-15 15:26:02 780

原创 Ubuntu 服务器实战:Docker 部署 Nextcloud+ZeroTier,打造可远程访问的个人云

这套组合方案(Docker + Nextcloud + ZeroTier)的优点是高度集成、隔离性好、管理方便,并且通过 ZeroTier 实现了安全的点对点直连。整套方案通过 Docker 实现 Nextcloud 容器化部署,搭配 ZeroTier 构建虚拟局域网,无需公网 IP 即可实现远程访问。

2025-09-01 16:10:59 1012

原创 IntelliJ IDEA快速搭建Hadoop开发环境

本文介绍了使用IntelliJ IDEA配置HDFS API开发环境的步骤。首先需要下载安装IntelliJ IDEA(社区版或专业版),创建Maven项目(JDK 1.8),然后在pom.xml中配置Hadoop相关依赖包(3.1.4版本)。文章详细说明了如何编写HDFS操作类,包括初始化HDFS客户端、文件上传下载、目录创建/删除/重命名等功能的实现代码,并提供了完整的HDFS_Test类代码示例,展示了通过JUnit测试HDFS基本操作的方法。

2025-06-30 16:23:46 772

原创 HDFS Shell 常用命令

HDFS采用主从架构(Master/Slave架构)。HDFS集群是由一个NameNode和多个 DataNode组成。HDFS提供SecondaryNameNode 辅助 NameNode。Block是HDFS文件系统中最小的存储单位,通常称之为数据块。在HDFS文件系统中存储的文件会被拆分成多个Block,每个Block作为独立的单元进行存储,同一文件的多个Block通常存放在不同的DataNode。hadoop1.x的HDFS默认块大小为64MB;

2025-06-30 11:21:07 1013

原创 一文搞懂 Docker + Nginx + MySQL + Redis + Mongo + ELK + K8s 全栈部署教程(含 GitHub Actions 自动化)

本文总结了 Docker 常用命令与容器操作方法,涵盖 Nginx、MySQL、Redis、MongoDB、Elasticsearch、Kibana 等服务的部署示例,结合 Docker Compose 实现多容器管理,并提供常见语言项目的 Dockerfile 模板与 GitHub Actions 自动构建配置,适合开发者快速上手实践。

2025-05-17 16:22:22 431

原创 WSL2安装Docker

在Windows 10/11上使用Ubuntu 22.04的WSL镜像安装Docker CE及其相关组件

2025-05-17 11:12:18 1366

原创 如何在 IntelliJ IDEA 中配置 Maven 项目并使用 Java 8

在 IntelliJ IDEA 中配置 Maven 项目并使用 Java 8 是一个相对简单的过程,下面是详细的步骤。

2024-11-13 11:14:38 3914 1

原创 自然语言处理技术及其应用概述

自然语言处理(NLP)是人工智能的一个重要分支,旨在使计算机能够理解、解释和生成自然语言。随着大数据和深度学习技术的发展,NLP在各种应用场景中显示出了巨大的潜力。

2024-09-10 08:00:00 630

原创 大数据技能考核1-1

修改ip -> vi /etc/sysconfig/network-scripts/ifcfg-ens33 (记得修改vm虚拟机vm8网络以及windows设置修改网段一致)计算圆周率 hadoop jar hadoop-mapreduce-examples-2.7.2.jar pi 5 5。解压文件 tar -zxf jdk-8u131-linux-x64.tar.gz /export/server。重命名 mv jdk1.8.0_131 JDK1.8。查看主机名 hostname。

2024-09-09 20:23:52 327 1

原创 基于Flask的电商平台

电商网站 可能采取layui2 flask bootstrap3 vue3 jquery 等

2024-05-29 09:59:02 1401

原创 Flask基本使用

flask基本使用 入门

2024-04-24 00:02:20 418

原创 如何使用Jinja2和Flask创建动态Web应用:完整指南

如何使用Jinja2和Flask创建动态Web应用:完整指南

2024-04-23 23:20:23 961

原创 Git 的基本概念和使用方式

在软件开发和版本控制中,Git 是一种非常强大和流行的工具。它是一个分布式版本控制系统,由 Linus Torvalds 于 2005 年创建。Git 的设计目标是速度、数据完整性和支持大型项目的分布式开发。

2024-04-20 20:04:37 455

原创 基于百度api接口的识别银行卡号

OCR文字识别 基于百度api的银行卡号识别

2024-04-20 10:44:39 385

原创 hadoop 3 完全分布式+历史服务器

hadoop 3 完全分布式+历史服务器

2024-04-20 10:00:00 1987 1

原创 论机器学习中的 K-均值聚类算法及其优缺点

机器学习中的 K-均值聚类算法及其优缺点

2024-04-20 08:00:00 1271

原创 centos常用操作&命令

centos常用操作&命令

2024-04-19 21:53:44 299 1

原创 Hadoop3单机安装部署

Hadoop单节点的安装部署

2024-04-19 09:14:43 1734 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除