hadoop hdfs 单机模式安装

搭建Hadoop单机环境及Java操作HDFS
最新推荐文章于 2025-09-12 13:20:46 发布
原创 最新推荐文章于 2025-09-12 13:20:46 发布 · 2.5k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #java

本文未配置 yarn和mapredule,只是单纯的hdfs

1. 需要先安装jdk

2. 配置java环境变量

  编辑文件

vim /etc/profile

  在文件的最后添加java环境变量 （输入大写G可以调到文件末尾）

#java
export JAVA_HOME=/usr/local/java/java-se-8u41-ri
export PATH=$PATH:$JAVA_HOME/bin

3. 下载hadoop; 官方下载地址：https://hadoop.apache.org/releases.html

百度云下载hadoop3.1.3：https://pan.baidu.com/s/1IB1tEsMhlMxfU9Y8vqzHiQ?pwd=wjya

  历史版本下载，点击如下

 我选择3.1.3版本 （因为3.13版本有window客户端编译的winutils）

 点击下载

 4. 上传软件到服务器并解压

       解压软件

tar -zxvf hadoop-3.1.3.tar.gz

在解压目录创建一个data目录

mkdir data

 

5. 配置hadoop的环境变量

vim /etc/profile
#hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

我的配置截图（配置了jdk和hadoop的环境变量）

 

 6. hadoop 结构介绍

配置文件介绍（位于hadoop目录/ect/hadoop） 

7. hadoop-env.sh 环境配置

vim hadoop-env.sh

在文件末尾添加 

export JAVA_HOME=/usr/local/java/java-se-8u41-ri
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

JAVA_HOME 写你自己jdk的路径 

我的配置截图：

8. core-site.xml 核心配置

vim core-site.xml

配置在configuration中 

  <!-- namenode 访问配置  --> 
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop1:8020</value>
  </property>
  <!--hadoop 数据存放目录-->
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop/data</value>
  </property>
  <!--web访问UI 的用户为root-->
  <property>
     <name>hadoop.http.staticuser.user</name>
     <value>root</value>
  </property>

fs.defaultFS：代表 namenode 节点使用hdfs 存储格式；在hadoop1机器上，端口号为：8020

                        hadoop1为在hosts配置的本机别名                    

vim /etc/hosts

   配置 ：<本机内网ip> <域名> <别名>       

 hadoop.tmp.dir：数据存放路径 （手动创建改目录）

 hadoop.http.staticuser.user：浏览器访问的web页面，用户为root;防止出现目录权限问题

我的配置截图：

 

9. hdfs-site.xml 配置 （本此为单机模式、这个文件使用默认配置，未进行任何操作，以下的配置为分布式时）

<!-- namenode web端访问地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop1:9870</value>
</property>
<!-- namenode 辅助节点 secondary web端访问地址 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop2:9868</value>
</property>

dfs.namenode.http-address： 配置namenode的web端访问地址；namenode在hadoop1

                                                 机器上，这个就是浏览器访问的地址

dfs.namenode.secondary.http-address:：配置namenode的辅助节点在hadoop2机器上；为完全分布式准备

在完全分布式中，namenode、secondarynamenode、resourcemanager 部署在不同的机器上

我的配置截图：

 

10. 配置ssh ,以后完全分布式系统要配置和ssh通信 ，我部署的单机，因为想使用start-dfs.sh脚本启动项目，所有ssh也配置了 

  生成密钥

ssh-keygen

 复制公钥到机器上

ssh-copy-id hadoop1

11 . 格式化文件系统(只可操作一次，初始化文件系统)

hdfs namenode -format

12. 启动命令

start-dfs.sh

 使用 jps 命令查看是否启动成功

  停止命令：

stop-dfs.sh

13. 浏览器里访问页面： ip:9870 (要关闭防火墙或者开放端口)

14.  点击进去查看活动节点相关信息 

 

15. 进入操作文件系统的页面

 文件系统界面可以查询，新建目录，上传文件

 

 上图显示的lwk1993 为服务器的别名：要在本地hosts配置这个别名，不然下载或者使用java api操作会连接不到;

修改window的hosts文件（java api的项目放到linux ，也需要配置hosts） 

 

 

 16. JAVA 操作文件系统

        hadoop需要先安装客户端，在windows 配置相关环境变量

        hadoop客户端需要winutils等，所有在github上下载别人编译好的软件

        hadoop3.1.3 window包：https://github.com/s911415/apache-hadoop-3.1.3-winutils

        hadoop3.1.3 window包百度云地址：

                https://pan.baidu.com/s/1OXeXGTab_qmD7oUIFzWv8g?pwd=71q0

        hadoop window包其他版本链接： （或者github 搜索 winutils）

                        https://github.com/steveloughran/winutils

                        https://github.com/wangyidong1923/hadoop

        只需要bin目录就行

 配置环境变量

新建系统变量

 path配置

 

 17. idea 创建项目

        java 项目demo示例：https://gitee.com/xiaokd/hdfs-api

        maven依赖：版本要一致

<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-client</artifactId>
	<version>3.1.3</version>
</dependency>

 java代码：

package com.example.hdfsapi.util;

import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import javax.servlet.ServletOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

/**
 * @description
 * @anthor lwk
 * @date 2022/7/15 16:53
 */
@Slf4j
public class HdfsClient {
    private static Configuration conf;
    private static FileSystem fs;

    static {
        //设置操作用户root
        System.setProperty("HADOOP_USER_NAME", "root");
        conf = new Configuration();
        //设置namenode
        conf.set("fs.defaultFS", "hdfs://120.48.18.130:8020");
        //设置datanode使用域名
        conf.set("dfs.client.use.datanode.hostname", "true");
    }

    /**
     * 创建目录
     */
    public static void createPath(String path) throws IOException {
        try {
             fs = FileSystem.get(conf);
            fs.mkdirs(new Path(path));
        }catch (IOException e){
            log.info("hdfs创建目录失败");
        }finally {
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 删除目录或文件
     * @param path
     * @param recursive 目录下为空时， 此值会杯忽略；当目录不为空时，传true会递归删除目录下所有内容；传false,不做任何操作
     */
    public static void deletePath(String path, boolean recursive) throws IOException {
        try {
            fs = FileSystem.get(conf);
            fs.delete(new Path(path), true);
        }catch (IOException e){
            log.info("hdfs删除目录失败");
        }finally {
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 创建文件
     * @param path
     */
    public static void createFile(String path) throws IOException {
        try {
            fs = FileSystem.get(conf);
            fs.create(new Path(path));
        }catch (IOException e){
            log.info("hdfs删除目录失败");
        }finally {
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 检查目录或文件是否存在
     */
    public static void exists(String path) throws IOException {
        try {
            fs = FileSystem.get(conf);
            fs.exists(new Path(path));
        }catch (IOException e){
            log.info("hdfs检查文件是否存在失败");
        }finally {
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 上传本地文件
     * @param srcPath 原文件路径
     * @param dstPath 上传hdfs的路径
     */
    public static void uploadLocalFile(String srcPath, String dstPath) throws IOException {
        try {
            fs = FileSystem.get(conf);
            fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath));
        }catch (IOException e){
            log.info("hdfs上传本地文件失败失败");
        }finally {
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 下载文件到本地
     * @param srcPath hdfs的文件路径
     * @param dstPath 下载到本地的路径
     */
    public static void downloadLocalFile(String srcPath, String dstPath) throws IOException {
        try {
            fs = FileSystem.get(conf);
            fs.copyToLocalFile(new Path(srcPath), new Path(dstPath));
        }catch (IOException e){
            log.info("hdfs上传本地文件失败失败");
        }finally {
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 上传文件
     */
    public static void uploadFile(String path, InputStream inputStream) throws IOException {
        FSDataOutputStream outputStream = null;
        try {
            fs = FileSystem.get(conf);
            //获取输出流
            outputStream = fs.create(new Path(path));
            //复制流
            IOUtils.copyBytes(inputStream, outputStream, conf);
        }catch (IOException e){
            log.info("上传文件失败");
        }finally {
            IOUtils.closeStream(inputStream);
            IOUtils.closeStream(outputStream);
            if(fs != null){
                fs.close();
            }
        }
    }

    /**
     * 下载文件
     */
    public static void downFile(String path, OutputStream outputStream) throws IOException {
        FSDataInputStream inputStream = null;
        try {
            fs = FileSystem.get(conf);
            //获取输入流
            inputStream = fs.open(new Path(path));
            //复制流
            IOUtils.copyBytes(inputStream, outputStream, conf);
        }catch (IOException e){
            log.info("上传文件失败");
        }finally {
            IOUtils.closeStream(inputStream);
            IOUtils.closeStream(outputStream);
            if(fs != null){
                fs.close();
            }
        }
    }


}

雪山黑猫
关注
使用机器学习进行NSFW内容检测
DkVhdl的博客
09-19 2003
NSFW（Not Safe for Work）内容检测是一项关键的任务，旨在识别和过滤出不适宜在工作场所或公共环境中展示的内容，例如色情、暴力或其他违反社区准则的图像或视频。通过收集和准备数据、选择适当的模型、进行数据预处理、训练和评估模型，最终可以得到一个准确性较高的NSFW内容检测器。通过收集和准备数据、选择适当的模型、进行数据预处理、训练和评估模型，最终可以得到一个准确性较高的NSFW内容检测器。使用测试数据集来计算模型的准确率、精确率、召回率等指标，以评估模型在NSFW内容检测任务上的表现。
AI作画工具 stable-diffusion-webui 本地部署 多种模型 可生成NSFW
weixin_41259045的博客
03-14 1万+
AI作画最近非常火热啊，本文是在使用N卡的电脑上，本地部署stable-diffusion-webui前端+替换默认的模型，实现生成高质量的二次元图像，并且可以不受限制的生成图片。
NSFW、工作不安全 (Not Safe for Work)
qq_15821487的博客
08-02 1万+
nsfw什么颜色 Casimior PT/Shutterstock 卡西米PT /快门 NSFW is an odd, versatile internet acronym that’s found its way into internet articles and social media posts. But what does NSFW mean, where’d it come from, and how do you use it? Do...
Node.js文件监控库nsfw实战解析
最新发布
weixin_35749786的博客
09-12 1205
在现代前端开发中，实时响应文件变化是提升开发效率的关键。nsfw库通过监听文件系统事件来实现这一点，其背后依赖的是操作系统提供的原生文件监控接口。本章深入剖析了nsfw库的底层文件监控机制，从操作系统级别到Node.js层面的实现方式，再到nsfw的高性能优势进行了全面分析。同时，详细介绍了nsfw支持的事件类型、事件触发频率控制策略以及多事件绑定与解耦设计。
模型是如何训练出来的
热门推荐
实践求真知
04-15 1万+
一 模型里的内容和意义一个标准的模型结构分为输入、中间节点、输出三大部分，而如何让这三部分连通起来学习规则并可进行计算，则是框架TensorFlow所做的事情。TensorFlow将中间节点及节点间的运算关系（OPS）定义在自己内部的一个“图”上，全通过一个“会话（session）”进行图中OPS的具体运算。可以这样理解：“图”是静态的，无论做任何加、减、乘、除，它们只是将关系搭建在一起，不会有任...
nsfw模型的搭建（复现实操）
Kirito_UGO的博客
03-15 5303
nsfw tf2
图片风控NSFW(not suit for work)-1 tensorflow2模型重构
weixin_42529756的博客
10-09 7647
tensorflow2 ResNet50 nsfw 图片风控 not suit for work
tensowflow 训练 远程提交_tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优...
weixin_32753181的博客
01-12 827
日萌社人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)4.11 综合案例：模型导出与部署学习目标目标掌握TensorFlow模型的导出(saved_model格式)掌握Tensorflow模型的部署掌握TensorFlow模型的客户端调用掌握TensorFlow模型的超参数调优使用应用无4.11.1 TensorFl...
关于如何在k8s中搭建一个nsfw黄图鉴定模型
小王同学的博客
11-25 1105
上述Dockerfile为一个base的dockerfile，由于我们的项目是流水线自动化部署，每次代码更新都会制作一个最新的镜像，但是上述这种下载依赖的重复逻辑不想每次制作镜像的时候都重复执行，所以先制作一个只下载环境的base镜像，将制作好的镜像传到镜像仓库，假设我的镜像是 wf.com/base/huggingface:2.0。下面手把手教你如何将huggingface中的黄图检测模型部署到自己的服务器上去。上述代码就是启动一个80端口，接收一个url参数，将url对应的图片识别是否涉黄。
精选资源
model_trans_模型轉換_h52onnx_源码
10-04
标题提到的"model_trans_模型轉換_h52onnx_源码"涉及到的是将基于Keras的H5模型转换为ONNX（Open Neural Network Exchange）格式的过程。这种转换对于模型的跨平台部署和优化至关重要。下面将详细阐述这一过程及其...
nsfw-model-conda环境
03-29
部署该模型（https://github.com/GantMan/nsfw_model）的conda虚拟环境配置文件。 tf24；python 3.8；
nsfw_model：NSFW检测器的Keras模型
02-04
NSFW检测机器学习模型 接受60多种数据训练，以识别： drawings -安全用于工程图（包括动画） hentai -无尽的和色情的图画 neutral -适用于工作中性图像 porn -色情图片，性行为 sexy -色情图片，而不是色情图片 该模型为动力- 当前状态： 基于Inception V3，具有以下混淆矩阵的93％精度。 查看_art文件夹以了解此模型的先前版本。 要求： keras（测试版本> 2.0.0）tensorflow> = 2.1.0 用法 用于库的编程使用。 from nsfw_detector import predict model = pred
tensorflow-open_nsfw：Yahoo的Open NSFW模型的Tensorflow实现
02-06
Yahoo的开放NSFW模型的Tensorflow实现 该存储库包含以tensorflow重写的的实现。 原始重量已使用提取 。 您可以在data/open_nsfw-weights.npy找到它们。 先决条件 所有代码均应与Python 3.6和Tensorflow 1.x （经1.12测试）兼容。 该模型的实现可以在model.py找到。 用法 > python classify_nsfw.py -m data/open_nsfw-weights.npy test.jpg Results for 'test.jpg' SFW score: 0.9355766177177429 NSF
基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测.zip
04-04
基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测 项目背景： 随着互联网的快速发展，网络上的信息量呈现出爆炸式的增长。然而，互联网上的内容良莠不齐，其中不乏一些不良信息，如色情、暴力等。这些信息对青少年的健康成长和社会风气产生了不良影响。为了净化网络环境，保护青少年免受不良信息的侵害，我国政府加大了对网络内容的监管力度。在此背景下，本项目应运而生，旨在实现对网络图片和视频的自动识别与过滤，助力构建清朗的网络空间。 项目简介： 本项目基于 NSFW（Not Safe For Work）Model，利用深度学习技术对色情图片进行识别与鉴黄。NSFW Model 是一种基于卷积神经网络（CNN）的图像识别模型，通过学习大量的色情图片和非色情图片，能够准确地判断一张图片是否含有色情内容。本项目在 NSFW Model 的基础上，进一步优化了模型结构，提高了识别的准确率和效率。 项目功能： 色情图片识别：用户上传图片后，系统会自动调用 NSFW Model 对图片进行识别，判断图片是否含有色情内容。如果含有色情内容，系统会给出相应的提示，并阻止图片的传播。 视频检测：针对网络视频，本项目采用帧提取技术，将视频分解为一帧帧图片，然后使用 NSFW Model 对这些图片进行识别。如果检测到含有色情内容的图片，系统会给出相应的提示，并阻止视频的传播。 实时监控：本项目可应用于网络直播、短视频平台等场景，实时监控画面内容，一旦检测到含有色情内容的画面，立即进行屏蔽处理，确保网络环境的纯洁。
python-nsfw:使用Caffe和Yahoo的open_nsfw模型分析图像的Python包
05-18
python-nsfw 使用和模型分析图像的Python软件包。 先决条件 python-nsfw需要Python 3并在与Caffe兼容的系统上运行。 咖啡 如果您使用的是macOS和 ，那么安装的最简单方法是使用Homebrew： brew install caffe 或者，您可以使用 Linux映像（例如 ）并安装必要的依赖项： apt update && apt install caffe-cpu python3 python3-pip wget 安装 python-nsfw可以使用安装： pip3 install nsfw 用法 import PIL . Image as Image from nsfw import classify image = Image . open ( "/path/to/image.jpg" ) sfw , nsfw = classif
【亲测免费】 推荐项目：NSFW模型 —— 智能图像分类的高效工具
gitblog_01194的博客
08-24 2652
在数字化时代，内容管理变得日益重要，特别是在过滤不适合工作环境的内容方面。今天，我们来深入探讨一个强大的开源解决方案——**NSFW Model**，一个专门用于识别和分类不适宜工作的图像（Not Suitable for Work）的强大工具。 ## 项目介绍 **NSFW Model** 是一款高效且易于部署的图像分类器，能够准确地将图像归类为“性感”、“动漫画风”、“一般”、“色情”或“...
探索NSFW模型：智能内容筛选的新篇章
gitblog_00046的博客
04-25 2394
探索NSFW模型：智能内容筛选的新篇章 nsfw_model Keras model of NSFW detector 项目地址: https://gitcode.com/gh_mirrors/ns/nsfw_model ...
python NSFW Model 图片识别鉴黄 后面更新视频检测
freedom_fd的博客
06-17 4602
基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测
图片风控NSFW(not suit for work)-2 基于tf2模型微调
weixin_42529756的博客
12-13 1338
使用tensorflow2 对yahoo开源NSFW模型微调
本地部署nsfw
05-13
### 如何在本地部署 NSFW 模型或服务 要在本地环境中成功部署 NSFW（不适宜工作场合内容）检测模型或服务，以下是详细的说明： #### 准备环境 为了确保能够顺利运行模型和服务，需要安装必要的依赖项。这些工具和库包括但不限于以下几类： - **Python 环境**: 推荐使用 Python 3.7 或更高版本。 - **Transformers 库**: 提供加载预训练模型的功能[^1]。 - **PyTorch/TensorFlow**: 支持深度学习框架的计算需求。 - **Pillow (PIL)**: 处理图像文件并将其转换为适合输入模型的形式。 具体命令如下所示： ```bash pip install transformers torch Pillow ``` #### 加载模型与测试 通过 Hugging Face 的 `transformers` 工具包可以直接访问已有的 NSFW 图片分类模型。例如，可以采用名为 `"Falconsai/nsfw_image_detection"` 的公开模型来完成此任务[^1]。 下面是一个简单的代码片段展示如何加载该模型并对单张图片执行预测操作： ```python from PIL import Image from transformers import pipeline def classify_nsfw(image_path): # 打开指定路径下的图片文件 img = Image.open(image_path) # 初始化 image-classification 流水线对象，并指明使用的特定模型名称 classifier = pipeline("image-classification", model="Falconsai/nsfw_image_detection") # 对传入的图片调用流水线方法得到其类别标签及其置信度分数列表形式的结果 result = classifier(img) return result if __name__ == "__main__": test_img_path = "<your_test_image>" output_results = classify_nsfw(test_img_path) print(output_results) ``` 注意替换 `<your_test_image>` 成实际存在的图片绝对或者相对地址字符串值之前再尝试运行以上脚本。 #### 构建 RESTful API 服务 如果希望进一步扩展功能至 Web 应用程序层面，则可考虑利用 Flask/Django 这样的轻量级 web 开发框架构建起支持 HTTP 请求交互的服务端接口。这里给出基于 FastAPI 实现的一个简单例子作为示范用途: ```python import uvicorn from fastapi import FastAPI, File, UploadFile from PIL import Image from io import BytesIO from typing import List from pydantic import BaseModel app = FastAPI() class Prediction(BaseModel): label: str score: float @app.post("/predict/", response_model=List[Prediction]) async def predict(file: UploadFile = File(...)): try: contents = await file.read() pil_image = Image.open(BytesIO(contents)) clf_pipeline = pipeline('image-classification', model='Falconsai/nsfw_image_detection') predictions = clf_pipeline(pil_image) formatted_preds = [{"label": pred['label'], "score": round(pred['score'], 4)} for pred in predictions] return formatted_preds except Exception as e: raise ValueError(f"Error processing uploaded file {e}") if __name__ == '__main__': uvicorn.run(app, host='0.0.0.0', port=8000) ``` 启动服务器之后即可向 `/predict/` 路径发送 POST 请求附带上传待分析的目标图片获取返回结果了。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值