hadoop---刘飞

最新推荐文章于 2024-08-04 17:50:02 发布
最新推荐文章于 2024-08-04 17:50:02 发布
阅读量1.3k 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58099007/article/details/124531118
版权

hadoop:启动时的进程
    hdfs:分布式文件系统
        namenode:管理
        datanode:存储数据
        secondarynamenode:备用namenode
    yarn:资源调度
        resourcemanager:管理
        nodemanger:处理任务
要写的代码：
    java操作hdfs：
        1.获取分布式文件系统fs=FileSystem.get( )
        2.fs.mkdir( )操作文件系统
    
    MapReduce:自己要写的业务代码，处理数据，运行在yarn上

扣字小能手
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hbase------刘飞
零点
05-08 658
CREATE DATABASE IF NOT EXISTS info DEFAULT CHARSET utf8; USE info; # CREATE TABLE IF NOT EXISTS stu(NO INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(20) ); #插入数据 INSERT INTO stu(NAME)VALUES("张三"),("李四"),("王五"),("六留"),("七七"),("八八"); #创建科目表 CREATE TABLE IF NO
配置Hadoop-2.4.0的HA+Federation+Yarn详细记录
刘飞强丶Conan
12-28 1157
配置Hadoop-2.4.0的HA+Federation+Yarn详细记录
不解压查看gz文件
qq_43077857的博客
06-13 2236
不解压查看gz文件
十年了，Hadoop的前世今生
刘飞强丶Conan
11-18 9910
Hadoop的前世今生
Hive-0.14.0与mysql配置
刘飞强丶Conan
12-21 713
hive配置与mysql连接
hadoop集群配置Ganglia监控
刘飞强丶Conan
01-05 656
根据网友的介绍，简单配置了一个集群，用作记录 我的集群 hadoop1            192.168.1.151              gmetad 和 gmond hadoop2            192.168.1.152              gmond hadoop3            192.168.1.153              gmond ha
Hadoop脚本解析大全
刘飞强丶Conan
05-08 389
${HADOOP_CONF_DIR:-$HADOOP_PREFIX/$DEFAULT_CONF_DIR}
Hadoop默认端口查询
刘飞强丶Conan
05-07 1715
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明
Hadoop操作错误记录
刘飞强丶Conan
12-20 542
1.在手动执行bin/hdfs secondarynamenode -checkpoint force手动执行checkpoint检查时出现错误 14/12/20 15:17:43 INFO common.Storage: Cannot lock storage /usr/local/hadoop/dfs/checkpoint. The directory is already locked
【九】Hadoop3.3.4HA高可用配置
qq_31412425的博客
08-04 521
在 Hadoop 生态系统中，NameNode 是文件系统的中心管理器，负责管理 HDFS 的元数据。与此同时，它还会创建新的检查点（checkpoint），以减少系统重启时的恢复时间。QJM 是管理 JournalNode 的组件，确保在集群中至少一半以上的 JournalNode 写入成功后，操作才被认为是持久化成功的。当前高可用在以下三台节点组成的hadoop3.3.4集群中进行配置，当前已经完成了集群安装，hdfs的验证，并且。基于高可用的配置，主要用于配置 Hadoop 的核心设置，这里重点是。
Hadoop搭建集群
m0_70405779的博客
08-04 831
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
000009 - Hadoop序列化
张--小涛涛
08-04 493
1）什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。2）为什么要序列化一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。3）为什么不用 Java 的序列化。
【八】Zookeeper3.7.1集成Hadoop3.3.4集群安装
qq_31412425的博客
08-04 514
它提供了一种简单的接口来访问存储在其文件系统中的数据，同时为复杂的分布式系统提供了高可用性和一致性保障。ZooKeeper 使用的 ZAB 协议（ZooKeeper Atomic Broadcast）是一种基于投票的协议，确保了事务的顺序一致性和数据的复制。ZooKeeper 常用于分布式系统中的服务注册和发现、分布式锁、配置管理、分布式消息队列等。总之，ZooKeeper 通过提供可靠的分布式协调机制和数据一致性保障，为分布式系统的构建和管理提供了强有力的支持。2 . 在每个节点的数据目录中创建。
使用MATLAB实现数值分析课程的算法
08-04
【项目资源】：包含前端、后端、移动开发、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源，毕业设计等各种技术项目的源码。包括C++、Java、python、web、C#、EDA等项目的源码。 【适用人群】：适用于希望学习不同技术领域的初学者或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】：项目具有较高的学习借鉴价值，也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。
基于python+卷积神经网络实现的轴承故障诊断算法+源码+文档（毕业设计&课程设计&项目开发）
08-04
基于python+卷积神经网络实现的轴承故障诊断算法+源码+文档，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用，详情见md文档~ 基于python+卷积神经网络实现的轴承故障诊断算法+源码+文档，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用，详情见md文档~ 项目简介： main为wdcnn卷积神经网络主文件，运行它就可以得出结果 preprocess为预处理文件，主要实现制作数据集的功能 日志文件保存在logs里面，通过启动tensorboard查看 wdcnn.png为卷积神经网络的结构图像
无声和平地铁公益v9.zip
08-04
无声和平地铁公益v9.zip
树芽读书.rar
08-04
小程序的设计源码通常包含多个文件和文件夹，组织结构清晰，以便开发者能够快速上手并进行定制化开发。主要文件和文件夹包括： 页面文件夹：存放小程序的各个页面，每个页面通常由.wxml、.wxss、.js和.json文件组成。WXML文件负责页面的结构，类似于HTML；WXSS文件负责样式，类似于CSS；JS文件负责页面的逻辑和交互；JSON文件用于页面的配置，如导航栏标题等。 组件文件夹：存放可复用的UI组件。组件与页面类似，也由.wxml、.wxss、.js和.json文件组成。通过组件化设计，可以提高代码的复用性和维护性，减少重复工作。 静态资源文件夹：存放图片、音频、视频等静态资源，便于在小程序中引用。这些资源通常放在一个名为assets或static的文件夹中。 配置文件：小程序的根目录下通常有一个app.json文件，用于全局配置，如页面路径、导航栏样式、底部Tab栏等。此外，还有app.wxss和app.js文件，分别用于全局样式和全局逻辑。 工具文件夹：存放一些工具函数和库文件，便于在小程序中调用。这些文件通常放在一个名为utils的文件夹中。
WPF 圆形进度条的设计与实现
最新发布
08-04
WPF 圆形进度条的设计与实现
hadoop-wireshark
01-27
hadoop-wireshark是一个用于解析Hadoop通信协议的工具。它可以帮助用户分析Hadoop集群中的数据流通信。根据提供的引用内容，有两个版本的hadoop-wireshark可供使用。 引用提到的hadoop-wireshark V0.8支持解析HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值