2024年大数据最全【Node(2)，2024年最新2年以上经验必看

最新推荐文章于 2024-09-19 15:53:35 发布
最新推荐文章于 2024-09-19 15:53:35 发布
阅读量401 收藏 5
点赞数 3
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166896/article/details/138814665
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

在这里插入图片描述

4、开发过程

./bin/www.js 文件

  • 项目执行的文件
  • 引入 http 模块
  • 创建服务，传入文件（易开发和维护）
  • 监听端口
// 引入 http 内置模块
const http = require('http')

// 端口
const PORT = 8000 
// 引入 app.js
const serverHandle = require('../app')
// 创建服务
const server = http.createServer(serverHandle)
// 监听端口
server.listen(PORT)

…/src/app.js 文件

  • 参数处理
  • 响应头
  • 格式化
  • 处理博客和用户的相关路由
// 便于处理 url 
const querystring = require('node:querystring')
// 博客相关路由
const handleBlogRouter = require('./src/router/blog')
// 用户登录相关路由
const handleUserRouter = require('./src/router/user')

// 用于处理 POST 请求的数据
const getPostData = (req) => {
    // 创建 promise 实例
    const promise = new Promise((resolve, reject) => {
        // 不是 post 请求 直接返回
        if (req.method !== 'POST') {
            resolve({})
            return
        }
        // 请求头不是 application/json 格式 直接返回
        if (req.headers['content-type'] !== 'application/json') {
            resolve({})
            return
        }
        // 初始化 postData
        let postData = ''
        // 每次发送的数据 记录在 postData 中
        req.on('data', chunk => {
            postData += chunk.toString()
        })
        // 数据发送完成 转义 JSON 为对象
        req.on('end', () => {
            if (!postData) {
                resolve({})
                return
            }
            resolve(
                JSON.parse(postData)
            )
        })
    })
    // 返回实例对象
    return promise
}

// 处理服务
const serverHandle = (req, res) => {
    // 设置响应头的格式 JSON
    res.setHeader('Content-type', 'application/json')

    // 获取请求地址 path
    const url = req.url
    // 截取前半部分的地址 ? 前面的部分
    req.path = url.split('?')[0] // 获取 ? 的前半部分

    // 截取后半部分的地址 ? 后面的部分 也是要查询的地址
    req.query = querystring.parse(url.split('?')[1])

    // 处理 post data
    getPostData(req).then(postData => {
        // 解析 POST 请求中的数据
        req.body = postData

        // 处理 blog 路由
        const blogData = handleBlogRouter(req, res)
        // 请求成功 格式化 blogData 并结束
        if (blogData) {
            res.end(
                JSON.stringify(blogData)
            )
            return
        }

        // 处理 user 路由
        const userData = handleUserRouter(req, res)
        // 请求成功 格式化 userData 并结束
        if (userData) {
            res.end(
                JSON.stringify(userData)
            )
            return
        }

        // 未命中路由，返回 404
        res.writeHead(404, {
            "Content-type": "text/plain"
        })
        // 在浏览器显示的内容
        res.write("404 Not Found\n")
        // 结束服务端和客户端的连接
        res.end()
    })

}
// 模块化 把 serverHandle 暴露出去
module.exports = serverHandle

…/src/model/resModel.js 文件

  • 基础模型（对象类型和字符串类型）
  • 成功的模型（继承）
  • 失败的模型（继承）
// 基础模型
class BaseModel {
    // data 是对象类型 message 是字符串类型
    constructor(data, message) {
        if (typeof data === 'string') {
            this.message = data
            data = null
            message = null
        }
        if (data) {
            this.data = data
        }
        if (message) {
            this.message = message
        }
    }
}
// 成功模型 errno 赋值 0
class SuccessModel extends BaseModel {
    constructor(data, message) {
        // 继承父类
        super(data, message)
        // 成功的值 0
        this.errno = 0
    }
}
// 失败模型 errno 赋值 -1
class ErrorModel extends BaseModel {
    constructor(data, message) {
        // 继承父类
        super(data, message)
        // 失败的值 -1
        this.errno = -1
    }
}

// 导出共享
module.exports = {
    SuccessModel,
    ErrorModel
}

…/src/router/blog.js 文件

  • 博客相关路由接口
  • 调用相关函数
  • 返回实例
// 导入博客和用户控制器相关内容
const { getList, getDetail, newBlog, updateBlog, delBlog } = require('../controller/blog') 
// 导入成功和失败的模型
const { SuccessModel, ErrorModel } = require('../model/resModel')

// blog 路由
const handleBlogRouter = (req, res) => {
    const method = req.method // GET/POST
    const id = req.query.id // 获取 id

    // 获取博客列表 GET 请求·
    if (method === 'GET' && req.path === '/api/blog/list') {
        // 博客的作者 req.query 用在 GET 请求中
        const author = req.query.author || ''
        // 博客的关键字
        const keyword = req.query.keyword || ''
        // 执行函数 获取博客列表数据
        const listData = getList(author, keyword)

        // 创建并返回成功模型的实例对象
        return new SuccessModel(listData)
    }

    // 获取博客详情 GET 请求
    if (method === 'GET' && req.path === '/api/blog/detail') {
        // 获取博客详情数据
        const data = getDetail(id)
        // 创建并返回成功模型的实例对象
        return new SuccessModel(data)
    }

    // 新建一篇博客 POST 请求
    if (method === 'POST' && req.path === '/api/blog/new') {
        // req.body 用于获取请求中的数据（用在 POST 请求中）
        const data = newBlog(req.body)
        // 创建并返回成功模型的实例对象
        return new SuccessModel(data)
    }

    // 更新一篇博客
    if (method === 'POST' && req.path === '/api/blog/update') {
        // 传递两个参数 id 和 req.body
        const result = updateBlog(id, req.body)
        if (result) {
            return new SuccessModel()
        } else {
            return new ErrorModel('更新博客失败')
        }
    }

    // 删除一篇博客
    if (method === 'POST' && req.path === '/api/blog/delete') {
        const result = delBlog(id)
        if (result) {
            return new SuccessModel()
        } else {
            return new ErrorModel('删除博客失败')
        }
    }
}

// 导出
module.exports = handleBlogRouter

…/src/router/user.js 文件

  • 博客相关路由接口
  • 调用相关函数
  • 返回实例
// 导入用户登录内容
const { loginCheck } = require('../controller/user')
// 导入成功和失败的模板
const { SuccessModel, ErrorModel } = require('../model/resModel')

// user 路由
const handleUserRouter = (req, res) => {
    const method = req.method

    // 登录
    if (method === 'POST' && req.path === '/api/user/login') {
        const { username, password } = req.body
        // 传入两个参数 用户名 密码
        const result = loginCheck(username, password)
        if (result) {
            return new SuccessModel()
        }
        return new ErrorModel('登录失败')
    }
}

// 导出共享
module.exports = handleUserRouter

…/src/controller/blog.js 文件

  • 博客的相关数据处理
  • 返回的是假数据（后续会使用数据库）
// 获取博客列表（通过作者和关键字）
const getList = (author, keyword) => {
    // 先返回假数据（格式是正确的）
    return [{
            id: 1,
            title: '标题1',
            content: '内容1',
            createTime: 1665832332896,
            author: 'zahuopu'
        },
        {
            id: 1,
            title: '标题2',
            content: '内容2',
            createTime: 1665832418727,
            author: 'xiaoming'
        },
    ]
}

// 获取博客详情（通过 id）
const getDetail = (id) => {
    // 先返回假数据
    return {
        id: 1,
        title: '标题1',
        content: '内容1',
        createTime: 1665832332896,
        author: 'zahuopu'
    }
}

// 新建博客 newBlog 若没有，就给它一个空对象
const newBlog = (blogData = {}) => {
    // blogData 是一个博客对象 包含 title content 属性
    console.log('newBlog', blogData)
    return {
        id: 3 // 表示新建博客，插入到数据表里的 id
    }
}

// 更新博客（通过 id 更新）
const updateBlog = (id, blogData = {}) => {
    // id 就是要更新博客的 id
    // blogData 是一个博客对象 包含 title content 属性
    console.log('update blog', id, blogData)
    return true
}

// 删除博客（通过 id 删除）
const delBlog = (id) => {
    return true
}

// 导出共享
module.exports = {
    getList,
    getDetail,


![img](https://img-blog.csdnimg.cn/img_convert/244add6437908014aa2601d5a668d3ea.png)
![img](https://img-blog.csdnimg.cn/img_convert/e99783353715cb9132ad8f42a47cde49.png)
![img](https://img-blog.csdnimg.cn/img_convert/272b709a557686bb9b7137d74f351bd9.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

享
module.exports = {
    getList,
    getDetail,


[外链图片转存中...(img-xaHAFYuu-1715596805084)]
[外链图片转存中...(img-1IUPSbeo-1715596805084)]
[外链图片转存中...(img-97i7N79l-1715596805084)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84166896
关注
专栏目录
2024年大数据最全TDengine高可用分布式集群详解_tdengine 集群(2)
2401_84185224的博客
05-02 1041
TDengine 的设计是基于分布式的几个特性而设计的。TDengine 采用分布式高可用架构设计，支持水平扩容，这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。同时，通过节点虚拟化、负载均衡，它能最高效率地利用异构集群中的计算和存储降低硬件资源的投入。
2024年大数据最全大数据Hadoop生态圈
2401_84164721的博客
05-02 662
1 hdfs集群是标准的master/slave主从架构集群2 一般一个hdfs是有一个NameNode和一定数目的DataNode组成3 NameNode 是HDFS主节点，DataNode是HDFS的从节点，两种角色各司其职，共同协调完成分部署的文件存储服务4 官方架构图是一主五从模式，其中五个从角色位于两个机架（Rack）的不同服务器上。
2024年大数据最全Elasticsearch数据库_es数据库
2401_84182636的博客
05-02 844
68 discovery.zen.ping.unicast.hosts: [“192.168.5.55”, “192.168.5.56”,“192.168.5.100”] //多个服务集群ip。28 elasticsearch.hosts: [“http://192.168.5.55:9200”] //ES服务器地址。（注意前面的数字代表行号）33 path.data: /var/es/data //数据存放目录。37 path.logs: /var/es/log //日志存放目录。
2024年大数据最全全栈开发实战那些事_全站开发项目
2301_78399616的博客
05-02 1161
什么是虚拟私有云？什么是VPC？阿里云架构参考阿里云VPC下Kubernetes的网络地址段网络是怎样连接的？IPV4的数量局限性导致VPC应运而生。（私网IP=假IP）在创建VPC选择的地址段。只能从10.0.0.0/8,172.16.0.0/12,192.168.0.0/16三者当中选择一个。网段是VPC下容器的网段。
2024年大数据最全单链表知识点(2)，2024年最新大数据开发之内存泄漏调试学习与总结
2401_84164721的博客
05-05 703
void SListPushBack(SListNode** pphead, SLTDateType x)//当链表是空的时候，尾插，相当于头插，需要改变头部的地址，改变地址，需要传递头部地址的地址【形参的改变不影响实参】//尾删//要把倒数第二个值的next变成NULL，所以需要倒数第二个结构体的地址，才能改变(形参的改变，不改变实参)【每一个结构体，相当于结构体传参】//插入,在某个数字前插入//首先用find找某个数的地址，然后再在地址处插入。//头插//改变头部地址就需要传二级指针。
2024年大数据最全大数据工程师面试_大数据算法工程师面试，2024年最新大数据开发面试精讲
m0_74932057的博客
05-05 586
熟练使用相关的组件，针对各个组件在应用中的不同环节进行调优，能够充分发挥大数据的价值，不同组件有变化，java scala是常见的开发语言 hbase mapreduce storm。技术面（基本功、技术深度），业务项目面（通过不同项目考核技术的广度，以及实践能力），综合能力面（执行能力，沟通能力，协调能力）、HR面（求职意愿、稳定性，抗压性）熟悉各个组件，数据建模，数据分层模型，ETL流程，数据质量，数据安全相关知识。扎实的基本功 面试的时候要复习 数据结构，Linux，项目管理，开发流程。
2024年大数据最全【Hadoop】一、Apache Hadoop、 HDFS(1)
kenzsoft的博客
05-02 791
Hadoop集群启动Web UI页面错误1:运行hadoop3官方自带mr示例出错。Hadoop集群启停shell脚本一键启停HDFS集群YARN集群。
2024年大数据最全ElasticSearch 数据迁移工具elasticdump(2)，2024年最新小白看完都会了
2401_84159839的博客
05-13 323
这个命令会将源 Elasticsearch 实例中的 “my_index” 索引的所有数据导出，并保存到 “/path/to/output.json” 的 JSON 文件中。到这里我们看到离线包已经生成好了，接下来我们复制到我们之前已经安装好node 的机器上,执行下面的命令。其实数据备份也能达到数据迁移的目的，但是在两个环境的网络不通的时候我们只能使用数据备份。还有其他使用的细节，例如压缩，指定query 什么的，我们可以参考下面的例子。这里的使用主要分为两种，一种是数据备份，一种是数据迁移。
2024年大数据最全DirectX12（D3D12）基础教程（十七）—，2024年最新一年后斩获腾讯T3
2401_84185224的博客
05-05 941
1、必须要了解这里变换的真实含义。其实这里的变换即指线性代数意义上的变换，也指动画效果意义上的变换，最终在数学、程序、美工三者之间，达成了一种近乎完美的一致，那就是变换被定义或表达为三种基本变换的复合：缩放、旋转、位移。这三种变换无论在数学推导上，还是在程序表达上，还是在美工建模上都具有简单性、易理解性、易表达性！至于为什么是这三种基本变换，大家可以去复习下3D数学的相关基础知识即可明白，本文就不赘述了。
2024年大数据最全cocosCreator 之 crypto-es数据加密_cocos使用node-rsa(1)
2401_84182428的博客
05-02 441
项目开发中，针对于一些明文数据，比如本地存储和Http数据请求等，进行加密保护，是有必要的。对称加密使用相同的密钥来加密和解密数据，常用的有等非对称加密使用公钥加密，私钥解密，常用的有RSA、DSA等哈希函数将任意长度的数据映射为固定长度的哈希值，特点是不可逆，常用的有等消息认证码(MAC)使用密钥对消息进行加密，并附加在消息中，以确保消息的完整性和真实性 常用的有HMAC数字签名用于对数据进行签名，以验证数据的来源和完整性，常用的有RSA、DSA等有些时候为了数据的安全，也会使用base64。
2024年大数据最全【云原生 30】Docker运行大数据处理框架Spark_docker spark，2024年最新大数据开发中高级岗面试为何越来越难
2401_84592081的博客
05-05 890
如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
2024年大数据最新ES(Elasticsearch)的docker安装部署教程_docker 安装es(2)，看完直接怼项目经理
2401_84182097的博客
05-05 291
KaTeX parse error: Expected 'EOF', got '#' at position 381: …g_timeout: 10s #̲设置集群中自动发现其他节点时p…KaTeX parse error: Expected 'EOF', got '#' at position 9: {port} #̲该节点的名字。cluster.name: imes-es #集群的名称，同一个集群该值必须设置成相同的。
2024年大数据高频面试题(下篇）
热门推荐
program哲学
07-17 1万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
2024年大数据最新0301taildir-source报错-flume-大数据(2)
2401_84181145的博客
05-02 652
数据知识点，真正体系化！#配置channel。
【Elasticsearch系列六】系统命令API
檀越的博客
09-16 1479
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 754
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
MySQL索引知识个人笔记总结（持续整理）
易琳的博客
09-18 918
在之前a>1 的时候，b=2是无序的，但是现在a>=1,这里面包含了a=1，对于符合a=1 夜间的二级索引记录的范国里，b字段的值是「有序」的(因为对于联合索引，是先按照 a字段的值排序，然后在a字段的值相同的情况下，再按照b字段的值进行排序）（联想到这个最左匹配原则去思考问题）由于树是存储在磁盘中的，访问每个节点，都对应一次磁盘 I/O 操作（假设一个节点的大小「小于」操作系统的最小读写单位块的大小），也就是说树的高度就等于每次查询数据时磁盘 IO 操作的次数，所以树的高度越高，就会影响查询性能。
阿里1688一面总结
最新发布
weixin_44804108的博客
09-19 143
发布-订阅模式，即当实验发生变更时，就发出一个变更事件，然后，每台机器感知到这个变更事件后，清空本地缓存，触发reload操作。为了避免大量请求打到DB，可以对查询请求进行加锁，保证相同的实验只有一个线程去查，然后更新到缓存中，其他的请求，走缓存查询结果。运维团队将扩缩容事件投递在kafka中，容量平台起一个线程去订阅变更事件，当有事件时，更新公共缓存中的数据。kafka单broker的消息是可以保证顺序性的，但是kafka集群的消息实际是无序的。首先，面试官进行对业务进行介绍，然后，候选人进行自我介绍。
2024最新版node.js
06-30
抱歉，关于2024年版本的Node.js，目前我还无法提供确切的信息，因为Node.js的版本更新通常会按照固定的发布计划进行，比如大约每6个月发布一次长期支持(lts)版本和每四个月发布一次短期支持(ss)版本。截至我知识的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值