hadoop outline

已于 2024-03-14 20:53:22 修改
阅读量1.1k 收藏 7
点赞数
分类专栏： Hadoop 文章标签： hadoop
于 2022-07-01 00:21:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43192537/article/details/125550675
版权

目录

hadoop outline

hadoop outline

hadoop

hadoop 简介

hadoop 简介

hadoop 分布式部署

hadoop 分布式部署

hadoop 集群崩溃处理

hadoop 集群崩溃处理

hadoop 中配置历史服务 日志聚集

hadoop 中配置历史服务 日志聚集

hdfs

hdfs Shell操作

hdfs Shell操作

NameNode和SecondaryNameNode 工作机制

NameNode和SecondaryNameNode 工作机制

hdfs 读写数据流程

hdfs 读写数据流程

hdfs 小文件影响 解决方案

hdfs 小文件影响 解决方案

mr

mr-WordCount 简单测试代码

mr-WordCount 简单测试代码

mr-InputFormat OutputFormat

mr-InputFormat OutputFormat

mr-MapTask ReduceTask并行度决定机制 FileInputFormat切片源码解析

mr-MapTask ReduceTask并行度决定机制 FileInputFormat切片源码解析

mr-Job源码提交流程

mr-Job源码提交流程

hadoop 压缩

hadoop 压缩

mr 工作机制

mr 工作机制

mr-Shuffle 机制 mr-属性控制优化

mr-Shuffle 机制 mr-属性控制优化

yarn

Yarn 调度器

Yarn 调度器

Yarn 工作机制

Yarn 工作机制

yarn 参数调整

yarn 参数调整

塞上江南o
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2023.11.16 hivesql 函数之类型转换,脱敏,与加密函数
白白的wj的博客
11-15 853
cast:主要用于类型转换,如果转换失败则返回null很多时候,底层也默认做了自动转换实际应用场景:concat_ws用指定分隔符拼接到一起生成新的字符串,但拼接的内容必须是字符串类型,所以可以用cast来先进行类型转换。
Hive结合Apache Ranger进行数据脱敏
Carson073的博客
04-18 1089
Apache Hive是构建在Hadoop之上的数据仓库，支持通过SQL接口查询分析存储在Hadoop中的数据。在Hive出现之前，数据分析人员需要编写MapReduce作业分析Hadoop中的数据，这种方式繁琐低效，对数据分析人员不友好，因为数据分析人员大部分比较精通SQL，但是编程功底较浅。在这种背景下，2007年Facebook在论文。
Hive的脱敏函数
早拾碗吧的博客
05-22 280
【代码】Hive的脱敏函数。
Hive中hash函数及md5函数
weixin_43597208的博客
06-05 4649
该算法将输入数据分为若干个块，每个块都进行哈希计算，最终将所有块的哈希值合并起来得到最终的哈希值。参数2： 224, 256, 384, 512, 或 0（=256）中的一个，表示SHA-224, SHA-256, SHA-384, SHA-512。由于哈希函数的特性，相同的输入数据每次计算得到的哈希值都是相同的，因此HASH函数可以用于对数据进行快速的去重或分组。4、强抗碰撞：已知原数据和其MD5值，想找到一个具有相同MD5值的数据（即伪造数据）是非常困难的。2、容易计算：从原数据计算出MD5值很容易。
hive outline
qq_43192537的博客
07-01 854
hive outline
Hive的Udf函数进行数据脱敏
01-26
udf开发–做个简单脱敏udf保留前5位，后面全部替换成*****
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
docker配置hadoop
09-28
001
hadoop2.8.5
最新发布
07-10
hadoop2.8.5
hadoop11111111
06-28
hadoop11111111
hadoop3.3.3-winutils
07-19
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
政府数据 数据脱敏工作指南.pdf
08-30
本标准规定了政府数据的脱敏原则、脱敏方法和脱敏过程，可为数据脱敏工作的规划、实施和管理 提供指导。本标准适用于政府结构化数据的脱敏工作，包括但不限于数据脱敏的提供商、用户、评测机构和监 管机构。
Hadoop大数据平台安全问题和解决方案的综述
01-30
Hadoop大数据平台安全问题和解决方案的综述,可以从这里学习到处理问题的思路。
* hive脱敏UDF函数 *对一些敏感信息进行脱敏处理，替换位置可自定义，脱敏符号可随机也可自定义
04-28
* 脱敏UDF函数 * 功能：对一些敏感信息进行脱敏处理，替换方式可选择自定义替换，如'#','*'等,，如不指定脱敏符号，使用个随机字符替换 * 脱敏位置可自定义，不指定位置，会对数据进行全脱敏 * 例如身份证信息： 411421199508186496 * 脱敏后：411***1995****649*
sha256算法
07-30
sha256加密签名算法
大数据技术架构(组件)14——Hive：掩码函数&杂项函数
sysocc的博客
02-02 355
计算 SHA-2 系列哈希函数（SHA-224、SHA-256、SHA-384 和 SHA-512）（从 Hive 1.3.0 开始））。默认情况下，大写字母转换为“X”，小写字母转换为“x”，数字转换为“n”。例如， mask("abcd-EFGH-8765-4321", "U", "l", "#") 结果为 llll-UUUU-####-####例如， mask_show_last_n("1234-5678-8765-4321", 4) 结果为 nnnn-nnnn-nnnn-4321。
大数据平台数据脱敏介绍
weixin_33877885的博客
08-01 543
数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。百度百科对数据脱敏的定义为：指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据 的可靠保护。这样，就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。 可以看到数据脱敏具有几个关键点：敏感数据、脱敏规则、使用环境。 敏感数据，又称隐私数据，常...
数据脱敏——什么是数据脱敏
热门推荐
点滴汇聚，智在积累。——Danny
08-29 11万+
一、什么是数据脱敏？　　数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。 　　 　　百度百科对数据脱敏的定义为：指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
Hive UDF 用户自定义函数-手机号掩盖(脱敏)
swx7410852963的博客
02-14 1738
Hive 用户自定义函数-手机号掩盖(脱敏)
Apache Hadoop 实战指南
"Apache Hadoop Cookbook" 本书《Apache Hadoop Cookbook》是关于Hadoop技术的一份详细指南，提供了清晰且实用的教程。Hadoop是一个开源框架，主要用于处理和存储大量数据，是大数据处理的核心工具之一。这本书包含...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值