![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据相关技术
文章平均质量分 74
大数据学习
左边有只汪
程序员中的小欻欻
展开
-
数据中台-DataX文件写入索引越界问题处理
DataX文件写入索引越界问题 IndexOutOfBound原创 2023-02-03 10:35:27 · 898 阅读 · 0 评论 -
大数据框架Hadoop(MapReduce)
1. MapReduce概述 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1.4 MapReduce进程 1.5 官方WordCount源码 1.6 常用数据序列化类型 1.7 MapReduce编程规范 1.8 WordCount案例实操 hello.txt如下 atguigu atguigu ss ss cls cls jiao banzhang xue hadoop 创建原创 2021-03-08 09:08:52 · 200 阅读 · 0 评论 -
大数据框架Hadoop(HDFS)
1. HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小(面试重点) 2. HDFS的Shell操作(开发重点) 2.1 命令大全 命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src>原创 2021-02-20 13:17:42 · 138 阅读 · 0 评论 -
大数据框架Hadoop入门
1. 大数据概论 1.1 大数据概念 1.2 大数据特点(4V) 1.3 大数据应用场景 1.4 大数据部门业务流程分析 1.5 大数据部门组织结构(重点) 2. 从Hadoop框架讨论大数据生态 2.1 Hadoop是什么 2.2 Hadoop发展历史 2.3 Hadoop三大发型版本 2.4 Hadoop的优势(4高) 2.5 Hadoop组成(面试重点) Hadoop1.X和Hadoop2.X的区别 2.5.1 HDFS架构概述 2.5.2 YARN原创 2021-02-07 12:09:35 · 285 阅读 · 0 评论 -
大数据Shell编程
1. Shell概述 2. Shell解析器 shell脚本一般是以.sh后缀结尾的 3. Shell脚本入门 3.1 执行方式 3.2 多命令组成 4. Shell中的变量 4.1 系统变量 4.2 自定义变量 4.3 特殊变量: $n 4.4 特殊变量: $# 4.5 特殊变量: $*、$@ 4.6 特殊变量: $? 5. 运算符 使用expr进行运算 如果要先算一个式子, 再根据这个式子来算其他式子, 需要加飘号 6. 条件判断 6.1 常用条件判断 判原创 2021-02-01 14:29:54 · 118 阅读 · 0 评论 -
SpringCloud(七)Zookeeper代替Eureka作为注册中心
服务提供者 新建cloud-provider-payment8004 POM <dependencies> <dependency> <groupId>com.atguigu.springcloud</groupId> <artifactId>cloud-api-commons</artifactId> <version>${proje原创 2020-07-29 11:35:21 · 281 阅读 · 0 评论 -
SpringCloud(六) Zookeeper基础知识
Zookeeper入门 概述 Zookeeper是一个开源的分布式的, 为分布式应用提供协调服务的Apache项目 Zookeeper = 文件系统 + 通知机制 特点 数据结构 应用场景 Zookeeper安装 本地模式安装 安装前准备 安装JDK 拷贝Zookeeper安装包到Linux系统下 解压到指定目录 配置修改 Docker 安装Zookeeper Docker安装Zookeeper 操作Zookeeper 配置参数解读 Zookeeper内部原理 选举机制(原创 2020-07-29 08:58:04 · 109 阅读 · 0 评论