![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据相关技术
文章平均质量分 74
大数据学习
左边有只汪
程序员中的小欻欻
展开
-
数据中台-DataX文件写入索引越界问题处理
DataX文件写入索引越界问题 IndexOutOfBound原创 2023-02-03 10:35:27 · 896 阅读 · 0 评论 -
大数据框架Hadoop(MapReduce)
1. MapReduce概述1.1 MapReduce定义1.2 MapReduce优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce核心思想1.4 MapReduce进程1.5 官方WordCount源码1.6 常用数据序列化类型1.7 MapReduce编程规范1.8 WordCount案例实操hello.txt如下atguigu atguiguss sscls clsjiaobanzhangxuehadoop创建原创 2021-03-08 09:08:52 · 200 阅读 · 0 评论 -
大数据框架Hadoop(HDFS)
1. HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)2. HDFS的Shell操作(开发重点)2.1 命令大全命令大全[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src>原创 2021-02-20 13:17:42 · 138 阅读 · 0 评论 -
大数据框架Hadoop入门
1. 大数据概论1.1 大数据概念1.2 大数据特点(4V)1.3 大数据应用场景1.4 大数据部门业务流程分析1.5 大数据部门组织结构(重点)2. 从Hadoop框架讨论大数据生态2.1 Hadoop是什么2.2 Hadoop发展历史2.3 Hadoop三大发型版本2.4 Hadoop的优势(4高)2.5 Hadoop组成(面试重点)Hadoop1.X和Hadoop2.X的区别2.5.1 HDFS架构概述2.5.2 YARN原创 2021-02-07 12:09:35 · 285 阅读 · 0 评论 -
大数据Shell编程
1. Shell概述2. Shell解析器shell脚本一般是以.sh后缀结尾的3. Shell脚本入门3.1 执行方式3.2 多命令组成4. Shell中的变量4.1 系统变量4.2 自定义变量4.3 特殊变量: $n4.4 特殊变量: $#4.5 特殊变量: $*、$@4.6 特殊变量: $?5. 运算符使用expr进行运算 如果要先算一个式子, 再根据这个式子来算其他式子, 需要加飘号6. 条件判断6.1 常用条件判断判原创 2021-02-01 14:29:54 · 118 阅读 · 0 评论 -
SpringCloud(七)Zookeeper代替Eureka作为注册中心
服务提供者新建cloud-provider-payment8004POM<dependencies> <dependency> <groupId>com.atguigu.springcloud</groupId> <artifactId>cloud-api-commons</artifactId> <version>${proje原创 2020-07-29 11:35:21 · 281 阅读 · 0 评论 -
SpringCloud(六) Zookeeper基础知识
Zookeeper入门概述 Zookeeper是一个开源的分布式的, 为分布式应用提供协调服务的Apache项目 Zookeeper = 文件系统 + 通知机制特点数据结构应用场景Zookeeper安装本地模式安装安装前准备安装JDK拷贝Zookeeper安装包到Linux系统下解压到指定目录配置修改Docker 安装ZookeeperDocker安装Zookeeper操作Zookeeper配置参数解读Zookeeper内部原理选举机制(原创 2020-07-29 08:58:04 · 108 阅读 · 0 评论