Redamancy_06-CSDN博客

原创大数据项目之电商数仓、数据仓库概念、项目需求及架构设计

比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：备份、清洗、聚合、统计等。（2）CDH：国内使用最多的版本，但CM不开源，今年开始收费，一个节点1万美金/年。2、框架版本如何选型（Apache、CDH、HDP）

2022-10-22 08:00:00 6218 86

原创 Linux常用命令（下）find 查找文件或者目录、locate 快速定位文件路径、grep 过滤查找及“|”管道符、压缩和解压类、gzip/gunzip 压缩、zip/unzip 压缩、tar 打包

du 查看文件和目录占用的磁盘空间，df 查看磁盘空间使用情况，lsblk 查看设备挂载情况，fdisk 分区，添加一块新的硬盘，mkfs 创建文件系统，mount/umount 挂载/卸载，挂载光盘镜像文件，设置开机自动挂载，ps 查看当前系统进程状态，kill 终止进程，pstree 查看进程树，top 实时监控系统进程状态，netstat 显示网络状态和端口占用信息，crontab 系统定时任务.........

2022-07-07 19:58:05 9460 2

原创 Linux常用命令（中）、时间日期类、date 显示当前时间、ntpdate命令、cal 查看日历、useradd 添加新用户、passwd 设置用户密码、id 查看用户是否存在

cat /etc/passwd 查看创建了哪些用户、su 切换用户、userdel 删除用户、who 查看登录用户信息、sudo 设置普通用户具有 root 权限、usermod 修改用户、用户组管理命令、 groupadd 新增组、groupdel 删除组、groupmod 修改组、cat /etc/group 查看创建了哪些组、文件属性、rwx 作用文件和目录的不同解释、chmod 改变权限、chown 改变所有者、chgrp 改变所属组............

2022-06-18 17:48:02 1432

原创 Linux常用命令(上)帮助命令man、pwd 显示当前工作目录的绝对路径、cd 切换目录、mkdir创建一个新的目录、rmdir 删除一个空的目录、touch 创建空文件、cp 复制文件或目录

Shell 可以看作是一个命令解释器，为我们提供了交互式的文本控制台界面。我们可以通过终端控制台来输入命令，由 shell 进行解释并最终交给内核执行。本章就将分类rm 删除文件或目录、mv 移动文件与目录或重命名、cat 查看文件内容、more 文件内容分屏查看器、less 分屏显示文件内容、echo、head 显示文件头部内容、tail 输出文件尾部内容、> 输出重定向和 >> 追加、ln 软链接、history 查看已经执行过历史命令.........

2022-06-16 21:05:46 1934

原创在启动Broker的时候报Invalid maximum direct memory size: -XX:MaxDirectMemorySize=15g一运行RocketMQ工具测试消息收发就导致jp

还需要修改修改runbroker.sh脚本。然后改一下runserver.sh中的。然后改一下runserver.sh中的。换成linux中自带的java8。

2024-06-23 17:48:48 403

原创 OceanBase产品家族及基础概念

• 支持多种类型数据源：支持包括 Oracle、MySQL、DB2、OceanBase 等数据库到OceanBase 的全量迁移和增量实时数据同步• 兼容性评估和改造：异构数据迁移 OceanBase 的对象兼容性评估和改写建议，极大降低业务迁移的门槛和业务改造的难度• 一站式交互：数据迁移全生命周期管理，数据迁移的创建、配置和监控都在管控界面上连贯操作完成，交互简便• 多重数据校验：提供多种方式校验的保护，更加全面、省时、高效地保证数据质量；同时展示差异数据，提供快速订正途径。

2023-01-10 22:36:40 2418

原创牛客SQL每日一题之SQL136 每类试卷得分前3名

解释：有作答得分记录的试卷tag有SQL和算法，SQL试卷用户1001、1002、1003、1004有作答得分，最高得分分别为81、81、89、85，最低得分分别为78、81、86、40，因此先按最高得分排名再按最低得分排名取前三为1003、1004、1002。找到每类试卷得分的前3名，如果两人最大分数相同，选择最小分数大者，如果还相同，选择uid大者。

2022-12-18 08:00:00 612 2

原创 SQL笔记（二）SQL语法、字符匹配

原因是姓名列的类型是char(20)，当姓名少于20个汉字时，系统在存储这些数据时自动在后边补空格，空格作为一个字符，也参加LIKE的比较。例4.查询学生表表中名字的第2个字为“小”或“大”的学生的姓名和学号。例6.从学生表表中查询学号的最后一位不是2、3、5的学生信息。例3.查询学生表中姓‘张’、姓‘李’和姓‘刘’的学生的情况。例1．查询学生表中姓‘张’的学生的详细信息。例2．查询姓“张”且名字是3个字的学生姓名。例5.查询学生表中所有不姓“刘”的学生。列名 [NOT ] LIKE。

2022-12-17 08:00:00 1121 1

原创 LeetCode每日一题之删除排序数组中的重复项

元素的相对顺序应该保持一致，所以遍历结束后，将new[ ]中的元素，重新赋值给nums[ ]，那么nums[ ]的前k个元素就是原数据的全部非重复项。遍历结束之后，从 nums[0] 到nums[slow−1] 的每个元素都不相同且包含原数组中的每个不同的元素，因此新的长度即为 slow，，返回slow。当数组 nums[ ] 的长度大于 0 时，数组中至少包含一个元素，又因为nums[ ]是有序的，所以新数组new[0]=nums[0]。如果所有断言都通过，那么您的题解将被通过。

2022-12-15 22:02:36 251 1

原创分布式数据库与集中式数据库的差异

• 互联网业务增长，带动核心系统升级• 核心系统引入数据库分布式与云化改造，支撑横向平滑扩展• 5G规模推广，带动IT系统升级• 5G具备大带宽和超低延时等能力，需要数据库系统提升响应速度和并发能力• 打造智慧政府• 实现智慧政府为目标的“互联网+”业务构建，对于数据库的性能和扩展提出了更高的要求。

2022-12-13 23:06:04 4554 1

原创 DataX使用、同步HDFS数据到MySQL案例、DataX优化

当提升DataX Job内Channel并发数时，内存的占用会显著增加，因为DataX作为数据交换通道，在内存中会缓存较多的数据。例如Channel中会有一个Buffer，作为临时的数据交换的缓冲区，而在部分Reader和Writer的中，也会存在一些Buffer，为了防止OOM等错误，需调大JVM的堆内存。insert into，如果没有主键，插入两条相同的数据则会保存两条，如果没有主键，插入两条相同的数据则会报错。没有万能的，看具体业务场景，mysql数据为主就用第三个，采集数据为主就用第二个。

2022-12-10 08:00:00 1939 4

原创 DataX使用、同步MySQL数据到HDFS案例

emps;DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。

2022-12-02 22:38:42 3603 2

原创大数据项目之电商数仓DataX、DataX简介、DataX支持的数据源、DataX架构原理、DataX部署

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX设计理念、DataX框架设计、DataX运行流程、DataX调度决策思路、DataX与Sqoop对比、下载DataX安装包并上传到hadoop102的/opt/software、解压datax.tar.gz到/opt/module、自检，执行如下命令

2022-11-26 09:59:16 2127 2

原创大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本

按照规划，该Flume需将Kafka中topic_log的数据发往HDFS。并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。此处选择KafkaSource、FileChannel、HDFSSink。

2022-11-23 15:40:17 1976 5

原创解决cannot import name ‘soft_unicode‘ from ‘markupsafe‘和‘EntryPoints‘ object has no attriibute ‘get‘

如果将markupsafe改为2.0.1之后还是会报如下错误。将markupsafe依赖的版本回退到 2.0.1。ImportError: cannot import name 'soft_unicode' from 'markupsafe' (/opt/module/miniconda3/envs/superset/lib/python3.7/site-packages/markupsafe/__init__.py)AttributeError: 'EntryPoints' object has no a

2022-11-17 15:11:11 2679 7

原创大数据项目之电商数仓、Maxwell使用、 Maxwell启停脚本、增量数据同步、历史数据全量同步、采集通道Maxwell配置、通道测试

但有时只有增量数据是不够的，我们可能需要使用到MySQL数据库中从历史至今的一个完整的数据集。这就需要我们在进行增量同步之前，先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。1）第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。2）一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。

2022-11-10 11:18:21 1933 21

原创大数据项目之电商数仓、业务数据通道、Maxwell简介、Maxwell原理、MySQL主从复制读写分离、Maxwell部署

Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。MySQL二进制日志、MySQL主从复制、读写分离、做数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。主从复制的工作原理如下、主从复制的应用场景如下

2022-11-05 08:00:00 1191 22

原创大数据项目之电商数仓、业务数据介绍、业务数据模拟、生成业务数据、业务数据建模

注意：完成后，要记得右键，刷新一下对象浏览器，就可以看见数据库中的表了。大数据项目之电商数仓、业务数据介绍、业务数据模拟、生成业务数据、业务数据建模、建表语句、按住shift键，用鼠标点击表，进行多选，可实现批量移动、按住ctrl键，用鼠标圈选表，也可进行多选，实现批量移动、并在该目录下执行，如下命令，生成2020-06-14日期数据、根据需求修改application.properties相关配置、在hadoop102的/opt/module/目录下创建db_log文件夹、建立表关系、第一步：点击选中主

2022-11-04 08:00:00 1333 9

原创大数据项目之电商数仓、业务数据介绍、MySQL安装、更改MySQL密码策略

注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。配置只要是root用户 + 密码，在任何主机上都能登录MySQL数据库。设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）、更改MySQL密码策略、设置简单好记的密码、修改user表，把Host表内容修改为%、安装MySQL依赖、卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）、将安装包和JDBC驱动上传到/opt/software，共

2022-11-03 08:00:00 559 12

原创大数据项目之电商数仓、业务数据介绍、电商系统表结构

以下为本电商数仓系统涉及到的业务数据表结构关系。这34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心，延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU商品表等，用户表提供用户的详细信息，支付流水表提供该订单的支付详情，订单详情表提供订单的商品数量等情况，商品表给订单详情表提供商品的详细信息。本次讲解以此34个表为例，实际项目中，业务数据库中表格远远不止这些。

2022-11-02 08:00:00 2220 4

原创大数据项目之电商数仓、电商业务简介、电商业务流程、电商常识、业务数据介绍、电商业务表、后台管理系统

电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录，登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。

2022-11-01 08:00:00 859 8

原创大数据项目之电商数仓、日志采集Flume测试、日志采集Flume启停脚本

将进程号为67857的kill了，但是我们还有一个问题，这样写如果有多个Application的进程，多个Flume的job，也都会同时一起杀死，我们不想这样做，因此可以进行改进，可以根据文件名，一台机器上一个Flume的配置只会启动一次，不会启动多次。但是要是往脚本里面写的话得在awk '{print $2}‘里面多加一个反斜杠，因为最外层有$1了，如果在写$2会和外层冲突，所以加一个’'比较好awk ‘{print $2}’这样就可以查出来想要的进程了，然后把进程号给提取出来，这里使用awk，

2022-10-31 08:00:00 629 4

原创大数据项目之电商数仓、日志采集Flume配置概述、日志采集Flume配置实操

按照规划，需要采集的用户行为日志文件分布在hadoop102，hadoop103两台日志服务器，故需要在hadoop102，hadoop103两台节点配置日志采集Flume。日志采集Flume需要采集日志文件内容，并对日志格式（JSON）进行校验，然后将校验通过的日志发送到Kafka。此处可选择TaildirSource和KafkaChannel，并配置日志校验拦截器。

2022-10-30 08:00:00 1365 17

原创大数据项目之电商数仓、日志采集Flume、source、channel、 sink、Kafka的三个架构

由taildir source读取数据，发送给kafka channel，因为是kafka channel，因此将数据存储到kafka的topic里面，hdfs sink从kafka channel里面读数据，发现是kafka channel，则从kafka当中要读的数据读出来，发送给hdfs sink。hdfs sink从kafka channel里面读数据，发现是kafka channel，则从kafka当中要读的数据读出来，发送给hdfs sink。kafka source ：下面有详细的说明。

2022-10-29 08:00:00 1894 22

原创大数据项目之电商数仓、Flume安装（完整版）

（1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下。把这行注释的代码取消注释，memory Channel消耗的内存比较大，因此需要调大内存，将-Xmx参数调大。（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下。（4）将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3。（3）修改apache-flume-1.9.0-bin的名称为flume-1.9.0。

2022-10-28 08:00:00 370 3

原创大数据项目之电商数仓、Kafka安装（完整版）、Kafka命令行操作

注意：停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。（1）在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置。（1）先启动Zookeeper集群，然后启动Kafka。（2）把主题中所有的数据都读取出来（包括历史数据）–topic 定义topic名。

2022-10-27 08:00:00 714 11

原创大数据项目之电商数仓、Zookeeper安装（完整版）

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。C是这个服务器Follower与集群中的Leader服务器交换信息的端口；A是一个数字，表示这个是第几号服务器；B是这个服务器的地址；

2022-10-26 08:00:00 1085 25

原创大数据项目之电商数仓、用户行为数据采集模块、集群所有进程查看脚本、Hadoop安装、数据通道、环境准备、Web端查看SecondaryNameNode、项目经验之集群数据均衡和Hadoop参数调优

HDFS参数调优hdfs-site.xml、YARN参数调优yarn-site.xml、磁盘间数据均衡其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。不要分发，要一个一个的进行配置，因为hadoop102是6G内存，103是4G，104是4G，分发的话会导致利用率不匹配。

2022-10-25 08:00:00 532 39

原创大数据项目之电商数仓、用户行为日志、服务器和JDK准备、模拟数据

这里滚动的方式是以文件的形式进行滚动的，而这个文件滚动的日期是和服务器的时间是相关的，而模拟的数据是2020年的数据，所以这里的日期会不匹配，在生产情况下是没有问题的，因为当天的数据当天就处理了，所以日期基本上是没有问题的。②/dev/null代表Linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。标准输出1：输出到屏幕（即控制台） /proc/self/fd/1。错误输出2：输出到屏幕（即控制台） /proc/self/fd/2。可以根据需求生成对应日期的用户行为日志。

2022-10-24 08:00:00 1465 7

原创大数据项目之电商数仓、用户行为日志

代码埋点（前端/后端）、可视化埋点、全埋点、页面浏览记录、动作记录、曝光记录、启动记录和错误记录、页面日志，启动日志、曝光记录，记录的是曝光行为，该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息及曝光对象信息等、动作记录，记录的是用户的业务操作行为，该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息及动作目标对象信息等、页面浏览记录，记录的是访客对页面的浏览行为，该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息

2022-10-23 08:00:00 1100 5

原创 Hadoop中的Yarn的Tool接口案例、Yarn 案例实操（四）

注意此时提交的3个参数，第一个用于生成特定的Tool，第二个和第三个为输入输出目录。注：以上操作全部做完过后，快照回去或者手动将配置文件修改成之前的状态，因为本身资源就不够，分成了这么多，不方便以后测试。自己写的程序也可以动态修改参数。编写Yarn的Tool接口。期望可以动态传参，结果报错，误认为是第一个输入参数。改名为YarnDemo，然后进行上传到Linux上。点击reload from Disk进行刷新。将jar包拖拽到XShell里面。添加依赖后记得刷新一下。

2022-10-18 08:00:00 1081 28

原创 Hadoop中的公平调度器案例、Yarn 案例实操（三）

创建两个队列，分别是test和summer（以用户所属组命名）。期望实现以下效果：若用户提交任务时指定队列，则任务提交到指定队列运行；若未指定队列，test用户提交的任务到root.group.test队列运行，summer提交的任务到root.group.summer队列运行（注：group为用户所属组）。公平调度器的配置涉及到两个文件，一个是yarn-site.xml，另一个是公平调度器队列分配文件fair-scheduler.xml（文件名可自定义）。

2022-10-17 08:00:00 356 17

原创 Hadoop中的容量调度器多队列提交案例、Yarn 案例实操（二）

容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。由于我是下载到本地，通过notepad++进行修改的，所以需要上传到linux上，先将linux上的capacity-scheduler.xml删除，然后进行拖拽。需求1：default队列占总内存的40%，最大资源容量占总资源60%，hive队列占总内存的60%，最大资源容量占总资源80%。业务部门1（重要）=》业务部门2（比较重要）=》下单（一般）=》购物车（一般）=》登录注册（次要）11.11 6.18。

2022-10-16 08:00:00 312 13

原创 Hadoop中的Yarn 生产环境核心参数配置案例、Yarn 案例实操（一）

因为在java8只使用java堆里面的内存，而centos7.0以上使用linux系统为java进程预留的5G，实际使用的内存还不超过4g，所以会造成大量的浪费，因此要关闭虚拟内存。然后进行分发一下，如果集群的配置不同，假如hadoop102是i7，hadoop103是i3，则尽量不使用分发，而是一个一个的机器进行配置。服务器3台，每台配置2G内存，2核CPU，4线程。注：调整下列参数之前尽量拍摄Linux快照，否则后续的案例，还需要重写准备集群。这个脚本是之前写的，想看详细的看我之前写的。

2022-10-15 08:00:00 1346 24

原创 Vi和Vim编辑器

在一般模式中可以进行删除、复制、粘贴等的动作，但是却无法编辑文件内容的！通常在Linux中，按下这些按键时，在画面的左下方会出现『INSERT或 REPLACE』的字样，此时才可以进行编辑。在这个模式中，你可以使用『上下左右』按键来移动光标，你可以使用『删除字符』或『删除整行』来处理档案内容，也可以使用『复制、粘贴』来处理你的文件数据。在这个模式当中，可以提供你『搜寻资料』的动作，而读取、存盘、大量取代字符、离开 vi 、显示行号等动作是在此模式中达成的！A:在光标所在你行的行尾开始插入。

2022-10-14 08:00:00 476 14

原创 HadoopYarn常用命令、yarn application查看任务、yarn logs查看日志、yarn applicationattempt查看尝试运行的任务、查看容器、Yarn生产环境核心参数

yarn queue查看队列、yarn rmadmin更新配置、yarn node查看节点状态、yarn container查看容器、列出所有Application、根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）、Kill掉Application、查询Application日志、查询Container日

2022-10-13 08:00:00 8262 27

原创 Hadoop中Yarn资源调度器、Yarn工作机制、作业提交全过程、Yarn调度器和调度算法、先进先出调度器（FIFO）、容量调度器（Capacity Scheduler）、公平调度器（Fair Sc

HDFS、YARN、MapReduce三者关系、作业提交过程值YARN、作业提交过程之HDFS & MapReduce、公平调度器（Fair Scheduler）、容器调度器特点、容量调度器资源分配算法、公平调度器特点、公平调度器----缺额、公平调度器队列资源分配方式、FIFO策略、Fair策略、DRF策略、公平调度器资源分配算法、公平调度器资源分配方法、作业提交全过程详解（1）作业提交第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第2步：C

2022-10-12 08:00:00 707 11

原创 Hadoop数据压缩、MR支持的压缩编码、压缩方式选择、压缩位置选择、压缩实操案例、Map输出端采用压缩、Reduce输出端采用压缩、Gzip压缩、Bzip2压缩、Lzo压缩、Snappy压缩

压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。（1）运算密集型的Job，少用压缩（2）IO密集型的Job，多用压缩、压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片、压缩可以在MapReduce作用的任意阶段启用、为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器、Snappy是和centos7.5和hadoop3.0结合使用，他是支持压缩的，如果在本地idea里面，他没有这个运行环境，他这个Snappy是不支持的、即使你的Ma

2022-10-11 08:00:00 857 11

原创 Hadoop中的MapReduce框架原理、数据清洗（ETL）、MapReduce开发总结、常见错误及解决方案

输入数据接口：InputFormat、逻辑处理接口：Mapper、Partitioner分区、Comparable排序、Combiner合并、逻辑处理接口：Reducer、输出数据接口：OutputFormat（1）默认使用的实现类是：TextInputFormat（2）TextInputFormat的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，行内容作为value返回。（3）CombineTextInputFormat可以把多个小文件合并成一个切片处理，提高处理效率。用户根据业务需求实现

2022-10-10 08:00:00 1262 14

原创 Hadoop中的MapReduce框架原理、Join应用、Reduce Join、案例实操、Map Join、采用DistributedCache、案例实操

Map端的主要工作：为来自不同表或文件的key、value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出、Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经打标志）分开，最后进行合并就ok了、Map Join适用于一张表十分小、一张表很大的场景、在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据

2022-10-09 08:00:00 713 17

java版的学生管理系统

空空如也