<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Redamancy06的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/Redamancy06</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; Redamancy06]]></copyright><item><title><![CDATA[在启动Broker的时候报Invalid maximum direct memory size: -XX:MaxDirectMemorySize=15g一运行RocketMQ工具测试消息收发就导致jp]]></title><link>https://blog.csdn.net/Redamancy06/article/details/139903531</link><guid>https://blog.csdn.net/Redamancy06/article/details/139903531</guid><author>Redamancy06</author><pubDate>Sun, 23 Jun 2024 17:48:48 +0800</pubDate><description><![CDATA[还需要修改修改runbroker.sh脚本。然后改一下runserver.sh中的。然后改一下runserver.sh中的。换成linux中自带的java8。]]></description><category></category></item><item><title><![CDATA[OceanBase产品家族及基础概念]]></title><link>https://blog.csdn.net/Redamancy06/article/details/128043984</link><guid>https://blog.csdn.net/Redamancy06/article/details/128043984</guid><author>Redamancy06</author><pubDate>Tue, 10 Jan 2023 22:36:40 +0800</pubDate><description><![CDATA[• 支持多种类型数据源：支持包括 Oracle、MySQL、DB2、OceanBase 等数据库到OceanBase 的全量迁移和增量实时数据同步• 兼容性评估和改造：异构数据迁移 OceanBase 的对象兼容性评估和改写建议，极大降低业务迁移的门槛和业务改造的难度• 一站式交互：数据迁移全生命周期管理，数据迁移的创建、配置和监控都在管控界面上连贯操作完成，交互简便• 多重数据校验：提供多种方式校验的保护，更加全面、省时、高效地保证数据质量；同时展示差异数据，提供快速订正途径。]]></description><category></category></item><item><title><![CDATA[牛客SQL每日一题之SQL136 每类试卷得分前3名]]></title><link>https://blog.csdn.net/Redamancy06/article/details/128336285</link><guid>https://blog.csdn.net/Redamancy06/article/details/128336285</guid><author>Redamancy06</author><pubDate>Sun, 18 Dec 2022 08:00:00 +0800</pubDate><description><![CDATA[解释：有作答得分记录的试卷tag有SQL和算法，SQL试卷用户1001、1002、1003、1004有作答得分，最高得分分别为81、81、89、85，最低得分分别为78、81、86、40，因此先按最高得分排名再按最低得分排名取前三为1003、1004、1002。找到每类试卷得分的前3名，如果两人最大分数相同，选择最小分数大者，如果还相同，选择uid大者。]]></description><category></category></item><item><title><![CDATA[SQL笔记（二）SQL语法、字符匹配]]></title><link>https://blog.csdn.net/Redamancy06/article/details/126686366</link><guid>https://blog.csdn.net/Redamancy06/article/details/126686366</guid><author>Redamancy06</author><pubDate>Sat, 17 Dec 2022 08:00:00 +0800</pubDate><description><![CDATA[原因是姓名列的类型是char(20)，当姓名少于20个汉字时，系统在存储这些数据时自动在后边补空格，空格作为一个字符，也参加LIKE的比较。例4.查询学生表表中名字的第2个字为“小”或“大”的学生的姓名和学号。例6.从学生表表中查询学号的最后一位不是2、3、5的学生信息。例3.查询学生表中姓‘张’、姓‘李’和姓‘刘’的学生的情况。例1．查询学生表中姓‘张’的学生的详细信息。例2．查询姓“张”且名字是3个字的学生姓名。例5.查询学生表中所有不姓“刘”的学生。列名 [NOT ] LIKE。]]></description><category></category></item><item><title><![CDATA[LeetCode每日一题之删除排序数组中的重复项]]></title><link>https://blog.csdn.net/Redamancy06/article/details/128309280</link><guid>https://blog.csdn.net/Redamancy06/article/details/128309280</guid><author>Redamancy06</author><pubDate>Thu, 15 Dec 2022 22:02:36 +0800</pubDate><description><![CDATA[元素的 相对顺序 应该保持 一致 ，所以遍历结束后，将new[ ]中的元素，重新赋值给nums[ ]， 那么nums[ ]的前k个元素就是原数据的全部非重复项。遍历结束之后，从 nums[0] 到nums[slow−1] 的每个元素都不相同且包含原数组中的每个不同的元素，因此新的长度即为 slow，，返回slow。当数组 nums[ ] 的长度大于 0 时，数组中至少包含一个元素，又因为nums[ ]是有序的，所以新数组new[0]=nums[0]。如果所有断言都通过，那么您的题解将被 通过。]]></description><category></category></item><item><title><![CDATA[分布式数据库与集中式数据库的差异]]></title><link>https://blog.csdn.net/Redamancy06/article/details/128025698</link><guid>https://blog.csdn.net/Redamancy06/article/details/128025698</guid><author>Redamancy06</author><pubDate>Tue, 13 Dec 2022 23:06:04 +0800</pubDate><description><![CDATA[• 互联网业务增长，带动核心系统升级• 核心系统引入数据库分布式与云化改造，支撑横向平滑扩展• 5G规模推广，带动IT系统升级• 5G具备大带宽和超低延时等能力，需要数据库系统提升响应速度和并发能力• 打造智慧政府• 实现智慧政府为目标的“互联网+”业务构建，对于数据库的性能和扩展提出了更高的要求。]]></description><category></category></item><item><title><![CDATA[DataX使用、同步HDFS数据到MySQL案例、DataX优化]]></title><link>https://blog.csdn.net/Redamancy06/article/details/128048258</link><guid>https://blog.csdn.net/Redamancy06/article/details/128048258</guid><author>Redamancy06</author><pubDate>Sat, 10 Dec 2022 08:00:00 +0800</pubDate><description><![CDATA[当提升DataX Job内Channel并发数时，内存的占用会显著增加，因为DataX作为数据交换通道，在内存中会缓存较多的数据。例如Channel中会有一个Buffer，作为临时的数据交换的缓冲区，而在部分Reader和Writer的中，也会存在一些Buffer，为了防止OOM等错误，需调大JVM的堆内存。insert into，如果没有主键，插入两条相同的数据则会保存两条，如果没有主键，插入两条相同的数据则会报错。没有万能的，看具体业务场景，mysql数据为主就用第三个，采集数据为主就用第二个。]]></description><category></category></item><item><title><![CDATA[DataX使用、同步MySQL数据到HDFS案例]]></title><link>https://blog.csdn.net/Redamancy06/article/details/128048240</link><guid>https://blog.csdn.net/Redamancy06/article/details/128048240</guid><author>Redamancy06</author><pubDate>Fri, 02 Dec 2022 22:38:42 +0800</pubDate><description><![CDATA[emps;DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓DataX、DataX简介、DataX支持的数据源、DataX架构原理、DataX部署]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127597577</link><guid>https://blog.csdn.net/Redamancy06/article/details/127597577</guid><author>Redamancy06</author><pubDate>Sat, 26 Nov 2022 09:59:16 +0800</pubDate><description><![CDATA[DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX设计理念、DataX框架设计、DataX运行流程、DataX调度决策思路、DataX与Sqoop对比、下载DataX安装包并上传到hadoop102的/opt/software、解压datax.tar.gz到/opt/module、自检，执行如下命令]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127590967</link><guid>https://blog.csdn.net/Redamancy06/article/details/127590967</guid><author>Redamancy06</author><pubDate>Wed, 23 Nov 2022 15:40:17 +0800</pubDate><description><![CDATA[按照规划，该Flume需将Kafka中topic_log的数据发往HDFS。并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。此处选择KafkaSource、FileChannel、HDFSSink。]]></description><category></category></item><item><title><![CDATA[解决cannot import name ‘soft_unicode‘ from ‘markupsafe‘和‘EntryPoints‘ object has no attriibute ‘get‘]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127904127</link><guid>https://blog.csdn.net/Redamancy06/article/details/127904127</guid><author>Redamancy06</author><pubDate>Thu, 17 Nov 2022 15:11:11 +0800</pubDate><description><![CDATA[如果将markupsafe改为2.0.1之后还是会报如下错误。将markupsafe依赖的版本回退到 2.0.1。ImportError: cannot import name 'soft_unicode' from 'markupsafe' (/opt/module/miniconda3/envs/superset/lib/python3.7/site-packages/markupsafe/__init__.py)AttributeError: 'EntryPoints' object has no a]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、Maxwell使用、 Maxwell启停脚本、增量数据同步、历史数据全量同步、采集通道Maxwell配置、通道测试]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127596350</link><guid>https://blog.csdn.net/Redamancy06/article/details/127596350</guid><author>Redamancy06</author><pubDate>Thu, 10 Nov 2022 11:18:21 +0800</pubDate><description><![CDATA[但有时只有增量数据是不够的，我们可能需要使用到MySQL数据库中从历史至今的一个完整的数据集。这就需要我们在进行增量同步之前，先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。1）第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。2）一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、业务数据通道、Maxwell简介、Maxwell原理、MySQL主从复制读写分离、Maxwell部署]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127553092</link><guid>https://blog.csdn.net/Redamancy06/article/details/127553092</guid><author>Redamancy06</author><pubDate>Sat, 05 Nov 2022 08:00:00 +0800</pubDate><description><![CDATA[Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。MySQL二进制日志、MySQL主从复制、读写分离、做数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。主从复制的工作原理如下、主从复制的应用场景如下]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、业务数据介绍、业务数据模拟、生成业务数据、业务数据建模]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127553066</link><guid>https://blog.csdn.net/Redamancy06/article/details/127553066</guid><author>Redamancy06</author><pubDate>Fri, 04 Nov 2022 08:00:00 +0800</pubDate><description><![CDATA[注意：完成后，要记得右键，刷新一下对象浏览器，就可以看见数据库中的表了。大数据项目之电商数仓、业务数据介绍、业务数据模拟、生成业务数据、业务数据建模、建表语句、按住shift键，用鼠标点击表，进行多选，可实现批量移动、按住ctrl键，用鼠标圈选表，也可进行多选，实现批量移动、并在该目录下执行，如下命令，生成2020-06-14日期数据、根据需求修改application.properties相关配置、在hadoop102的/opt/module/目录下创建db_log文件夹、建立表关系、 第一步：点击选中主]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、业务数据介绍、MySQL安装、更改MySQL密码策略]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127553013</link><guid>https://blog.csdn.net/Redamancy06/article/details/127553013</guid><author>Redamancy06</author><pubDate>Thu, 03 Nov 2022 08:00:00 +0800</pubDate><description><![CDATA[注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。配置只要是root用户 + 密码，在任何主机上都能登录MySQL数据库。设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）、更改MySQL密码策略、设置简单好记的密码、 修改user表，把Host表内容修改为%、安装MySQL依赖、卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）、将安装包和JDBC驱动上传到/opt/software，共]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、业务数据介绍、电商系统表结构]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127552949</link><guid>https://blog.csdn.net/Redamancy06/article/details/127552949</guid><author>Redamancy06</author><pubDate>Wed, 02 Nov 2022 08:00:00 +0800</pubDate><description><![CDATA[以下为本电商数仓系统涉及到的业务数据表结构关系。这34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心，延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU商品表等，用户表提供用户的详细信息，支付流水表提供该订单的支付详情，订单详情表提供订单的商品数量等情况，商品表给订单详情表提供商品的详细信息。本次讲解以此34个表为例，实际项目中，业务数据库中表格远远不止这些。]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、电商业务简介、电商业务流程、电商常识、业务数据介绍、电商业务表、后台管理系统]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127540670</link><guid>https://blog.csdn.net/Redamancy06/article/details/127540670</guid><author>Redamancy06</author><pubDate>Tue, 01 Nov 2022 08:00:00 +0800</pubDate><description><![CDATA[电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录，登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、日志采集Flume测试、日志采集Flume启停脚本]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127522551</link><guid>https://blog.csdn.net/Redamancy06/article/details/127522551</guid><author>Redamancy06</author><pubDate>Mon, 31 Oct 2022 08:00:00 +0800</pubDate><description><![CDATA[将进程号为67857的kill了，但是我们还有一个问题，这样写如果有多个Application的进程，多个Flume的job，也都会同时一起杀死，我们不想这样做，因此可以进行改进，可以根据文件名，一台机器上一个Flume的配置只会启动一次，不会启动多次。但是要是往脚本里面写的话得在awk '{print $2}‘里面多加一个反斜杠，因为最外层有$1了，如果在写$2会和外层冲突，所以加一个’'比较好awk ‘{print $2}’这样就可以查出来想要的进程了，然后把进程号给提取出来，这里使用awk，]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、日志采集Flume配置概述、日志采集Flume配置实操]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127509712</link><guid>https://blog.csdn.net/Redamancy06/article/details/127509712</guid><author>Redamancy06</author><pubDate>Sun, 30 Oct 2022 08:00:00 +0800</pubDate><description><![CDATA[按照规划，需要采集的用户行为日志文件分布在hadoop102，hadoop103两台日志服务器，故需要在hadoop102，hadoop103两台节点配置日志采集Flume。日志采集Flume需要采集日志文件内容，并对日志格式（JSON）进行校验，然后将校验通过的日志发送到Kafka。此处可选择TaildirSource和KafkaChannel，并配置日志校验拦截器。]]></description><category></category></item><item><title><![CDATA[大数据项目之电商数仓、日志采集Flume、source、channel、 sink、Kafka的三个架构]]></title><link>https://blog.csdn.net/Redamancy06/article/details/127503664</link><guid>https://blog.csdn.net/Redamancy06/article/details/127503664</guid><author>Redamancy06</author><pubDate>Sat, 29 Oct 2022 08:00:00 +0800</pubDate><description><![CDATA[由taildir source读取数据，发送给kafka channel，因为是kafka channel，因此将数据存储到kafka的topic里面，hdfs sink从kafka channel里面读数据，发现是kafka channel，则从kafka当中要读的数据读出来，发送给hdfs sink。hdfs sink从kafka channel里面读数据，发现是kafka channel，则从kafka当中要读的数据读出来，发送给hdfs sink。kafka source  ：下面有详细的说明。]]></description><category></category></item></channel></rss>