超级迅猛龙-CSDN博客

原创 jsvmp - 洞察先机-猿人学-18题纯算分析

网址： https://match.yuanrenxue.cn/match/18接口： https://match.yuanrenxue.cn/match/18data?------参数：page: 4------逆向参数：v接下来开始整体的流程key看着是1740405652转16进制就是：时间戳转16+时间戳转16。

2025-02-25 11:13:15 352

还有一个点就是[52,117,122,106,114,55,109,98,115,105,98,99,97,108,100,112]长度是16很有可能做了异或操作。然后我们搜索到[52,117,122,106,114,55,109,98,115,105,98,99,97,108,100,112]这个的最后一次操作。怀疑是他81,49,63,83,61,96,55,10,41,61,47,81,59,43,49,67。为什么他要push 【8,8,8,8,8,8,8,8】？

2025-02-10 14:56:55 3522 13

原创 Ambari + HDP 自动化巡检系统推出(企业级)

选择我们的 Ambari + HDP 自动化巡检告警系统，就是选择了高枕无忧的大数据运维。让复杂的 HDP 环境管理变得简单、高效、可靠，确保您的业务永不停歇，数据安全稳如泰山。无论是 HDFS 的块指标，还是其他所有 HDP 的指标项，系统都能精准巡检，时刻警惕着 HDFS 满盘等危机情况的发生保障您的数据存储安全无忧。功能可定制HDP 告警模块一应俱全可以根据自身业务的独特需求，量身定制专属的告警策略，真正实现个性化的监控与管理。

2024-11-18 13:21:42 351 2

原创大数据自动化运维工具---Yarn任务状态可视化项目

【方法】：基于之前的代码新增功能。之前的代码已经有了定时每小时发送当前状态。我们采用每个组件一个单独表（其中包含客户字段可以根据客户字段找到想要的客户 ----为之后考虑）【目的】：根据昨天的任务运行情况和今天的任务运行情况做一个可视化图方便查看任务是否积压。有想法的可以根据这个思路继续开发。这种方式入库然后用echarts 做一下两个表的可视化就可以。首先找一个echarts双折线图一个是昨天的一个是今天的。首先考虑的是yarn的表存储应该放一些什么东西？我们用到的数据库是：check。

2024-08-21 13:47:24 993

原创 python开发prometheus exporter--用于hadoop-yarn监控

yarn_vcore_seconds: 这是一个Gauge指标,用于记录应用程序使用的虚拟CPU核心数量乘以运行时间(vCore-秒)。yarn_zkRMAppRoot_code: 这个是一个Gauge指标,用于记录YARN ResourceManager应用程序根目录在ZooKeeper中的znode数量。yarn_memory_seconds: 这是一个Gauge指标,用于记录应用程序使用的内存数量乘以运行时间(内存-秒)。这个指标有一个 application 标签,用于区分不同的应用程序。

2024-07-09 11:29:48 1258

原创 python-京东商品可视化

对商品名称进行文本分析,随机抽取6个商品名称做为样本，然后去结果集中进行文本相似度计算或者词频统计，统计出卖该6个商品的商家数量，并根据售卖的商家数量绘制饼形图。商品多页采集.py —> 商品评论数.py -> 京东商品数据清理.py -> 京东商品可视化.py。对抓取数据进行清洗，把商品名称，评价数量数量，店铺名称，商品详情链接,价格信息清洗出来。清洗后京东商品.csv 数据文件。京东商品可视化.py 可视化。京东商品数据清理.py 清理。商品评论数.py 获取评论数。商品多页采集.py 采集。

2024-07-09 10:28:54 675

原创 python-淘宝商品评价可视化

{'ret': ['FAIL_SYS_USER_VALIDATE', 'RGV587_ERROR::SM::哎哟喂,被挤爆啦,请稍后重试'], 'data': {'url': 'https://h5api.m.taobao.com:443//h5/mtop.taobao.rate.detaillist.get/6.0/_____tmd_____/punish?对好评进行文本分析，提取好评关键词，并过滤掉没有意义的词，绘制出好评，差评的词云图(20 分)cookie和token。注意不然可视化有问题。

2024-07-09 10:27:24 1029 3

原创 dolphinscheduler从mysql_to_sqlserver遇到的问题

返回 String.format("%s", column);DataxUtils.java中删除处理SQL服务器模块的代码中的符号“`”。sqlserver不允许这个。解决方法就是使用自定义模版。

2024-07-09 10:12:37 515

原创离线安装OpenLDAP-FAQ

出现这情况并不是没有升级成功。而是该会话还是原来的会话。端来或者重新开启新的会话即可。# 这里还是OpenSSL 1.0.2k-fips 26 Jan 2017版本。安装openldap-2.5.9版本遇到了一个问题。也就是需要更新openssl为1.1.1。更换原本的openssl。

2024-07-09 10:09:20 269

原创 kafka集群磁盘与节点数量规划方案

一台节点传输的能力 ===> 1Gbps * 70%(阈值) = 700Mb * 1/3(实际利用) = 240Mbps (其实也就大概只剩二三十兆MB/s了)带宽也主要有两种：1Gbps 的千兆网络和 10Gbps 的万兆网络（注意是Gbps不是GBps），特别是千兆网络应该是一般公司网络的标准配置了。比如每天产生100G数据（一亿条1kB的消息）业务数据需要传输到Kafka集群，那么kafka集群需要规划多大的存储空间呢？最终磁盘的需求： 3TB + 5%的磁盘默认预留 = 考虑3.6TB的磁盘。

2024-07-09 10:07:17 562

原创 Yarn标签调度--HDP测试

某个任务需要用到gpu资源，而gpu并非在每个节点上都有，通过对节点设置标签，可以使作业任务正确调度到含gpu资源的节点上，确保作业任务正确运行。exclusive表示是否独占，具体可以理解为，当该标签分区下的节点有空闲资源时，是否可以共享给default分区的任务使用。执行上面的命令后，再来看看rm的界面，可以看到gpu的标签，有了一个活跃的节点，而DEFAULT标签中则少了一个活跃节点。完成标签的添加后，接下来就是给指定的节点关联到不同的标签上，也就是将集群的节点按标签划分成不同的节点分区。

2024-07-09 10:03:13 1094

原创大数据自动化运维-Yarn任务监控--dingding告警

并把当前失败任务数和上一个小时任务失败数做对比如果大于上一个小时任务失败数就告警出来@所有人。【目的】：定期一小时监控Yarn上的任务并且如果失败任务有新增就告警推送@所有人。【方法】：采用Yarn api方式每隔一个小时进行一次采集并把状态保留下来推送出去。dingding发送代码就不上啦大家都很熟悉啦。对比当前时间和上一次时间的任务情况。

2024-06-24 14:47:45 325

原创 Ambari_HDP用户登入参数逆向

接口：http://172.16.105.7:8080/api/v1/users/admin?我们看下loginName + ":" + controller.get('password’)的值就真相大白了。如下图我多测试了几次 Basic是不会有变化的所以我们直接搜索。登录过程：登入进去就可以。

2024-06-14 17:22:03 524

原创 ES备份数据-快照模式-并恢复---HDFS篇---推荐好用

我这边采用快照的模式进行备份数据备份源的es 版本要等于低于恢复elasticsearch集群的版本；先看下：Hadoop HDFS Repository Plugin：https://www.elastic.co/guide/en/elasticsearch/plugins/7.16/repository-hdfs.html要注意自己版本哈我的是7.16ES集群快照存在版本兼容性问题：https://www.elastic.co/guide/en/elasticsearch/referen

2024-06-03 15:51:18 1004 3

原创 ES备份数据-快照模式-并恢复---NFS篇

我这边采用快照的模式进行备份数据备份源的es 版本要等于低于恢复elasticsearch集群的版本；先看下：ES集群快照存在版本兼容性问题：https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshot-restore.html首先为快照目录建立共享我这边用的是nfs

2024-06-03 15:42:05 1353 1

原创 Hadoop---Yarn任务状态可视化项目

【方法】：基于之前的代码新增功能。之前的代码已经有了定时每小时发送当前状态。我们采用每个组件一个单独表（其中包含客户字段可以根据客户字段找到想要的客户 ----为之后考虑）【目的】：根据昨天的任务运行情况和今天的任务运行情况做一个可视化图方便查看任务是否积压。有想法的可以根据这个思路继续开发。这种方式入库然后用echarts 做一下两个表的可视化就可以。首先找一个echarts双折线图一个是昨天的一个是今天的。首先考虑的是yarn的表存储应该放一些什么东西？我们用到的数据库是：check。

2024-06-03 15:37:32 363 2

原创 StarRocks 集群安装部署文档-保姆级

StarRocks官网：https://docs.starrocks.io/zh/docs/introduction/StarRocks_intro/部署前提条件StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力。因此，在生产环境中，强烈建议您将 StarRocks 部署于 x86 架构 CPU 的服务器上。您可以在终端中运行以下命令来检查 CPU 是否支持 AVX2 指令集：说明ARM 架构不支持 SIMD 指令集，因此在某些场景下的性能不及 x86 架构。我们只推荐您在开发环境中

2024-02-01 10:43:03 6459

原创解决Hadoop root用户无法提交问题

Users/mac/Desktop/客户/源码/hadoop-3.2.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/src/main/native/container-executor/impl/开启LinuxContainerExecutor后无法用root去提交。查看报错是因为在源码中做出了限制。我们在用root提交个任务试试。

2023-07-28 13:49:21 238

原创 Linux SQL Server部署步骤超全

使用 SQL Server 名称 (-S)，用户名 (-U) 和密码 (-P) 的参数运行 sqlcmd。用户名为 SA，密码是在安装过程中为 SA 帐户提供的密码。若要创建数据库，需要使用一个能够在 SQL Server 上运行 Transact-SQL 语句的工具进行连接。rpm -ivh继续安装，根据提示执行sudo /opt/mssql/bin/mssql-conf setup。以下步骤使用 sqlcmd 本地连接到新的 SQL Server 实例。接下来创建一个新表 mgmg，然后插入两个新行。

2022-12-14 15:21:28 1944

原创 Trino配置yanagishima-23.0（包含编译）

拷贝到需要部署的位置解压后修改配置文件yanagishima-23.0/config/application.yml。如下是配置：(标红的要特别注意，关于其他Hive、Spark、ES可以删除掉的)编译好的压缩包在 build/distributions 下。修改了yanagishima-run.sh启动脚本。安装编译yanagishima需要的工具。修改编译所需要的源码（注意这个必须要做）我这边使用的是java11的启动的。yanagishima的启停。

2022-12-14 15:07:14 765

原创 Hadoop 集群中使用 S3(对象存储)文件系统

Hadoop 自带 S3 依赖，位置如下：但是这些依赖包默认不在 hadoop classpath 下面。可以使用以下两种方法引入这两个包：修改hadoop的core-site.xml文件：s3的配置模板（记得修改成自己的 secret key 与 access key ）更改完毕并重启集群后测试hdfs dfs -ls s3a://hive0614/ 等命令操作 S3 中的文件。目前HDFS Client已经可以看到S3文件了。如果需要yarn和MapReducer 需要修改如下文件hdf

2022-06-15 13:58:02 5984

原创史上最全—kafka-manager配置及安装Kerberos(Ambari-HDP)认证

史上最全—kafka-manager配置及安装Kerberos(Ambari-HDP)认证本文用的Ambari的kafka 配置kafka-manager。CDH、开源也可以步骤一样。kafka为开启kerberos认证的。kafka-manager作用：管理多个集群轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配（基于生成的分配）使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同

2022-03-28 14:42:52 5529

原创 Ambari添加快速链接Quick Links

Ambari添加快速链接Quick Links据说是2.3 版本后也就是2.4 的Ambari才支持了这种自定义的快速链接。2.4.0官方公布了quickLinks相关引入了jar。这个快速链接的架构是metainf配置文件中首先要告诉ambari-server有快速链接这个东西（quickLinks）然后ambri-server才去检测以及解析然后给ambari

2022-03-28 13:48:18 3814 1

原创 Ambari开启Kerberos后Web UI访问问题（修改配置）

之前一篇文章讲过在本地kinit 然后再去访问kerberos。有失效时间，对于要长期获取jmx等场景并不太适用。此文讲通过修改hdfs等组件配置修改webui认证方式的方式实现访问webui。修改core-site中此配置为turehadoop.http.authentication.simple.anonymous.allowed=truehadoop.http.authentication.type=simplehadoop.proxyuser.HTTP.groups=*ha

2022-03-23 13:46:44 4061

原创 Kerberos开启后Web UI无法查看问题

谷歌浏览器火狐浏览器都可以访问web ui界面了。官方链接：Configuring Authentication with Kerberos打开了Kerberos 会发现Ambari的很多Web UI都打不开了。如下图：提示要认证。那我进就去认证下。首先电脑上要安装kerberos （mac默认安装了哦）把/etc/krb.cof文件拿到本地。我这边在终端拉取的sudo scp root@hadoop01:/etc/krb5.conf /etc/下载/etc/security/

2022-03-23 11:38:59 1243 2

原创 Ambari2.7.5自定义服务集成Flink1.7.2

ambari支持自定义服务组件集成，以下介绍ambari2.7.5集成flink1.9.3版本组件。flink： https://github.com/abajwa-hw/ambari-flink-servicehttps://archive.apache.org/dist/flink/flink-1.11.1/flink-1.7.2-bin-scala_2.11.tgz首先设置一下HADOOP版本：VERSION=`hdp-select status hadoo...

2022-03-22 14:33:26 2614

原创 Ambari开启Kerberos

Ambari 相关文档地址Ambari 官方资料入口：https://www.cloudera.com/products/open-source/apache-hadoop/apache-ambari.htmlAmbari 相关 rpm 包：https://docs.cloudera.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ambari_repositories.htmlHDP 相关 rpm 包：https:/

2022-03-18 14:47:40 3052

原创【Ambari】开启HDFS 的HA架构

List item之前搭建的Ambari可以查看之前的博客接下来我们来看下HDFS 开启HA开启HDFS 的HA架构选择启动NN的HA因为之前是3节点的所以一开始安装的时候 Ambari架构选择了让安装一个NameNode和一个SecendryNameNode。点击启动NameNode HA 后跳出个界面填写集群名类似于之前第一次部署的时候那个界面。写入集群名点击下一步分配实例开始分配实例部署的节点。然后下一步然后会出现部署信息部署信息这里基本上没啥问题。检查下实..

2022-03-17 11:06:55 1983

原创超全步骤——Ambari+HDP部署

Ambari 相关文档地址Ambari 官方资料入口：https://www.cloudera.com/products/open-source/apache-hadoop/apache-ambari.htmlAmbari 相关 rpm 包：https://docs.cloudera.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ambari_repositories.htmlHDP 相关 rpm 包：https:/

2022-03-16 18:34:09 6336 5

原创 Flink的两种WordCount

流处理WordCountimport org.apache.flink.streaming.api.scala._//流处理wordcountobject StreamWordCount { def main(args: Array[String]): Unit = { //创建流处理执行环境 val env = StreamExecutionEnvironment .getExecutionEnvironment //接受一个socket文本流 v

2022-02-21 18:01:26 878

原创 Flume采集数据到HDFS

Flume采集数据到HDFS以CDH集群为例flume版本：新建配置文件：flumejob_hdfs.conf (这里我把配置文件放在了/etc/flume-ng下)# Name the components on this agent agent别名设置a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the source 设置数据源监听本地文件配置# exec 执行一个命令的方式去查看文件

2022-02-18 16:39:05 1600 5

原创 Sqoop导入mysql数据到HDFS

首先通过sqoop查看mysql数据库命令：./sqoop list-databases --connect jdbc:mysql://rm-bp10661g217i4ze99io.mysql.rds.aliyuncs.com:3306/?useSSL=false --username rds_test --password Testforuser2021然后在mysql中创建表DROP TABLE IF EXISTS mgmqtest;CREATE TABLE mgmqtest (id int

2022-02-18 16:22:54 1839 2

原创 flink采集本地文件到kafka （本地跑）

kafka地址为：172.16.104.2:9092,172.16.104.3:9092,172.16.104.4:9092创建测试topic。首先找到创建脚本：kafka-topics.sh命令：find /opt/ -name 'kafka-topics*’查看所有topic：kafka-topics --zookeeper localhost:2181 —list创建一个mgtest./kafka-topics.sh --create --zookeeper localhost:2181

2022-02-18 16:20:20 956

cz124560的博客