Moutai码哥-CSDN博客

原创 SparkSQL 执行底层原理解析

从Spark SQL 底层架构可以看到，我们写的SQL语句，经过一个优化器（Catalyst），转化为RDD，交给集群执行。SQL到RDD中间经过了一个Catalyst，它就是Spark SQL的核心，是针对Spark SQL语句执行过程中的查询优化框架，基于Scala函数式编程结构。

2023-12-24 20:55:08 1143

原创 Elasticsearch的分片平衡问题解决

2023年11月份在某电商系统生产中的Elasticsearch（以下简称ES）集群突然，出现了大量慢查询告警，导致请求堆积。经过几天的排查发现了ES节点主分片和副本分片分布存在不均匀的问题。当然了暂未有定论是由于分片不均衡导致了性能下降，但是主分片和副本分片分布不均匀确实是个问题。

2023-12-24 16:18:07 1810

原创基于Headless构建高可用spark+pyspark集群

在启动spark worker脚本中需要传入master的地址，在容器云kubernetes dns且设置了service的缘故，可以通过ecc-spark-master.ecc-spark-cluster.svc.cluster.local:7077访问。没有默认负载均衡器，可直接访问 Pod IP 地址。spark master分为两个部分，一个是类型为ReplicationController的主体，命名为ecc-spark-master.yaml，另一部分为一个service，暴露master的。

2023-10-28 21:20:51 879

原创 Python爬虫-经典案例详解

爬虫一般指从网络资源的抓取，通过Python语言的脚本特性，配置字符的处理非常灵活，Python有丰富的网络抓取模块，因而两者经常联系在一起Python就被叫作爬虫。爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。有时还可以模拟用户在浏览器或app应用上的操作行为，从而实现程序自动化。

2023-10-28 19:16:42 275

原创 Hive SQL 函数高阶应用场景

HIVE作为数据仓库处理常用工具，如同RDBMS关系型数据库中标准SQL语法一样，Hive SQL也内置了不少系统函数，满足于用户在不同场景下的数据分析需求，以提高开发SQL数据分析的效率。我们可以使用show functions查看当下版本支持的函数，并且可以通过describe function extended funcname来查看函数对应的使用方式和方法，下面我们将描述HIVE SQL中常用函数的高阶使用场景。

2023-10-22 13:50:42 1317 4

原创 spark读写minio文件代码实践

Minion作为一个先进的对象存储方案，对于大数据和人工智能的支持有着天然的优势。它支持与Spark\Flink等技术方案进行整合，并且通过S3协议实现数据查询的下沉，这让大数据的存储与查询分离提供了事实依据。（2）根据部署的minio服务的信息（如端口、Access Key、Secret Key、存储桶名称等），创建一个SparkSession对象，可以使用如下步骤进行读写Minio。（1）首先，需要部署minio服务集群，搭建minio对象存储桶，可以参考我的文章。

2023-08-14 22:29:46 618

原创推荐系统-基于物品协同过滤算法代码实现

当前Spark没有像mahout那样，严格区分基于物品的协同过滤推荐（ItemCF）和基于用户的协同过滤推荐（UserCF），只有基于模型的协同过滤推荐算法ALS（model-based CF）。但ALS算法对于一些特定的问题(用户数量较小的场景，以及物品数量明显小于用户数量的场景)，效果并不理想，不像mahout提供了各种推荐算法选择。为了充分利用spark在速度上带来的提升同时为满足一些业务需求，于是使用spark构建ItemCF算法。

2023-08-02 23:29:26 384

原创推荐系统-ALS协同过滤算法代码实现

从协同过滤的分类来说，ALS（Alternating Least Squares，交替最小二乘）算法属于User-Item CF，也叫做混合CF，它同时考虑了User和Item两个方面。用户和物品的关系，可以抽象为如下的三元组：。其中，Rating是用户对商品的评分，表征用户对该商品的喜好程度。ALS算法是基于模型的推荐算法，，评估出缺失项的值，以此来得到一个基本的训练模型，然后依照此模型可以针对新的用户和物品数据进行评估。

2023-07-27 22:19:27 475

原创推荐系统-基于标签的Top-N个性化推荐代码实现

本文主要探讨如何利用用户打标签的行为为其推荐物品，UGC标签系统受到越来越多的关注，标签既能反映用户的兴趣又能描述物品的本身特征。

2023-07-18 22:25:41 935

原创 Elasticsearch 数据迁移方案

倘若准备将自建的 elasticsearch 迁移K8s，或者的迁移到其他elasticsearch集群，可以根据自己的业务需要选择适当的迁移方案，

2023-06-24 18:28:27 2414

原创每个人都要会“Chat AI”的提问方式

，点击右侧的【获取】按钮，此处是我已经安装了插件所以是【删除】按钮，点击获取按钮后会弹出对话框，选择【添加扩展】即可下载安装插件，后面安装流程按提示完成即可。（4）回到浏览器，点击右上方的【+】按钮，会弹出新的选项卡"WebTab新标签页”，在新页面中点击【问心一言 AI】图标按钮。（5）如果用户已经登录，则会直接进入"问心一言"的对话界面，如果未登录，登录msn邮箱账号即可开启使用"问心一言"了。（1）切换到浏览器，选择右上方选项卡，在弹出的对话框中选择【扩展】选项，

2023-06-21 20:27:54 332

原创 redis运维小记批量处理

过期命令: redis-cli -h ip地址 -p 端口 -a 密码 keys "ACE_*" | xargs - i redis-cli -h ip地址 -p端口 -a 密码 expire {} $(($RANDOM + 54321))删除命令: redis-cli -h ip地址 -p 端口 -a 密码 keys "ACE_*" | xargs - i redis-cli -h ip地址 -p端口 -a 密码 del {}登录命令: redis-cli -h ip -p 端口。

2023-06-05 10:26:20 546

原创推荐系统-基于领域的协同过滤算法选择(一文足矣)

为什么新闻推荐使用UserCF算法，而购物网站使用ItemCF算法？

2023-03-12 13:26:39 574 1

原创基于容器云提交spark job任务

spark提交Kind=Job类型的任务，首先需要申请具有Job任务提交权限的rbac，然后编写对应的yaml文件，通过spark-submit命令提交任务到集群执行。

2023-03-04 19:21:41 1740

原创 ES使用Ngram分词器实现wildcard高性能替代方案

## 3.1 Ngram定义Ngram是一种基于统计语言模型的算法。Ngram的基本思想：是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。

2022-05-03 21:42:34 5249

原创 mysql 8.0的一份my.cnf配置笔记

my.cnf[mysqldump]socket=/data/mysql/dbcfg/mysql.sock[mysql]user=dbadminsocket=/data/mysql/dbcfg/mysql.sock[mysqladmin]socket=/data/mysql/dbcfg/mysql.sock[mysqld]derault_authentication_plugin=mysql_native_passwordbasedir=/opt/mysqldatadir=/data/m

2022-03-12 16:36:46 2886

原创记一份Cassandra中间件生产调优实践

-server##JVM configurationHeap size-Xms16G-Xmx16G-XX: SurvivorRatio=4GC configuration#禁用CMS，使用U1禁止使用Xmn,U1会自动扩展分配-XX+UseG1GC-XX:G1RSetUpdatingPauseTimePercent=5-XX.MaxGCPauseMillis=500-XX:InitiatingHeapOccupancyPercent=80-XX:ParallelGCThreads=1

2022-03-12 12:33:07 422

原创一份上K8s应用调优的JVM记录

下载：https://github.com/etcd-io/etcd/releases/tag/下载amd安装包：etcd-v3.x-linux-amd64.tar.gz1.2 集群部署https://etcd.io/docs/v3.4/op-guide/clustering/修改三台服务器的hosts:192.168.0.208 k8s-01192.168.0.53 k8s-02192.168.0.135 k8s-03后台部署运行：nohup ./etcd --name etcd_01

2021-11-03 23:08:02 750

原创基于kubernetes构建spark-thriftserver集群(Deployment模式)

继续上一篇《基于kubernetes构建spark集群(RC模式)》，沿用上一篇rbac配置，以及PV、PVC配置，本篇将采用Deployment方式进行部署spark集群，以及增加thriftserver服务配置。1、构建镜像这里采用spark-2.4.4-bin-hadoop2.7.tar.gz包部署，先解压文件到/opt/spark目录。（1）将需要第三方扩展包导入/opt/spark/spark-2.4.4 -bin-hadoop2.7/jars目录#根据自己需要导入elasticse

2021-09-19 18:12:14 1052

原创基于云上Prometheus对cassandra监控

https://www.cnblogs.com/caoweixiong/p/12736815.htmlhttps://github.com/prometheus/jmx_exporter/blob/master/README.mdhttps://github.com/prometheus/jmx_exporter/edit/master/example_configs/

2021-09-15 22:20:28 795 1

原创基于kubernetes构建spark集群(RC模式)

基于kubernetes部署spark的两种方式方式一：使用kubernetes作为集群管理器(Cluster Manager)，类似与mesos和yarn，使用方式可搜索github查看running-on-kubernetes。但这个部署方式，一是还不成熟(目前Deprecated)，不推荐在生产环境使用.方式二：standalone的方式，即便是不用集群也能很方便的调用sbin下的脚本来部署，而使用k8s有几点好处，一是提高机器使用率(一般服务器资源白天使用率较高，晚上空闲，刚好能拿来跑数据)；

2021-09-07 22:02:00 765

原创基于kubeadm搭建高可用(多master)kubernetes v1.19集群-高可用篇

1、架构规划需要增加Load balancer，使得node节点的访问流量可以负载到master类型节点。keeplive：配置虚拟IP，检查当前节点状态；haproxy：类似于niginx，负载均衡(虚拟IP会漂移到其中一个master节点)，可以平均分配流量到master1，master2；haproxy与nginx区别：nginx是master-workers多进程，每个进程单线程，多核CPU能充分利用；haproxy是多线程，单进程就能实现超高性能，虽然haproxy也能多进程，但是网上资

2021-07-17 22:26:25 1058

原创基于二进制方式搭建K8s集群-部署CNI网络和Dashboard

8、部署CNI网络8.1、node节点部署CNI（1）下载地址 https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz #并将文件拷贝到虚拟机/opt目录；（2）文件准备 #创建文件夹 mkdir /opt/cni/bin #解压文件 tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /

2021-07-17 22:13:36 999 1

原创基于二进制方式搭建K8s集群-node篇

##4、部署kubernetes node节点###4.1、docker安装下载地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz以下所有node节点，这里采用二进制安装，用yum安装也类似；（1）解压二进制文件 tar zxvf docker-19.03.9.tgz mv docker/* /usr/bin（2）systemd管理dockercat > /usr/lib/syst

2021-07-11 23:02:41 390 1

原创基于二进制方式搭建K8s集群-ETCD篇

1.前置说明（1）创建多台虚拟机，安装Linux操作系统；（2）操作系统初始化；（3）为etcd何apiserver创建自签证书；（4）部署etcd集群；（5）部署master组件；（6）部署node组件；（7）部署集群网络插件；1. 部署环境（1）安装要求一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本；硬件配置：2GB或者更多RAM，2个CPU或者更多CPU，硬盘30G+；可以访问外网，以便拉取镜像，如果服务器不能上网，需提前下载镜并导入到节点；禁用s

2021-07-11 23:01:29 537

原创基于kubeadm方式快速搭建K8s集群

2. K8s部署2.1、kubeadm部署kubeadm是官方社区推出的一个用于快速部署kubernates集群工具，该工具通过两条命令即可完成一个kubernetes集群的部署：（1）创建一个Master节点 kubeadm init（2）将Node节点加入到当前集群中 $kubeadm join <Master节点的IP和端口>，详细步骤如下：2.1.1、虚拟机系统配置（1）关闭防火墙 systemctl stop firewalld #临时关闭防火墙 system

2021-07-05 15:50:08 239

原创基于二进制方式搭建K8s集群-前置环境准备

1、K8s架构速览Kubernetes+是一个开源的容器编排引擎，用来对容器化应用进行自动化部署、扩缩和管理。2、整体部署流程说明（1）创建多台虚拟机，安装Linux操作系统；（2）操作系统初始化；（3）为etcd何apiserver创建自签证书；（4）部署etcd集群；（5）部署master组件；（6）部署node组件；（7）部署集群网络插件；3、环境准备（1）安装要求一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本；硬件配置：2GB或者更多RAM，2

2021-06-26 15:47:05 296

原创基于二进制方式搭建K8s集群-master篇

2、ApiServer自签证书apiserver通过https方式进行访问，因此需要证书自签，有两种实现方式：（1）添加可信赖的IP列表（此处使用）；（2）携带ca证书发送；（1）自签证书颁发机构(CA)接着《基于二进制方式搭建K8s集群-ETCD篇》文章，进入/TLS/k8s目录。 cd /TLS/k8s自签CA(生成CA证书和私钥）：【1】生成CA 配置文件#过期时间10年cat > ca-config.json << EOF{ "signing":

2021-06-24 07:49:50 781 1

原创 docker常用命令与部署方式

1.0 Docker 使用（1）登录本地仓库docker login 仓库地址 -username xx -password(2) 搜索镜像docker images| grep 镜像名称(3)拉取镜像docker pull 镜像名称(4) 推送镜像docker push 镜像名称(4) 从当前目录Dockerfile文件构建镜像docker build -t 镜像名称:Tag . docker build -t acimagehub.com.cn/projectCode_dev

2021-06-13 09:41:20 576

原创在Alluxio上运行Apache Hive

The Apache Hive ™ 数据仓库软件使用SQL，方便读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。我们都知道，Hive作为数据仓库工具，传统文件数据处理大都是搭配Hadoop使用。此处将描述如何搭配Alluxio内存加速使用，让你的批处理任务速度飞起来。本节将使用apache-hive-3.1.2与alluxio2.3|2.4结合，验证数仓功能使用。1.Hive部署1.1.前期准备先下载Hi

2021-05-02 12:20:46 512

原创 Hadoop的部署与Minio区别

我们都知道，Hadoop是一个由Apache基金会所开发的基于分布式系统基础架构。使用用户可以在不了解分布式底层细节的情况下，进行分布式程序开发。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），不但包括分部署文件系统，而且还包括MapReduce计算，其中一个组件是HDFS。##Hadoop集群部署1.0 创建文件夹以haddop-3.2.1版本为例，先进行解压，进入到hadoop-3.2.1目录下创建文件夹；hadoo

2021-05-01 23:12:46 4558

原创 Kafka-一文读懂架构、源码、调优与面试

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，Kafka结合了三个关键功能：发布（写入）和订阅（读取）事件流，包括从其他系统连续导入/导出数据；持久可靠地存储事件流；当事件发生或追溯时处理事件流。所有这些功能都是以分布式、高度可扩展、弹性、容错和安全的方式提供的。Kafka可以部署在裸机硬件、虚拟机和容器上，也可以部署在本地和云中。您可以在自我管理Kafka环境和使用各种

2021-04-03 13:57:01 262

原创 RocketMQ-一文读懂架构、源码、调优与面试

Apache Rocketmq是一个分布式消息和流平台，具有低延迟、高性能和可靠性、万亿级容量和灵活的可扩展性，本文将从架构设计、源码解读、使用经验、调优调优，解剖MQ的特征。1.1、MQ架构(Broker-分片)支持多Master，可实现同步或者异步双写；Broker Master和Broker Slave是通过jdk原生的nio(SocketChannel)通信实现数据同步，Producer与Broker,Consumer与Broker通过Netty进行通信，NameServer与其他通过Nett

2021-03-28 16:23:33 440 1

原创【数据平台】Minio-超大文件类断点续传实战

我们都知道，MinIO 是一个基于Apache License v2.0开源协议的对象存储服务文件系统。它基于云原生文件系统生态，兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据。例如：视频、图片、数据文件、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，文件大小从几kb到最大5T不等。本节将说明如何将大文件续传到minio文件服务器。putObject(String bucketName, String objectName, InputStream stream,

2021-03-28 10:26:08 3059 4

原创【数据平台】Elasticsearch-调优实践

Elasticsearch调优垃圾回收实现目标：需要实现是小而多次的垃圾回收，而不是一次长时间的回收，从而保证应用在稳定的性能水平运行。1.1 JVM调优1.1.1 使用jstat命令：jstat -gcutil pid 2000 1000gcutils：表示监控垃圾回收器的工作；2000：毫秒表示的采样周期；1000：是采样的数量；显示结果：S0 S1 E O P YGC YGCT FGC FGCT GCT调优分析(先年轻代,后老年代)当S0、S2或者E列显示为1

2021-03-08 23:44:19 816 1

原创【商城】Elasticsearch搜索引擎-02.构建智能搜索系统客户端-实战

众所周知，Elasticsearch作为搜索引擎被广泛应用在各个领域，尤其是电子商务网站和App的检索，如下几乎囊括的商城大部分搜索使用场景查询定义，而索引时Elasticsearch搜索核心概念之一，Elasticsearch底层使用倒排索引对分词进行映射，默认使用大数据常用的相似推荐算法(TF-IDF)进行评分，既实现文档高效检索，又完成文档排序。在上一篇构建搜索系统之查询-实战基础上，本章将说明如何定义索引，并实现完整检索客户端。1.索引定义下面以实战商品搜索为例，说明复杂的商品索引定义，常用关键

2021-03-07 21:57:42 322

原创【商城】Elasticsearch搜索引擎-01.构建智能搜索系统之查询-实战

我们都知道，Elasticsearch作为搜索引擎被广泛应用在各个领域，尤其是电子商务商城检索，如下几乎囊括的商城大部分搜索使用场景查询定义，其中包括：基本查询：简单的查询方式terms：目标列包含指定词(不分词)match：会把输入的“短语”进行分解成分词，分词器可自定义bool match：match分解成多个词，并且是and的关系，默认是or的关系match phrase：进行分词，但要指定分词之间词语的个数match phrase prefix：进行分词，分词按前缀匹配multi-m

2021-02-21 21:00:19 457 1

原创【商城】canal数据库数据实时同步利器-代码实战干货

场景说明，因电商业务高并发与实时性要求，需要实现多库多表数据实时同步到Elasticsearch，并实现其他消息通知功能。实现方式主要是基于业务 trigger 获取增量变更。业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。生产使用Canal版本为1.1.4，MySQL版本为8.x。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理1、项目说明整

2021-02-01 22:56:09 336 2

原创【数据平台】之Cassandra大数据利器-大规模数据迁移sstableloader

过去，在Cassandra中批量加载数据一直很困难。尽管Cassandra从一开始就具有BinaryMemtable接口，但是BinaryMemtable难以使用，并且与普通客户端写入相比，吞吐量有了较小的提高。Cassandra 0.8.1引入了解决此问题的新工具: sstableloader使用 sstableloader有关最新信息，请参见 DataStax社区文档。sstableloader 是一种稳定的数据文件处理工具，将已经生成好的数据流式传输到整个群集。它不是简单地将sstables复

2021-01-19 22:22:23 823 1

原创【数据平台】之Alluxio内存加速S3文件系统数据利器

Alluxio 是大数据领域数据内存加速利器，是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建提供了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而使得数据能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。在现有大数据生态系统中，Alluxio 位于数据驱动框架或应用（如 Apache Spark、Presto、Tensorflow、A

2021-01-17 22:20:59 1185