一个人的人生

机器学习。

​判别模型是对数据输出做判别的模型，多用于监督学习，尤其适合。继续编辑。

是指三维数据的一种重要表达方式，通过激光雷达等传感器，能够采集到各类障碍物以及其位置坐标，而标注员则需要将这些密集的点云分类，并标注上不同属性，常应用于。数据标准是通过分类、画框、标注、注释等，对图片、语音 、文本等数据进行处理，标记对象的特征，以作为机器学习基础素材的过程。、语义分割、实例分割、 目标检测、图像分类、关键点、线段标注、文字识别转写、点云标注、属性判断等。负责对文本、图像、语音、视频等标注数据进行归来、整理、编辑、标记和批注。是对事物属性进行标签，属性标注包括：文本类别、新闻、娱乐等。

从Spark SQL 底层架构可以看到，我们写的SQL语句，经过一个优化器（Catalyst），转化为RDD，交给集群执行。SQL到RDD中间经过了一个Catalyst，它就是Spark SQL的核心，是针对Spark SQL语句执行过程中的查询优化框架，基于Scala函数式编程结构。

2023年11月份在某电商系统生产中的Elasticsearch（以下简称ES）集群突然，出现了大量慢查询告警，导致请求堆积。经过几天的排查发现了ES节点主分片和副本分片分布存在不均匀的问题。当然了暂未有定论是由于分片不均衡导致了性能下降，但是主分片和副本分片分布不均匀确实是个问题。

在启动spark worker脚本中需要传入master的地址，在容器云kubernetes dns且设置了service的缘故，可以通过ecc-spark-master.ecc-spark-cluster.svc.cluster.local:7077访问。没有默认负载均衡器，可直接访问 Pod IP 地址。spark master分为两个部分，一个是类型为ReplicationController的主体，命名为ecc-spark-master.yaml，另一部分为一个service，暴露master的。

爬虫一般指从网络资源的抓取，通过Python语言的脚本特性，配置字符的处理非常灵活，Python有丰富的网络抓取模块，因而两者经常联系在一起Python就被叫作爬虫。爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。有时还可以模拟用户在浏览器或app应用上的操作行为，从而实现程序自动化。

HIVE作为数据仓库处理常用工具，如同RDBMS关系型数据库中标准SQL语法一样，Hive SQL也内置了不少系统函数，满足于用户在不同场景下的数据分析需求，以提高开发SQL数据分析的效率。我们可以使用show functions查看当下版本支持的函数，并且可以通过describe function extended funcname来查看函数对应的使用方式和方法，下面我们将描述HIVE SQL中常用函数的高阶使用场景。

Minion作为一个先进的对象存储方案，对于大数据和人工智能的支持有着天然的优势。它支持与Spark\Flink等技术方案进行整合，并且通过S3协议实现数据查询的下沉，这让大数据的存储与查询分离提供了事实依据。（2） 根据部署的minio服务的信息（如端口、Access Key、Secret Key、存储桶名称等），创建一个SparkSession对象，可以使用如下步骤进行读写Minio。（1） 首先，需要部署minio服务集群，搭建minio对象存储桶，可以参考我的文章。

当前Spark没有像mahout那样，严格区分基于物品的协同过滤推荐（ItemCF）和基于用户的协同过滤推荐（UserCF），只有基于模型的协同过滤推荐算法ALS（model-based CF）。但ALS算法对于一些特定的问题(用户数量较小的场景，以及物品数量明显小于用户数量的场景)，效果并不理想，不像mahout提供了各种推荐算法选择。为了充分利用spark在速度上带来的提升同时为满足一些业务需求，于是使用spark构建ItemCF算法。

从协同过滤的分类来说，ALS（Alternating Least Squares，交替最小二乘）算法属于User-Item CF，也叫做混合CF，它同时考虑了User和Item两个方面。用户和物品的关系，可以抽象为如下的三元组：。其中，Rating是用户对商品的评分，表征用户对该商品的喜好程度。ALS算法是基于模型的推荐算法，，评估出缺失项的值，以此来得到一个基本的训练模型，然后依照此模型可以针对新的用户和物品数据进行评估。

本文主要探讨如何利用用户打标签的行为为其推荐物品，UGC标签系统受到越来越多的关注，标签既能反映用户的兴趣又能描述物品的本身特征。

倘若准备将自建的 elasticsearch 迁移K8s，或者的迁移到其他elasticsearch集群，可以根据自己的业务需要选择适当的迁移方案，

，点击右侧的【获取】按钮，此处是我已经安装了插件所以是【删除】按钮，点击获取按钮后会弹出对话框，选择【添加扩展】即可下载安装插件，后面安装流程按提示完成即可。（4）回到浏览器，点击右上方的【+】按钮，会弹出新的选项卡"WebTab新标签页”，在新页面中点击【问心一言 AI】图标按钮。（5）如果用户已经登录，则会直接进入"问心一言"的对话界面，如果未登录，登录msn邮箱账号即可开启使用"问心一言"了。（1）切换到浏览器，选择右上方选项卡，在弹出的对话框中选择【扩展】选项，

过期命令: redis-cli -h ip地址 -p 端口 -a 密码 keys "ACE_*" | xargs - i redis-cli -h ip地址 -p端口 -a 密码 expire {} $(($RANDOM + 54321))删除命令: redis-cli -h ip地址 -p 端口 -a 密码 keys "ACE_*" | xargs - i redis-cli -h ip地址 -p端口 -a 密码 del {}登录命令: redis-cli -h ip -p 端口。

为什么新闻推荐使用UserCF算法，而购物网站使用ItemCF算法？

spark提交Kind=Job类型的任务，首先需要申请具有Job任务提交权限的rbac，然后编写对应的yaml文件，通过spark-submit命令提交任务到集群执行。

## 3.1 Ngram定义Ngram是一种基于统计语言模型的算法。Ngram的基本思想：是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。

my.cnf[mysqldump]socket=/data/mysql/dbcfg/mysql.sock[mysql]user=dbadminsocket=/data/mysql/dbcfg/mysql.sock[mysqladmin]socket=/data/mysql/dbcfg/mysql.sock[mysqld]derault_authentication_plugin=mysql_native_passwordbasedir=/opt/mysqldatadir=/data/m