从AI原理到模型演进及代码实践 的学习二 Transformer仅一个Encoder模块就可以工作,可以处理信息抽取、识别、主体识别等任务,比如 BERT(Bidirectional Encoder Representations from Transformers)是只使用了Encoder,可以从给定的文本段落中找到并提取出回答问题的文本片段,目标是识别或检索信息,而不是生成新的文本序列。
从AI原理到模型演进及代码实践 的学习一 初探神经网络(原理)上图就是一个人脑的神经元,由多个树突、轴突和细胞核构成,其中树突用来接收电信号、经细胞核加工(激活)信号、最后由轴突输出电信号,人脑大概860亿个神经元细胞,突触相互连接,形成拓扑结构。每个神经元大约有1163~11628个突触,突触总量在14~15个数量级,放电频繁大约在400~500Hz,每秒最高计算量大约40万亿次,换算成当前流行词汇,大脑大概等价于100T参数模型(140B逊爆了),而且有别当前大模型中ReLU激活函数,大脑惰性计算是不用算0值的,效率更高。
CNCF云原生计算基金会 CNCF旨在促进和支持开源技术的发展,特别是那些支持云原生(cloud native)应用开发、部署和运行的技术栈。CNCF还负责组织一些主要的会议和活动,如KubeCon + CloudNativeCon系列,以汇集成千上万的技术专家、开发者和爱好者共同讨论云原生技术的最新发展和最佳实践。- **Kubernetes**:一个用于自动化部署、扩展和管理容器化应用程序的开源平台。- **Prometheus**:一个开源的监控系统和报警工具包。- **gRPC**:一个高性能、开源和通用的RPC框架。
APM服务端 一些知名的APM工具供应商包括Dynatrace、New Relic、AppDynamics等,它们提供了全面的APM解决方案,涵盖了从前端到后端的全方位性能监控。5. **诊断工具**:提供深入的问题诊断功能,如分布式追踪、堆栈跟踪等,以加速故障排除过程。2. **数据分析与处理**:对收集的数据进行清洗、聚合和分析,以便发现性能趋势和异常。3. **可视化展示**:提供直观的仪表盘和报告,便于理解和跟踪应用性能指标。1. **数据采集**:通过在应用程序中部署的代理或探针收集性能数据。
Apache PAIMON 学习 Paimon在最新的版本当中也会推出Paimon object Table,希望通过Object Table管理非简化的数据,包括在OOS或者HDFS上的图片,视频,文件,音频之类的文件。拿到这些原数据之后就可以通过包括pySpark ,Flink SQL ,Spark SQL 等,通过这种结构化的处理,读表知道有哪些文件,这些文件的文件大小可以做一些过滤,也可以把这些文件读出来做一些处理,所以通过这样的方式把非结构化和结构化的SQL的处理,或者结构化的计算引擎的处理结合到一起,让整个结构化的处理更简单。
OCI 通常指的是开放容器计划(Open Container Initiative),这是一个轻量级、开放的治理结构(即Linux基金会的一个项目),旨在围绕容器格式和运行时制定行业标准。 OCI 通常指的是开放容器计划(Open Container Initiative),这是一个轻量级、开放的治理结构(即Linux基金会的一个项目),旨在围绕容器格式和运行时制定行业标准。OCI的目标是推动容器技术的标准化,使得不同的组织和技术能够更好地协作,减少供应商锁定的风险,并促进容器技术的创新和发展。2. **运行时规范(Runtime Specification)**:描述了容器运行时的行为,也就是如何在宿主机操作系统上创建并运行一个或多个隔离的环境(即容器)。
CRD是Custom Resource Definitions(自定义资源定义)的缩写,这是Kubernetes中的一个概念。 截至2025年,随着越来越多的企业和组织采用Kubernetes作为其基础设施的核心组件,CRD的使用也变得更加广泛和成熟,支持更加复杂的应用场景和服务模式。3. **编写控制器**:通常情况下,仅定义CRD是不够的,还需要编写一个控制器来监听这些自定义资源的变化,并根据其状态执行相应的操作。1. **定义CRD**:首先需要创建一个YAML文件来定义你的CRD。4. **使用自定义资源**:一旦CRD和控制器就位,就可以像使用任何其他Kubernetes资源一样创建、更新和删除这些自定义资源了。
WebAssembly(简称Wasm)是一种用于基于栈的虚拟机的二进制指令格式,它作为便携式编译目标,允许高级语言如C、C++和Rust等被编译成可以在网页上高效运行的代码。 6. **标准和浏览器支持**:WebAssembly是一个开放标准,由W3C的WebAssembly工作组开发维护。所有主流浏览器都已实现了对WebAssembly的支持。5. **易于集成**:WebAssembly可以直接从JavaScript调用,并且可以像操作普通JavaScript对象一样操作WebAssembly导出的功能。1. **高性能**:WebAssembly代码可以非常接近原生应用的速度执行,这使得它非常适合计算密集型的应用程序,如游戏、视频编辑和CAD应用等。
WebAssembly 6. **标准和浏览器支持**:WebAssembly是一个开放标准,由W3C的WebAssembly工作组开发维护。所有主流浏览器都已实现了对WebAssembly的支持。5. **易于集成**:WebAssembly可以直接从JavaScript调用,并且可以像操作普通JavaScript对象一样操作WebAssembly导出的功能。1. **高性能**:WebAssembly代码可以非常接近原生应用的速度执行,这使得它非常适合计算密集型的应用程序,如游戏、视频编辑和CAD应用等。
LDS(Listener Discovery Service)、RDS(Route Discovery Service)和CDS(Cluster Discovery Service) LDS(Listener Discovery Service)、RDS(Route Discovery Service)和CDS(Cluster Discovery Service)是Envoy代理用于动态配置的重要xDS协议之一。在Envoy中,集群是指一组逻辑上相同的上游服务实例,Envoy将流量路由到这些实例。通过CDS,Envoy可以获取集群成员的信息,以及如何与这些成员进行通信的配置。通过这些xDS API,Istio可以动态地管理和调整服务网格内服务之间的通信方式,提高系统的灵活性和可维护性。
人工智能学习 模型构建与训练(约 1 周):了解如何使用 TensorFlow 的高级 API(如 Keras,它集成在 TensorFlow 中,方便快捷地构建模型)来构建常见的神经网络模型(如简单的多层感知机用于分类或回归任务),掌握模型的编译(指定损失函数、优化器、评估指标等)、训练(传入训练数据进行多轮迭代训练)以及预测(对新的数据进行预测输出)的完整流程,通过一个小型的数据集(如 MNIST 手写数字数据集的简化版本)进行模型构建和训练的实践操作,观察训练过程中的损失值、准确率等指标变化情况。
ServiceEntry 是一种用于将外部服务引入到Istio内部的服务注册表中的配置资源。 通过定义 `ServiceEntry`,你能够让Istio管理的服务能够与网格外部的服务进行通信,这对外部服务的调用、访问外部API或数据库等场景非常有用。这个例子中,我们定义了一个名为 `external-httpbin` 的 `ServiceEntry`,它允许网格内的服务通过HTTP协议访问位于 `httpbin.org` 的外部服务,并且使用DNS进行地址解析。- **location**:指示服务的位置。1. **访问外部服务**:允许网格内的服务连接到未部署在服务网格内的外部服务。
EDS通常指的是“Endpoint Discovery Service”(端点发现服务) Envoy代理作为每个服务实例的sidecar,使用EDS来获取其需要访问的所有服务的端点信息。EDS允许服务网格中的服务动态地发现并连接到其他服务的可用实例(即端点),这对于构建可扩展、可靠的应用程序至关重要。- **健康检查集成**:EDS通常与健康检查机制结合使用,只有被标记为健康的端点才会被包含在返回给客户端的列表中,这有助于提高系统的整体可靠性。- **动态更新**:EDS能够实时或接近实时地向客户端提供最新的服务端点列表,当有新的服务实例加入或者现有实例离开时,它会自动更新这些信息。
CIDR(Classless Inter-Domain Routing,无类别域间路由)是一种用于分配和路由IP地址的方法 CIDR摒弃了传统的基于类(A类、B类、C类等)的IP地址分配方式,允许将IP地址块按照任意大小进行划分,而不是局限于固定的8位、16位或24位边界。这通过在IP地址后面附加一个斜杠和一个数字(例如:192.0.2.0/24)来表示,这个数字指定了网络前缀的长度,即地址中多少位用于网络部分,剩余的部分则用于主机地址。CIDR不仅有助于更有效地利用IP地址空间,还简化了路由聚合,减少了互联网核心路由器中的路由表大小,提高了路由效率。此外,CIDR也是现代IP地址管理(包括IPv6)的基础。
workloadSelector 是一种在服务网格(如Istio)中用于选择特定工作负载实例的机制。 workloadSelector` 是一种在服务网格(如Istio)中用于选择特定工作负载实例的机制。通过使用标签选择器,可以指定一组带有特定标签的工作负载实例(例如Pods),使得只有匹配这些标签的工作负载才会受到关联规则或策略的影响。例如,在Istio中,你可能会配置一个 `DestinationRule` 或者 `VirtualService` 来使用 `workloadSelector`,以便仅将特定的流量管理规则应用到具有特定标签的应用实例上。
通过 crontab 每天定时启动一个 Java JAR 包并调用特定的 `main` 方法 1. **确保环境变量配置正确**:首先,确保你的系统上已经安装了 Java,并且 `JAVA_HOME` 环境变量以及 `PATH` 环境变量都已正确设置,这样你可以从命令行任何地方使用 `java` 命令。3. **编辑 crontab 文件**:使用 `crontab -e` 命令来编辑当前用户的 crontab 文件。7. **检查日志**:等到预定的时间过后,检查日志文件 `/opt/onlinetask/dataChatgpt.log` 以确保程序按预期启动并且没有遇到任何错误。
SubjectAltName(简称 SAN)是 X.509 数字证书中的一个扩展字段,它允许在单个证书中指定多个身份标识。 **通配符证书**:虽然通配符证书(如 `*.example.com`)可以覆盖整个子域,但有时您可能还需要包括不在此通配符模式下的额外域名。- **IP 地址绑定**:某些情况下,特别是当服务没有关联的 DNS 名称时,可以通过 SAN 中的 IP 地址来绑定 SSL/TLS 证书。- **内部和外部域名**:对于既提供公共互联网服务又提供内部网络服务的组织来说,SAN 可以同时包含面向公众的域名和仅供内部使用的域名。2. **IP Address**: 指定一个或多个 IP 地址。
FQDN 是 “Fully Qualified Domain Name“(完全限定域名)的缩写。它是指在互联网上唯一标识一台计算机或其他设备(如服务器、打印机等)的完整域名。 在某些情况下,FQDN 还可能包含更多的子域名层级,例如 `mail.subdomain.example.com`,这里 `subdomain` 是 `example.com` 下的一个子域名,而 `mail` 则是该子域下的主机名。3. **顶级域名 (TLD)**:这是域名层次结构中最右边的部分,指明了域名所属的一般类别,如商业 (`com`)、教育 (`edu`)、政府 (`gov`) 等。继续上面的例子,`example` 是二级域名,而 `.com` 是顶级域名 (TLD)。