机器学习杂文
文章平均质量分 62
机器学习杂文
AI架构师易筋
工作10+年,AI方向架构师,曾经任职阿里巴巴,世界500强HSBC。擅长大模型LLM原理、架构、深度学习、Transformer、算法、数据结构、设计模式。易筋乃阿里巴巴花名。
展开
-
翻译: 如果你能说,你就能做到:对话式人工智能时代 If You Can Say It, You Can Do It: The Age of Conversational AI
想象一下,您发现自己置身于下一代航天器的驾驶舱内——这种航天器可以毫不费力地将您从近地轨道带到柯伊伯带。你设想如何控制它?科幻小说使我们习惯于将未来技术等同于令人眼花缭乱的复杂性,因此您可能会想象一排排闪烁的灯光、闪亮的按钮,以及充满发光数字和起伏正弦曲线的屏幕。它肯定看起来令人印象深刻。但这真的是先进技术的标志吗?相反,想象一个几乎是空的驾驶舱,用墙到墙的控制换取令人惊叹的全景。你坐在船长的椅子上,再欣赏一两分钟的风景,然后大声说:“带我去土星!” 没有按钮,没有开关,没有计算轨迹。原创 2023-03-18 23:48:03 · 479 阅读 · 1 评论 -
DeepRacer线下比赛总结 2022 地图 Re Invent 2018
# 1. 线下比赛策略:1. 激进:waypoint 还是有点激进,感觉跟速度没多大关系。2. 稳妥:不用waypoint,中线。默认的中线算法,1m/s~2.8m/s, 模拟器可以抛出10m/s 的速度。原创 2022-10-24 01:17:26 · 1817 阅读 · 2 评论 -
AI神经网络流水线MLOps machine learning pipline 华为和深信服 等公司的落地 QCon 大会2022
2015 年的一篇论文强调了在应用程序中持续使用机器学习所面临的挑战。[4]机器学习的预测增长包括从 2017 年到 2018 年,以及从 2018 年到 2020 年,机器学习试点和实施估计翻一番。[5]报告显示,大多数(高达 88%)的企业 AI 计划都在努力超越测试阶段[需要引用]。然而,那些真正将人工智能和机器学习投入生产的组织看到了 3-15% 的利润率增长。[6]MLOps 市场在 2019 年估计为 232 亿美元,由于快速采用,预计到 2025 年将达到 1260 亿美元。[7]原创 2022-09-08 09:28:55 · 819 阅读 · 0 评论 -
AI神经网络流水线MLOps machine learning pipline eBay和北美等公司的落地 QCon 大会2022
MLOps是一组实践,旨在可靠且高效地在生产中部署和维护机器学习模型。[1]这个词是“机器学习”和DevOps在软件领域的不断发展实践的复合词。机器学习模型在孤立的实验系统中进行测试和开发。当一种算法准备好启动时,数据科学家、DevOps 和机器学习工程师之间会实施 MLOps,以将算法过渡到生产系统。类似于DevOps或DataOps方法,MLOps 寻求增加自动化和提高生产模型的质量,同时也关注业务和监管要求。虽然 MLOps 最初是一组最佳实践,但它正在慢慢演变为一种独立的 ML 生命周期管理方法。原创 2022-09-08 09:11:14 · 535 阅读 · 0 评论 -
Stack Overflow Top排行看出IT行业的风向标python numpy pandas
前10的里面,50%左右是跟数据分析相关的,比如python,pandas,numpy。20%左右是JavaScript。如果选择All Time Reputation,发现前10,有40%都是C#相关的,大概率还得过Microsoft的MVP。看了一下1year reputation新增加分数排行榜。回复的top 受欢迎的答案之一。...原创 2022-08-06 07:56:12 · 463 阅读 · 0 评论 -
翻译: 欧盟除了GDPR, 再出人工智能法Artificial Intelligence Act
Artificial Intelligence Act人工智能法案 (AI Act)是欧盟委员会提出的一项法规[1],旨在为人工智能引入一个共同的监管和法律框架。其范围涵盖所有领域(军事除外)以及所有类型的人工智能。作为一项产品监管,该提案并未赋予个人权利,而是对人工智能系统的提供者以及以专业身份使用它们的实体进行监管。拟议的法规按风险对人工智能应用进行分类,并相应地对其进行监管。低风险应用根本没有受到监管,成员国通过最大限度的协调在很大程度上排除了进一步对其进行监管,而与此类系统的设计或使用监管相关的现有原创 2022-07-10 22:36:17 · 594 阅读 · 0 评论 -
翻译: AWS DeepRacer一步一步详细步骤的自定义航点更快地运行 自定义waypoints
登录进AWS Control 控制台搜索“DeepRacer”并点击“AWS DeepRacer”DeepRacer 控制台。2019 年 DeepRacer 冠军杯”的航点图航点代表轨道上的每个位置。它有 3 条线(L = 左、C = 中心和 R = 右),它们在地图上也有 0 - 154 号。不同的赛道会有不同的航点。为航点构建新代理。https://github.com/oscarYCL/deepracer-waypoints-workshop/blob/main/Template.py原创 2022-07-10 22:24:18 · 1796 阅读 · 0 评论 -
Deepracer 学了就能云驾驭赛车? Deepracer机器学习进阶版干货分享!
https://github.com/zgpeace/deepracer/tree/master/iterations参考https://www.bilibili.com/video/BV1BV411s7BHhttps://www.bilibili.com/video/BV1BV411s7BH?p=2&spm_id_from=pageDriver原创 2021-09-18 13:08:15 · 1179 阅读 · 0 评论 -
Deepracer 学了就能云驾驭赛车? Deepracer机器学习入门级干货分享!
参考https://www.bilibili.com/video/BV1UQ4y197Q8https://www.bilibili.com/video/BV1UQ4y197Q8原创 2021-09-18 12:38:03 · 447 阅读 · 0 评论 -
翻译:使用 AWS Deep Racer 的日志分析工具
1. 介绍我尝试与公司人员一起使用 AWS 提供的 AWS DeepRacer 日志分析工具。日志分析工具以笔记本格式发布在 GitHub 上的 AWS DeepRacer Workshop 下面。https://github.com/aws-samples/aws-deepracer-workshops警告以下内容针对截至 2019 年 6 月 6 日的示例笔记本。它可能不适用于其他版本的笔记本电脑。2. 安装程序2.1 创建策略将以下策略附加到您的 Jupyter Notebook 实例原创 2021-09-26 22:37:59 · 941 阅读 · 0 评论 -
AWS DeepRacer 默认参数调优 实验一
默认参数训练 60分钟,Evaluation ResultsReward functiondef reward_function(params): ''' Example of rewarding the agent to follow center line ''' # Read input parameters track_width = params['track_width'] distance_from_center = para原创 2021-09-17 06:58:32 · 1062 阅读 · 0 评论 -
DeepRacer 根据路线计算Action Space RaceLine_Speed_ActionSpace
1 说明1.0.0.1 第 1 部分:从最佳赛车线计算最佳速度本笔记本的第 1 部分采用了最佳赛车线,可以使用 Race-Line-Calculation.ipynb ( GitHub ) 生成,并为赛车线上的每个点生成最佳速度输入:.py 文件,带有包含最佳赛车线的 2D 数组:2 列 (x,y)输出:带有二维数组的 .py 文件:4 列(x、y、速度、预期时间)。这个数组可以插入到奖励函数中注:赛车线的最后一个点被删除,因为它与第一个点相同1.0.0.2 第 2 部分:计算动作空间本原创 2021-10-01 08:08:12 · 2698 阅读 · 4 评论 -
AWS DeepRacer ROS 架构 模拟环境和真实赛道的区别
1. ROS 架构此时,您知道 Amazon SageMaker 训练您的强化学习模型,Amazon RoboMaker 模拟了该模型的环境,而 Gazebo 则模拟赛车的物理定律。因此,现在让我们来谈谈环境和智能体如何彼此交谈。一组称为机器人操作系统或 ROS 的库和工具可以在机器人的各个部分之间进行通信。这包括它的环境。因此,一旦您将优化模型从模拟器移动到物理 Amazon DeepRacer,并且模拟动作空间映射到物理动作空间后,ROS 节点会推断/预测结果,以便在本地主机内自主驱动它。原创 2021-09-17 08:31:54 · 660 阅读 · 0 评论 -
DeepRacer 找到的最好的奖励函数 reward function
这里需要替换的是不同的地图,换成不同的racing_track数组。import mathclass Reward: def __init__(self, verbose=False): self.first_racingpoint_index = None self.verbose = verbose def reward_function(self, params): ################## HELPER FUN原创 2021-10-06 08:51:43 · 5737 阅读 · 31 评论 -
AWS DeepRacer 参数调优 Amazon SageMaker 和 Amazon RoboMaker
1. 介绍 Amazon SageMaker 和 Amazon RoboMaker 在支持 Amazon DeepRacer 方面扮演的角色2. 如何调整奖励函数以提升性能3. 通过超参数调优来优化模型。该视频介绍了 Amazon DeepRacer 中提供的每个超参数以及它们对跟踪性能的影响。...原创 2021-09-17 07:14:52 · 1938 阅读 · 0 评论 -
AWS DeepRacer 强化学习RL,工作流程
1. 强化学习RL - Reinforcement learning通过强化学习,模型通过对采取的每个行为进行奖励和惩罚这样持续的过程来学习。就是奖励积极行动,惩罚消极行动。监督学习非监督学习强化学习2. AWS DeepRacer 工作流程无论您最终是在虚拟赛道上还是实际赛道上比赛,都希望在模拟环境中开始 – 构建、训练、评估和重复这个过程,直到您对模型进行足够的优化,认为该模型已准备好参加竞赛。然后,如果您愿意,可以将其部署到实体车上。这一切都从在 Amaz原创 2021-09-17 08:09:44 · 413 阅读 · 0 评论 -
DeepRacer 资源合集
AWS DeepRacer 概念和术语AWS 深度计时器奖励函数的输入参数将模型上传模型到您的 AWS DeepRACer 车辆log 分析DeepRacer Log Analysis.ipynb日志分析工具教程学习技巧AWS官网原创 2021-09-26 22:11:43 · 768 阅读 · 0 评论 -
AWS知识图谱大赛 -- 负面新闻影响股票基金预测系统架构设计文档
1 设计概述负面新闻影响股票基金系统,是根据历史新闻数据训练出来对股票基金模型,用近来的新闻通过图数据库关联,查找出可能有负面影响的股票、基金。1.1 功能概述负面新闻影响股票基金预测系统,主要功能包括,收集新闻数据,对新闻数据抽离出公司、关键人物等实体,舆情对实体的情感分析,和最终股票基金走势建立关联关系。最终得到训练出来的模型,经过不断的参数调优,使模型预测准确率能达到95%以上的预测。1.1.1 数据获取以及存储场景如下:a) 获取新闻数据的渠道:爬虫系统、海知(第三方公司)提供、通联(原创 2020-11-15 23:22:55 · 380 阅读 · 1 评论 -
翻译: Python range 函数指南 -- 从入门到精通
说明range当您需要执行特定次数的操作时,Python的内置函数非常方便。作为一个经验丰富的Pythonista,您很可能曾经使用过它。但是它是做什么的呢?在本指南结束时,您将:了解Pythonrange函数的工作原理了解Python 2和Python 3中的实现方式有何不同看到了许多动手的range()例子有能力克服一些局限性让我们开始吧!Pythonrange()函数的历史尽管range()在Python 2和Python 3中可能共享一个名称,但是它们是完全不同的动物。实际上,原创 2020-11-15 23:09:04 · 514 阅读 · 2 评论 -
翻译:图数据库Apache TinkerPop Gremlin图遍历机器和语言
说明Gremlin是Apache TinkerPop的图形遍历语言。Gremlin是一个功能,数据流 语言,使用户能够简洁地表达复杂的遍历(或查询)的应用程序的性能曲线图。每个Gremlin遍历都由一系列(可能嵌套的)步骤组成。步骤对数据流执行原子操作。每一步都是map步骤(转换流中的对象),filter步骤(从流中移除对象)或sideEffect-step(计算有关流的统计信息)。Gremlin步骤库在这3个基本操作的基础上扩展,为用户提供了丰富的步骤集,用户可以编写这些步骤,以询问他们可能对Greml原创 2020-11-09 00:54:51 · 1504 阅读 · 2 评论 -
查看AWS中Identity and Access Management(IAM)的Access Key和Secret Access
1. 在Services 中搜索 iam, 并选择 Identity and Access Management(IAM)2. 选择左侧栏Users,右侧列表选择自己的用户名链接3. 切换tab到Security credentials > Create access key4. 下载.csv 保存 Access key ID 和 Secret access key.注意:下次就看不到了。...原创 2020-11-07 15:55:51 · 1589 阅读 · 0 评论 -
python3获取请求url, curl转换为python3 urllib3
说明用Terminal,curl 获取请求, 如何转换为json获取的方式。% curl -XPOST http://httpbin.org/post -H "Content-Type:application/json" -d '{"attribute":"value"}'{ "args": {}, "data": "{\"attribute\":\"value\"}", "files": {}, "form": {}, "headers": { "Accept":原创 2020-11-05 17:31:46 · 1127 阅读 · 6 评论 -
Jupyter Notebook 添加说明表格Cell
添加表格,默认是代码格式,把代码cell转换为文本模式。选中active的cell,Cell > Cell Type > Markdown原创 2020-11-05 16:24:45 · 3745 阅读 · 0 评论 -
Python 3 从入门到精通 Mac OS
说明Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。python 安装请参考:翻译:在Mac上将Python 3设置为默认的正确和错误方法Hello World打开命令行 Terminal# 查看 python 版本$ python -VPython 3.8.5# 进入 python 命令行$ pythonPython原创 2020-10-16 01:11:34 · 749 阅读 · 0 评论 -
翻译:在Mac上将Python 3设置为默认的正确和错误方法
说明弃用:Python 2.7将于2020年1月1日到期,请升级您的Python,因为在此日期后将不再维护Python 2.7。pip的未来版本将不再支持Python 2.7。对于新买的Mac Book Pro来说,默认的安装是 Python 2.7的版本。如何设置默认的版本为Python 3 呢?这有什么难的?macOS随附的Python版本与Python建议用于开发的版本已经过时。正如XKCD指出的那样,Python运行时有时也具有可笑的挑战。那有什么计划?我的计算机上已经有数十个Pytho原创 2020-09-03 13:00:23 · 8170 阅读 · 0 评论 -
Mac OS用Anaconda安装Jupyter Notebook
Jupyter Notebook2014年,Fernando Pérez宣布从IPython中衍生出一个名为Jupyter的项目。[2]IPython继续以Python shell和Jupyter内核的形式存在,而IPython Notebook和其他与语言无关的部分移到了Jupyter名下。[3][4]Jupyter是语言无关的,它的名称是对Jupyter支持的核心编程语言的引用,这些语言是Julia、Python和R,[5] 它支持几十种语言的执行环境(也就是内核),这些语言包括Julia、R、Has原创 2020-11-01 23:13:59 · 7093 阅读 · 0 评论 -
图数据库 Gremlin, SparSL Amazon Neptune 技术概述
第1章 Amazon Neptune 技术概述1.1 什么是图数据库Amazon Neptune 是一项快速、可靠且完全托管的图数据库服务,可帮助您轻松 构建和运行使用高度互连数据集的应用程序。Amazon Neptune 的核心是专门构建的高 性能图数据库引擎,它进行了优化以存储数十亿个关系并将图形查询延迟降低到毫秒 级。 Amazon Neptune 支持常见的图形模型 Property Graph 和 W3C 的 RDF 及其关 联的查询语言 Apache TinkerPop Gremlin 和原创 2020-10-31 17:21:45 · 1032 阅读 · 4 评论 -
图数据库实战 AWS Neptune Gremlin CloudFormation
https://ap-northeast-1-migration.s3-ap-northeast-1.amazonaws.com/neptune-full-stack-nested-template.json在首页输入 Neptune, 进入到 Neptune的数据库视图neptunedbcluster-5pujrrsqlfkw.cluster-cp4hapr3z0qc.ap-northeast-1.neptune.amazonaws.com01-About-the-Neptu...原创 2020-10-31 16:34:27 · 379 阅读 · 0 评论 -
知识图谱、Gremlin Traversal Language、RDF、Amazon Nepture 图数据库介绍
说明知识图谱应用现状#pic_center =600x原创 2020-10-31 12:30:38 · 405 阅读 · 0 评论 -
翻译:机器学习 数据科学家 top 10 十大算法
说明本文介绍了机器学习新手需要了解的 10 大算法,包括线性回归、Logistic 回归、朴素贝叶斯、K 近邻算法等。在机器学习中,有一种叫做「没有免费的午餐」的定理。简而言之,它指出没有任何一种算法对所有问题都有效,在监督学习(即预测建模)中尤其如此。例如,你不能说神经网络总是比决策树好,反之亦然。有很多因素在起作用,例如数据集的大小和结构。因此,你应该针对具体问题尝试多种不同算法,并留出一个数据「测试集」来评估性能、选出优胜者。当然,你尝试的算法必须适合你的问题,也就是选择正确的机器学习任务。原创 2020-10-25 22:49:02 · 561 阅读 · 0 评论 -
AWS SageMaker 基于 XGBoost 的用户流失预测
管理Python3的环境,Conda管理工具training增加参数, 记得接龙的最后一个参数需要增加逗号train_use_spot_instances=True,train_max_wait=3600,train_max_run= 3600原创 2020-10-24 16:58:27 · 549 阅读 · 0 评论 -
AWS SageMaker 基于Random Cut Forest 的异常值检测 随机森林
https://docs.aws.amazon.com/zh_cn/sagemaker/latest/dg/randomcutforest.html训练模型的过程中,会创建Training Job,状态是InProgress.3 sigma 的概念https://zhidao.baidu.com/question/1693646488397754788.html原创 2020-10-24 16:57:40 · 619 阅读 · 0 评论 -
SageMaker 基于 Blazing Text的中文新闻标题分类
实验内容基于 Blazing Text的中文新闻标题分类;基于Ramdom Cut Forest 的异常值检测;基于 XGBoost 的用户流式预测;实验平台Chrome 登录https://aws.amazon.com/cn/ec2/instance-types/实例类型介绍打开Terminal$ cd SageMaker$ git clone https://github.com/snowolf/sagemaker-blazingText-article原创 2020-10-24 16:10:29 · 357 阅读 · 0 评论 -
AWS SageMaker机器学习训练营听课总结
机器学习工作流是迭代且负责的Amazon SageMaker Studio使用 Amazon SageMaker StudioAmazon SageMaker Autopilot使用 Amazon SageMaker Autopilot,创建并审查回归和分类模型Amazon SageMaker 帮助您构建、训练和部署模型Amazon SageMaker Ground Truth(仅限Global Region)成功的模型需要高质量数据(仅限Global Region)Amaz原创 2020-10-24 12:04:26 · 466 阅读 · 0 评论