关注公众号,获取更多AI领域发展机会
商汤研究院基础视觉组(自动驾驶专题)正式员工(社招[多HC,欢迎资深岗位]、校招[含对应AI先锋岗位])&实习生长期招聘
地点 :北京,上海,深圳,香港
组别介绍
商汤研究院基础视觉组是商汤研究执行总监代季峰博士( https://jifengdai.org/ )建立,致力于提出和实现最前沿的算法,保持算法在工业界和学术界的领先,推动视觉理解、智能决策和深度学习算法在众多实际应用领域的性能优化和落地,相关工作已落地服务于本田、广汽、合众、一汽等知名客户。
近期,我组参与感知决策一体工作UniAD获得CVPR 2023 Best Paper Award,是自动驾驶领域的唯一一篇;我组提出的 BEVFormer 系列工作以大幅领先的优势获得知名自动驾驶比赛Waymo Challenge 2022 - 3D Camera-Only Detection赛道冠军,nuScenes榜单Camera-only检测任务榜单第一;并亦取得 Waymo Challenge 2022 - 3D Semantic Segmentation榜单第一名,Occupancy and Flow Prediction榜单第三名;我组主持CVPR 2023 3D Occupancy Prediction Challenge,提出Occupancy数据集和基线方法OccNet,比赛吸引了来自10个国家和地区的149支参赛队伍,包含英伟达,华为,阿里巴巴等知名机构参加。
在多模型大模型领域,我组今年6月发布了书生200亿参数多模态大模型,是业内领先的多模态大模型,具备优越的开放世界理解和支持用户自定义开放任务等能力。我们基于LLM提出全新框架 GITM, 在经典游戏《我的世界》中打造了通才AI智能体,是下一代Agent能力探索的基础;我们提出了端到端的视觉中心任务框架 VisionLLM, 将图像视为外语为视觉和语言任务提供了统一的视角。我们提出基于点击和语言驱动的视觉交互系统 InternGPT,实现用户与多模态大模型的便捷交互。在物体检测标杆数据集COCO上,书生2.5 取得了 65.5 的 mAP,是世界上首个超过65 mAP的模型;在图像分类标杆数据集ImageNet上,书生2.5是唯一准确率超过90.0%的开源大模型;
本组的研究方向包括且不限于超大规模预训练模型,多模态学习,视觉Transformer,物体检测,语义分割,自动驾驶,无监督/自监督学习,GAN,行为识别,SLAM等。
岗位一、自动驾驶AGI研究员 (NLP/多模态相关)
工作职责
参与实现基于超大语言模型(LLM)相关算法支持的自动驾驶AGI算法与系统搭建,推动自动驾驶AGI的创新发展,致力于探索前沿算法的研究与落地。
参与研发自动驾驶AGI相关的算法:包括不限于:自监督学习、小样本、零样本学习、多模态训练、 超大规模模型预训练等
维护相关研究和业务方向的基准(代码、数据、Prompt/Instruction等),将创新算法沉淀为论文、技术报告或专利
任职要求
硕士及以上学历,计算机、电子信息或软件等相关专业,有NLP/多模态相关经验的其他专业背景亦可
有较强的研究能力和代码能力,熟练使用深度学习框架
具有优秀的分析问题和解决问题的能力
具有良好的沟通和团队合作能力,富有工作激情敢于突破创新
在国际顶尖期刊或会议(如ACL, EMNLP, NACCL,NeurIPS等)发表过论文, 知名NLP比赛中有优异表现
有语言/多模态超大模型 (如类ChatGPT/GPT-4)研发应用和Prompt/Instruct Learning研究或工程经验的优先
岗位二、自动驾驶研究员 (世界模型World Model 方向)
工作职责
负责开展自动驾驶领域世界模型的研发与迭代
参与AIGC(图像、视频)算法的开发与优化,研究问题如视频生成、生成质量优化、可控生成等;
跟踪AIGC领域的前沿技术,开展具备创新性的高水平研究,保持技术在业界的领先和竞争力,参与申请专利和发表高水平论文;
任职要求
计算机科学、人工智能、机器学习或相关领域,硕士及以上学历。
熟悉Python/C++编程,掌握PyTorch等框架。
熟悉多模态数据的处理和表示方法,如图像与文本等数据模态。
熟悉AIGC模型的训练,熟悉经典模型结构如Diffusion等
岗位三、自动驾驶研究员 (数据方向)
工作职责
参与智驾AGI大模型数据流程设计和工具的开发,提升大模型流程效能,持续提高训练质量。
配合进行学术和业务场景的目标细分、拆解,协调对齐数据生产和算法开发过程,指导大模型迭代研发。
负责跟进调研多模态分析前沿问题和学术界动态,并结合实际场景整合模型评价方案,推进多模态大模型落地。
任职要求
逻辑清晰,有团队协作精神,有责任心,乐于接受挑战。
有计算机相关背景,熟悉深度学习、计算机视觉、多模态评价等基本知识。
熟悉C++ 或者Python,或精通其他语言,有较好代码理解能力。
熟悉Linux,具备一定的开发经验,熟悉常见问题的解决方案。
岗位四、自动驾驶研究员 (决策方向)
工作职责
和感知算法团队并肩探索,推动自动驾驶算法的创新发展,与海内外多家知名车企携手,致力于推动前沿算法的落地。
研发用于自动驾驶的行为决策、路径规划等算法,将成果部署于自动驾驶车辆,解决真实场景中遇到的问题。
负责探索自动驾驶决策规划前沿算法发展,利用强化学习、逆强化学习、RLHF、Transformer大模型等工具,不断优化迭代算法,推动模型驱动的端到端决策规划算法的实现与落地,保证自动驾驶产品在相关领域的先进性和竞争力。
任职要求
相信自动驾驶领域的发展与应用,逻辑清晰,具备良好的快速学习和理解能力,有团队协作精神,有责任心,乐于接受挑战。
有计算机、自动化、机器人等专业相关背景,或相关的实际工作经验。
熟悉C++ 或者Python,对决策规划某个方面技术有一定的了解,有志于推动落地。
熟悉一种深度学习平台PyTorch,TensorFlow等。
岗位五、自动驾驶研究员 (感知方向)
工作职责
和感知算法团队并肩探索,推动自动驾驶算法的创新发展,与海内外多家知名车企携手,致力于推动前沿算法的落地。
研发用于自动驾驶的计算机视觉感知算法,包括但不限于: 2D/mono3D/环视bev感知,3D点云感知。涉及目标检测、语义/实例分割,属性理解,点云检测/分割,模型压缩量化,知识蒸馏等任务,成果将直接用于自动驾驶场景中。
负责探索深度学习前沿算法发展,结合超大模型、数据闭环、多模态学习、无监督学习、半监督学习等先进工具,不断优化迭代,保证感知产品在相关领域的先进性和竞争力。
任职要求
相信自动驾驶领域的发展与应用,逻辑清晰,具备良好的快速学习和理解能力,动手能力强,善于定义问题和解决问题
有计算机相关背景,熟悉深度学习以及计算机视觉等基本知识,有扎实的算法和数据结构知识。
具有良好的编程风格,文档撰写能力,团队协作和沟通表达能力
熟悉一种深度学习平台PyTorch,TensorFlow等 ,熟悉C++ 或者Python。
岗位六、自动驾驶研究员 (感知融合方向)
工作职责
负责行人、车辆、人脸等通用目标的单传感器、多传感器融合跟踪算法的开发;
负责解决光照,阴影,遮挡,交错等实际应用中的多目标跟踪问题;
负责视觉、激光雷达、毫米波雷达等多传感器融合算法研发。
任职要求
计算机科学、图像处理、模式识别、通信工程、应用数学等相关专业;
熟悉机器学习基本理论,扎实的概率统计、线性代数、数值优化基础,深刻理解特征工程,对特征建模有自己的理解;
熟悉滤波器(如卡尔曼滤波或粒子滤波)、光流、SURF、SIFT等常用算法知识;能跟踪多目标跟踪等前沿论文;
岗位七、自动驾驶研究员 (数据仿真生成)
工作职责
负责探索深度学习前沿算法发展,发展自动驾驶场景的仿真建模,包括2D场景,3D场景的建模
负责生成和维护自动驾驶数据,与感知算法团体并肩探索,推动感知算法性能的边界,致力于推动前沿算法的落地
负责搭建数据仿真引擎平台,与感知决策团队配合,实现感知-决策-规划一体化任务的仿真
任职要求
计算机、机器学习、模式识别等相关专业,硕士及以上学历
扎实的计算机视觉和工程技术能力,熟悉Python/C++编程,掌握PyTorch等框架
独立分析和解决问题的能力,良好的沟通能力
对三维重建,数据仿真,数据生成等领域有深入了解
岗位八、自动驾驶研究员 (三维重建)
工作职责
基于Lidar,视觉等三维场景重建算法研究及工程落地
负责多源传感器融合定位,包括基于视觉、GNSS、IMU、Lidar等对多传感器的通用融合定位框架
负责搭建数据平台,与感知团队紧密配合,提供高质量的重建数据
任职要求
熟悉三维视觉基础理论,如多视图几何。
数学基础较为扎实(线性代数、数值优化、概率论等)。
有一定编程基础(Python, C/C++,Linux)。
具有多源传感器处理的相关知识和经验。
熟悉基于滤波和优化的状态估计算法。
熟悉常用VO、VIO、SLAM、SFM算法。
直通车
投递邮箱:luotto@sensetime.com
邮箱主题/简历命名格式:商汤正式(校招or社招)/实习申请+意向岗位+AIoffer+姓名