背景介绍
学校及团队优势
与一流业界知名公司/研究机构等紧密合作,拥有丰富的计算资源,努力不让计算资源限制了想象力,充分发挥人的创造力;目前团队有充足的A100算力、海量的数据等研究资源,同时拥有大量的对外部署资源,希望把研究内容可以通过在线演示网站的形式展示出来;
团队优势是兼有活力的年轻PI和资深的PI,可以提供多方面多层次的指导。
支持毕业去学术界/工业界发展;殷切地希望培养出独立的博士生,毕业后可以独当一面,具备在一流大学成为独立PI的潜质;承办国内外相关领域的顶级会议,支持学生承担会议sevices,助力在学术界和工业界的早期事业起步。
重视培养学生的全方位科研能力,包括口头报告、写作、团队协作能力、领导力、研究品位等等,不锚定静态的生产力指标(比如CCF A类会议论文中稿数量),着重提升学生的创造力和潜力,力求让学生每篇论文比上一篇论文的质量更好。
欢迎团队成员向业界发展,并帮忙联系投资人,开展创业的尝试。
团队的国际视野强,和北美、欧洲、中东、新加坡、港澳联系紧密,培养面向全球的技术领导者和学术新秀。
背景介绍
香港中文大学(深圳)是一所经国家教育部批准,传承香港中文大学的办学理念和学术体系的大学。目前,来自世界各地的 8000 多名优秀学子正在港中大(深圳)求学。经过九年的发展,大学学科建设已逐步完善,已面向全球招聘引进了 400 余名国际知名优秀学者和研究人员,其中包括诺贝尔奖得主 5 名,图灵奖得主 2 名,菲尔兹奖 1 名,各国院士近 30 名(其中全职 10 名),国家级特聘专家近 60 名,ACM/IEEE 等协会会士近 40 名。目前引进的教师 100% 具有在国际一流高校执教或研究工作经验。大学已经连续六年成为广东省内院校中录取分数最高的大学,毕业生颁发香港中文大学的学位证。香港中文大学(深圳)在CS ranking中排名内地高校第八名( CSRankings: Computer Science Rankings ),鉴于学校年轻AP较多,未来发展空间巨大。
香港中文大学(深圳)数据科学学院师资团队现有62人(含兼职15人),其中校长学勤讲座教授4人、校长讲座教授10人、教授12人、副教授11人、助理教授23人、讲师1人。师资中包括加拿大皇家科学院和中国工程院外籍双院士1人、加拿大皇家科学院和加拿大工程院双院士1人、新加坡工程院院士1人、运筹学与管理学研究协会INFORMS会士1人、国际电气与电子工程学会IEEE会士4人、国际系统与控制科学院IASCYS 会士1人、国际数理统计学会IMS会士2人、美国工业与应用数学学会SIAM会士2人、国际语音通信学会ISCA会士1人、国家级高层次人才9人、省市区高层次人才7人。目前数据科学学院已录取的博士生均来自知名大学,如清华大学、北京大学、上海交通大学、浙江大学、南京大学、中国人民大学、中国科学技术大学、武汉大学、同济大学、香港中文大学(深圳)、南方科技大学等。本科专业包括数学与应用数学、计算机科学、信息科学、工业工程等。其中, 42%的学生本科成绩排名为专业前5%,80%的学生本科成绩排名为专业前10%。
研究哲学
本团队的科研崇尚“发现新现象、定义新问题,设计新范式”,研究哲学如下:
研究团队秉承“Less is more”的科研理念,做简单且有效的工作;
做有影响力的研究,论文作为展示我们工作的一种方式(而不是目的),做有趣或者有用的论文,力争为社区做贡献;
做减熵的研究,让从业人员更加豁然开朗,而不是更加困惑;
做通用且有深度的研究;
做工程、产品和科研并起的研究,用科研手段去解决工程和产品解决不了的问题。
导师介绍
李海洲,香港中文大学(深圳)数据科学学院执行院长、新加坡工程院院士、教育部长江学者,同时他也是新加坡国立大学客座教授。他曾于2003年至2016年担任新加坡科技研究局通信与资讯研究院首席科学家和研究总监。李教授是IEEE Fellow、ISCA Fellow、AAIA Fellow,曾任顶级期刊IEEE/ACM Transactions on Audio、Speech and Language Processing主编 (2015-2018年)。他也曾是多个国际大型学术会议的大会主席,包括ACL 2012、INTERSPEECH 2014、ICASSP 2022,以及EMNLP 2023的local chair。
主页:https://colips.org/~eleliha/
王本友,香港中文大学(深圳)助理教授。主要研究方向为自然语言处理(NLP)、应用机器学习、和信息检索。迄今为止,他曾获得了SIGIR 2017最佳论文提名奖、NAACL 2019最佳可解释NLP论文、NLPCC 2022最佳论文、华为火花奖、腾讯犀牛鸟项目和欧盟玛丽居里奖学金,担任了EMNLP 2023的Website Chair和NLPCC 2023的Publicity Chair。其领导开发了华佗GPT大模型和阿拉伯语大模型AceGPT,华佗GPT是首个通过当年国家药剂师考试的模型,迄今有超过40万次访问;AceGPT是发布时最好的阿拉伯语大模型。
主页:https://wabyking.github.io/old.html
研究方向
大规模语言模型相关研究:主要围绕知识注入、强化学习、数据工程、prompt工程、架构工程、模型评估、长上下文、检索增强、多语言适配、高效训练和部署、人机交互、价值观对齐、解码验证器、工具调用、多智能体等核心环节展开系统性研究。最近希望把大语言模型迁移到多模态、Embodied AI、数学(推理、建模和证明)、AI for Science的场景。
Speech和NLP的核心应用和类脑听觉,比如对话系统、语音识别、语音合成、语音分离与增强、语音转换、信息检索、文本理解和生成、语音翻译,语音多语言理解;类脑听觉包括EEG信号处理、听觉认知解码、脑机交互理论与应用等。
多模态大模型及其应用研究:语言模型处理不同模态的理解和生成任务,包括但不限于图片、音频、EEG、表格、代码以及视频等,目前已经开始在做多模态大模型,特别期待有CV或者语音方向的候选人可以参与到多模态大模型相关研究上来。
大模型的产业化应用:将大数据模型融入生活的各个方面,以提升工作效率和生活质量,包括在医疗领域上的应用(参见我们的华佗GPT)和教育领域,让大模型技术实质地改善公众生活,将大模型在实际场景的应用的最后一公里打通。在医疗大模型方面,将会将其扩展到Agent,构建高质量RAG数据集,可信和隐私计算等。
招聘要求
香港中文大学(深圳)李海洲和王本友教授拟招收4名博士生(包括1名2024年秋季入学,三名2025年春季入学)、4名研究助理、3名工程师和3名博后。研究方向如上所介绍。我们团队还招收相关研究方向的硕士生、访问学生/学者。欢迎计算机(前端、后端开发)、自然语言处理、语音处理、数据科学、机器学习、信息检索、游戏开发、人机交互等相关背景的同学申请。
全职工程师、实习工程师和兼职工程师招聘
招聘对象:在读学生或全职人员,其致力于大模型落地应用,实验室支持其创业,支持参与论文发表,具体发展方向看个人兴趣。兼职工程师和实习生,可以推荐其到国内大厂(BAT和和华为)、深圳市大数据研究院就职,推荐其申请本校硕博。
工作内容:算法开发、数据工程、服务器后端开发(python、java、c/c++)、UI界面、前端开发(主流框架)、产品经理、大模型游戏和人机交互、服务器运维。领导支持和参与一流项目的开发,孵化未来创业项目。包括但是不限于医疗大模型的产品设计、大模型落地项目和大模型端侧硬件产品开发。
全职和兼职工程师请发到 wuxiangbo@cuhk.edu.cn,请加上自己的简历,并介绍自己的诉求,我们特别欢迎长期为大模型落地为用户服务的同事。
博士生招聘
招生对象:直博(本科生)、有意读博的硕士研究生(采用申请制,无需考研)
本科或以上学历(申请制无需考研),学校背景请参考往年录取学生,具有计算机科学等相关专业背景者优先考虑;
有大规模语言模型、对话系统、文本生成、多模态相关研究经验并在国内外知名会议或期刊有相应论文者优先考虑;
在香港或者英语国家取得相当的学位或修学证明;托福(笔试不低于550分,机试不低于213分;网考不低于79分);雅思(学术类不低于6.5分)。
已有博士生情况
有良好的教育背景并GPA在前5%-10%的本科生
有良好的研究能力,例如在ICLR/NeurIPS/ICML/ACL/EMNLP/NAACL(或同等水平的期刊会议)发表有一作论文的候选人;优先本组内实习一年及以上的研究助理,且表现出研究潜力和领导力
申请程序
请准备好完整的中文/英文简历(请附上成绩和论文发表记录)发送至邮箱:wangbenyou@cuhk.edu.cn ,邮件标题注明:博士申请+本人姓名+感兴趣研究方向;
面谈了解候选人相关背景、研究能力及研究兴趣;
学院录取流程。
截止时间
招生入学时间:2024 年 9 月(秋季),2025 年 1 月(春季),2025年 9月(秋季)
招生截止日期:2024年秋季入学还有少量名额,对特别优秀的同学开放。2025秋季截止时间不限,越早越好。
香港中文大学(深圳)博士申请细节
Ph.D. in Computer Science: https://sds.cuhk.edu.cn/en/phd-programmes-CSE
Ph.D. in Computer and Information Engineering: http://sse-mphil-phd.cuhk.edu.cn/en/basic/249
研究助理(Research Assistant)
本科或以上学历(在读硕士生、在读博士生均可申请)。
本科应聘者,原则上应在组内工作半年及以上;本校本科生应有充足的时间投入。
硕士学历应有相关研究经验,发表有NeurIPS/ICLR/ICML/ACL/EMNLP/NAACL等会议优先。
热爱科研工作,富有责任心,具有团队协作精神;请自我驱动。
对于非本校学生,原则上倾向招聘有留下继续硕博的潜力和意愿的应聘者;本校本科生应有充足的时间投入。
鼓励拿到本校硕士offer的同学入学前提前来组内实习。
有论文发表记录可推荐去MSRA、腾讯、微信、华为、百度、上海AI Lab等地方实习(包括本校硕士生)。
研究助理表现优秀者,可申请攻读香港中文大学(深圳)数据科学学院硕士或博士学位;申请研究助理请发送简历到huyan@cuhk.edu.cn,请附上简历。对于有志留校读博的同学,建议GPA 3/4以上以及排名30%以上为佳,否则难以拿到学校Phd offer,特别优秀的另议。
博士后
基本要求
需要完成博士答辩;
具有计算机科学、数学等相关专业背景者优先考虑;
鼓励自由探索,做世界一流工作。
工作职责,薪酬及福利
从事科研工作并撰写科研论文;
参与项目申请写作,参与重大国内外项目;
具有竞争力的薪酬,根据个人资历和经验而定;博士后年薪30W起;
博后可以协助指导团队内的本科生、硕士生和博士生,支持下一站学术生涯;
留学回国人员符合条件者可申请人才计划;
数据科学学院博士后出站后大多入职国内985和顶级211,不少获得终身教职。
申请程序
请准备好完整的中文/英文简历(请附上成绩和论文发表记录)发送至wangbenyou@cuhk.edu.cn。邮件标题注明:应聘职位+本人姓名;
合适者将接受团队成员面试,了解候选人背景、能力及研究兴趣;
本职位空缺有效期截止到招聘到合适人选为止。
自费研究型硕士(Mphil)招聘
本科学校应有较好的背景,其GPA在排名30%以内,且高于3.0/4;也欢迎硕士学历申请,包括跨专业硕士
有良好的研究动机,建议提前来本校实习RA
可与南方科技大学荆炳义教授联合培养,基本可以cover学费。
优先推荐在国内外大厂实习,包括腾讯AI Lab、华为诺亚方舟实验室、百度NLP实验室(深圳),上海AI Lab等。
独立发表有顶会论文,可以申请转博(Mphil修读课程可以转为博士学分)。
优秀学生可以强推国外学校。
2024年秋季还有少量名额,学费每年11.5万元,香港中文大学(深圳)Mphil申请细节参见:
Mphil. in Computer Science: https://sds.cuhk.edu.cn/en/phd-programmes-CSE
申请博后请发送邮件到huyan@cuhk.edu.cn。
代表论文
华佗GPT 其中公开资料显示,我们二月份发布的华佗GPT是首个国内类ChatGPT的医疗大模型,2023年2月份香港中文大学(深圳)副校长和深圳市大数据研究院院长罗智泉院士2023年2月份在中华医院信息网络大会CHINC发布的华佗GPT。目前线上已经有四十万次访问量。第二个版本的华佗GPT参数达72B,在2023年的10月份的最新药剂师考试(因为时间太新,所以很难有数据泄露问题)是唯一个及格的模型,大幅领先文心一言、GPT-4。最新华佗GPT参数达72B,也扩展到了多语言和多模态场景。
阿拉伯语大模型AceGPT(NAACL 2024),本团队和合作团队开发的阿拉伯语大模型(AceGPT),发布时是当时最好的阿拉伯语大模型,并在一个评测平台上超过ChatGPT,受到英国著名金融时报报道,团队目前正在用大量昇腾GPU芯片训练多语言大模型。
数学推理验证器OVM 我们提出的验证器模型,即“结果监督价值模型”(OVM),采用结果监督进行训练,为规划提供了一种高效直观的方法,通过优先考虑那些能导致准确结论的步骤,而非单纯关注每一步的正确性。此外,OVM摒弃了对步骤级正确性进行劳动密集型标注的需求,提升了其可扩展性。在GSM8K数据集中,我们的OVM-7B模型在不使用GPT-4或代码执行的情况下,实现了13B参数以下LLMs中的最佳性能。相关方法使用OVM将7B模型在GSM8K数据集取得了0.95的准确率,超过了GPT 4。
MathScale (ICML 2024)},这是一种利用前沿大型语言模型(如GPT-3.5)创建高质量数学推理数据的简单且可扩展方法。该方法启发于人类数学学习的认知机制,首先从种子数学问题中提取主题和知识点,再构建概念图,用以生成新的数学问题。通过这种方式,我们成功创建了一个包含两百万数学题目-答案对的数学推理数据集(MathScaleQA)。为全面评估大型语言模型在数学推理能力上的表现,我们构建了MWPBENCH基准,这是一个包括GSM8K和MATH在内的十个数据集的集合,覆盖了从K-12到大学及竞赛级别的数学问题。将MathScaleQA用于对开源大型语言模型(例如LLaMA-2和Mistral)进行微调,显著提高了它们在数学推理上的能力。在MWPBENCH上的评估显示,MathScale-7B在所有数据集上均达到了最先进的性能,其微平均准确率和宏平均准确率分别比同等大小的最佳模型高出42.9%和43.7%。
自监督学习的理论理解 (ICLR 2024) 研究自监督学习中的表示塌陷问题,提出一种新方法来衡量特征分布的均匀性。通过分析特征在单位超球面上的分布,发现遵循特定分布的特征表现出较好的均匀性。文章引入Wasserstein距离来量化学习到的特征与理想分布之间的差异,提出的方法不仅满足理想的均匀性标准,还能有效解决维度塌陷问题。最后,将这种均匀性作为辅助损失加入自监督学习,有效提升了下游任务的表现。
推荐阅读
欢迎大家加入DLer-计算机视觉技术交流群!
大家好,群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享,主要方向有:图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注:研究方向+学校/公司+昵称(如图像分类+上交+小明)
👆 长按识别,邀请您进群!