【KDD China】 2023数智未来高峰论坛参会总结

本次参会我作为以为大一结束的萌新参加此次大会，在人工智能方面仅仅只是学了一点吴恩达教授的机器学习公开课。以这样的身份我究竟能学到什么。
首先谈一谈本次大会的主角就是大模型及AIGC，专家们围绕这个话题探讨并且提出了很多问题：
1.生成式人工智能是否具有智力？
2.AI大模型是否具有可解释性？
……

叶杰平教授：Does AI has intelligence？

叶教授向大家展示了他们最近的研究内容：他们通过小样本参数发现生成式人工智能的知识大多储存在深层次的神经网络里（越深层颜色越深）
然后叶教授又向大家展示了他所研究的水稻大模型：

我得出的结论呢大致是，LLM的模型越大他的效果越好，并且如果想要再进一步通过外挂资源的方式也能做到，至于人工智能是否有智力仍然又争议，想要解答就要对LLM的黑盒模型做进一步研究。
这里浅显的解释一下为什么是黑盒模型，人类为什么不知道大模型的求出参数的过程。说白了大模型就是一个巨大的神经网络，他的参数量都是百亿甚至千亿级别的，人类只能知道大模型的输入以及最后的输出，通过输出不断调试，至始至终不知道计算机在中间干了什么。这里运用我在机器学习中用到的一点知识：评定模型的好坏会用代价函数（cost function）来衡量，计算机要做的就是为了不断使代价函数递减而不断的调整参数，最终让代价函数的值收敛。至于如何让代价函数递减最原始的做法就是梯度下降。人类只能求出代价函数以及对应的梯度，至于参数怎么调整那真的就是计算机的事了，调成什么样我们也无法精准的知道。所以正如叶教授所研究的那样，他们也得知深层的神经网络存的知识多，我推测可能就是深层的参数比重比较大仅此而已

唐杰教授：ChatGLM从千亿模型到ChatGPT的一点思考

这是个巨佬。在此之前听说过ChatGLM，没想到今天创始人就在眼前。
听了唐老师的报告我也是才知道通用人工智能（AGI）的参数量也是一个逐步增大的过程。也算才明白了ChatGPT的整个发展史。真不好意思说自己是学人工智能的(⊙﹏⊙)

唐教授指出chatgpt通过提高参数量确实能够提高机器的回答问题的能力，但这样训练的代价比较大，在实际应用中不可什么都上大模型需要考虑成本。

数据挖掘的顶会怎么能少得了数据挖掘呢？联邦数据挖掘是本次会议的有一个主题。在听讲座之前我一直都认为机器学习所需要的数据是信手拈来的，听了一众大佬的报告后才知道数据挖掘需要考虑数据的隐私，安全性等等。
正巧openai创始人奥特曼举行的虹膜数据集收集计划，一个数据集值25美金，可见想要获得大量的数据真是一件不容易的事。
这部分没听懂，只记得一个名词：差分隐私…

在圆桌会议上，几位行业大佬在探讨问题时说过这样一句话：我们也不是到如何培养学习人工智能的学生。
突然感觉学校的垃圾课程安排有地方说理了。