面经来源:https://zhuanlan.zhihu.com/p/87147047
一面请移步:https://blog.csdn.net/qq_33331424/article/details/109397587
- 介绍一下CRF
CRF属于概率图中马尔可夫网的一种,是一种无向图,可用来做序列标注或句法分析任务。
- 介绍交叉熵loss公式
- 说一下BERT与ELMO的区别
- pytorch的代码流程(我是这样回答的:预处理数据/词表-写好模型-定义损失和优化器-训练-测试)
- Dropout的原理
- sgd与adam的区别
- L1 L2正则化
- 编程题:最快速度最小空间求一个数组的第k小
# 和leetcode 面试题 17.14:最小K个数类似,不过该题返回的是第k小,而不是最小的k个数
class Solution:
def fast_partition(self, arr, left, right):
p = arr[left]
index = left
while left < right:
while left < right and arr[left] <= p:
left += 1
while left <= right and arr[right] > p:
right -= 1
if left < right:
arr[left], arr[right] = arr[right], arr[left]
arr[right], arr[index] = arr[index], arr[right]
return right
def fast_sort(self, arr, left, right, k):
if left + 1 <= right:
mid = self.fast_partition(arr, left, right)
if k == mid:
return mid
elif k > mid:
return self.fast_sort(arr, mid + 1, right, k)
else:
return self.fast_sort(arr, left, mid - 1, k)
def smallestK(self, arr: List[int], k: int) -> List[int]:
mid = self.fast_sort(arr, 0, len(arr) - 1, k)
return arr[k-1]
三面
自我介绍+项目
x, y是独立的随机变量,方差期望已知,那么如何求 xy 的方差
讲一下BERT
SoftMax + CrossEntropy的反向梯度求导