autograd实现

思路:
步骤一:从某个叶节点开始,将其压入队尾
步骤二:弹出队首节点作为当前节点。先求出当前节点对于各个父节点的梯度,父节点加上这个梯度之后出度也随之减一,当某个父节点出度为零时,将其加入队列中。重复步骤二。

std::vector <std::vector <double>> nn::graph::compute_gradients (nn::var::iterator tar, const std::vector <nn::var::iterator> &var_list) {
	var *target = tar.reference;
	auto outdegrees = find_outdegrees (target);
	std::unordered_map <var*, std::vector <double>> gradients;
	std::queue <var*> q;

	gradients[target] = {1.0};
	q.push (target);

	while (q.size()) {
		auto node = q.front ();
		q.pop ();

		if (node -> operation == nullptr)
			continue;
		auto input_gradients = node -> operation -> grad (gradients[node]);


		for (size_t i = 0; i < input_gradients.size(); i++) {
			var *in_node = (node -> inputs)[i];
			add_to_vector (gradients[in_node], input_gradients[i]);
			outdegrees[in_node]--;
			if (outdegrees[in_node] == 0)
				q.push (in_node);
		}
	}
	std::vector <std::vector <double>> result;


	for (auto &i : var_list)
		result.push_back (gradients[i.reference]);
	clear ();
	return result;
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值