大数据
欧阳AI锋
这个作者很懒,什么都没留下…
展开
-
变分贝叶斯、Variational Inference
不是大功告成了吗?通常情况下,上式是很难计算的,直观上看,需要考虑所有的都已比较困难了,更不用说能不能积分了,尤其是维度较高的情况,是需要多重积分的。当然,我们可以用Monte Carlo 的方法,不断的采样,然后近似得到结果。但对于高维的情况,我们需要大量的样本才能得到一个比较满意的结果,显然这也不是一个很好的选择。Variational Inference (VI) 为我们提供了另外的一种思路,其基本思想是直接去近似后验分布,通过优化不断地去提高近似程度。下面将介绍VI的基本思想和相关知识。 Evid.原创 2022-01-30 22:08:17 · 496 阅读 · 0 评论 -
如何查看hadoop日志?(yarn logs)
当我们运行mrjob时,会出现map失败的情况 这时,我们需要用 yarn logs -applicationId ID 这里的ID是指编号 但是输入这个命令依然会 出错 原因是yarn-site.xml配有配置好 <property> \quad <name>yarn.log-aggregation-enable</name> \quad <value>true</value> </property> 配置好后,要重启df原创 2020-11-23 16:10:56 · 2104 阅读 · 0 评论 -
如何自己配置mrjob的hadoop runner?
MRJob配置hadoop runnner Step 1: vim ~/.mrjob.conf Step 2: 输入: runners: hadoop: python_bin: /usr/local/bin/python3 hadoop_bin: /usr/local/opt/hadoop/bin/hadoop hadoop_streaming_jar: /usr/local/opt/hadoop/libexec/share/hadoop/tools/lib/hadoop-streaming-*.原创 2020-11-23 16:01:24 · 152 阅读 · 1 评论 -
大数据python包mrjob的血泪史
大数据平台运行mrjob,发现无法创建hdfs文件夹,卡住了,呜呜呜~~~ 啊啊啊啊啊啊啊啊啊 通过如下的hadoop命令查看用户 hdfs dfs -ls /user 里面有自己的用户名啊,可是 可是为什么hdfs dfs -ls /user/用户名/Input不行呢? 后面发现是虚拟机环境创建的/user/用户名,它不是一个真实的directory 所以 正确的做法是先删掉虚拟的/user/用户名 hdfs dfs -rmdir /user/用户名 然后再自己新建一个 hdfs dfs -mkdir /原创 2020-11-23 15:48:08 · 362 阅读 · 0 评论