hadoop
文章平均质量分 92
魔仙大佬
这个作者很懒,什么都没留下…
展开
-
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop(已解决)
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop出现这个问题是因为加载了Windows本地的hadoop程序,因为Hadoop都是运行在Linux系统下的,在windows下idea中运行mapreduce程序,要首先安装Windows下运行的支持插件,只需要下载一个winutils.exe文件即可下载地址https://pan.baidu.com/s/1UXMXgc2OeT9-6FH原创 2020-10-26 23:54:08 · 766 阅读 · 2 评论 -
pyspark实例化GraphFrame出现 java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI问题
如标题所言,创建GraphFrame,会出现Py4JJavaError: An error occurred while calling o138.loadClass.: java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI这个问题在国内搜了半天没见有用的解决方案,最后在stackoverflow上找到了...原创 2020-05-07 22:53:27 · 3521 阅读 · 4 评论 -
hadoop基于MapReduce实现TFIDF算法完成热点词汇抓取
hadoop基于MapReduce实现TFIDF算法完成热点词汇抓取首先了解TFIDF环境步骤开始首先了解TFIDFTF-IDF的主要思想是,如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。IDF反文档频率(Inverse Docu...原创 2019-12-14 22:25:16 · 2102 阅读 · 1 评论