Nutch1.0在eclipse中运行问题之解决

今天按照前面几篇文章所述之操作解决了程序中的报错,但是在调试运行过程中会出现如果错误.本问题主要针对windows操作系统.
[b]问题一:[/b]
现贴出:
2010-03-25 21:42:33,937 WARN fs.FileSystem (FileSystem.java:<init>(1440)) - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ?????????
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:250)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:275)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:257)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1438)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1376)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:215)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:120)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:84)
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(87)) - crawl started in: crawl
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(88)) - rootUrlDir = urls
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(89)) - threads = 10
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(90)) - depth = 3
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(92)) - topN = 50
2010-03-25 21:42:34,609 WARN fs.FileSystem (FileSystem.java:<init>(1440)) - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ?????????
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:250)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:275)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:257)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1438)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1376)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:215)
at org.apache.hadoop.fs.FileSystem.getLocal(FileSystem.java:191)
at org.apache.hadoop.conf.Configuration.getLocalPath(Configuration.java:787)
at org.apache.hadoop.mapred.JobConf.getLocalPath(JobConf.java:232)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:101)
2010-03-25 21:42:34,984 WARN fs.FileSystem (FileSystem.java:<init>(1440)) - uri=file:///

.................

问题分析及解决:
因为Nutch设计是在linux等系统下运行的,Windows系统是没有"whoami"这个命令的。解决办法是:在windows的系统环境变量Path中加入Cygwin的路径(如D:\Cygwin\bin)。

[b]问题二:[/b]
[color=red]Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property.
at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1019)
at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:942)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:122)
2010-03-26 11:41:55,796 INFO crawl.Generator (Generator.java:generate(562)) - Generator: done.
2010-03-26 11:41:55,796 FATAL fetcher.Fetcher (Fetcher.java:checkConfiguration(1017)) - Fetcher: No agents listed in 'http.agent.name' property.[/color]

此问题是由于在nutch-site.xml文件中没有给<name>http.agent.name</name>设值,因此可按如下方式设值:
<property>
<name>http.agent.name</name>
<value>HD nutch agent</value>
</property>
<property>
<name>http.agent.version</name>
<value>1.0</value>
</property>

[b]问题三:[/b]
在cygwin中运行nutch1.0时可能会提示缺少JAVA_HOME,此问题只需要将conf/hadoop-env.sh文件中# export JAVA_HOME=/usr/bin/java 改为 export JAVA_HOME="您的java目录"


至此,在Windows平台上使用Eclipse运行和调试Nutch应该可以顺利进行了
Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计,皆可应用在项目、毕业设计、课程设计、期末/期/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值