分布式部署爬虫 + solr cloud 遇到的几个问题

最新推荐文章于 2021-05-18 10:05:23 发布
最新推荐文章于 2021-05-18 10:05:23 发布
阅读量197 收藏
点赞数
原文链接：https://my.oschina.net/u/2329222/blog/397032
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

问题1. WARN crawl.Generator: Generator: 0 records selected for fetching

    出现可能原因：

    1）.regex-urlfilter.txt 里面的正则表达式有问题；

问题2. Bad Request

request: http://XXXXX:8080/solr/CultureSearch/update?wt=javabin&version=2

这个solr cloud的配置文件有问题造成的主要与相关的schema.xml有关

我的第一个原因是缺少相关的jar包，但是在schema.xml中配置了；第二个是_version_属性的类型对应不上。


问题3.

15/04/07 23:31:03 INFO mapreduce.Job: Task Id : attempt_1427710479955_0129_r_000000_0, Status : FAILED
Error: java.io.IOException
    at org.apache.nutch.indexwriter.solr.SolrIndexWriter.makeIOException(SolrIndexWriter.java:173)
    at org.apache.nutch.indexwriter.solr.SolrIndexWriter.write(SolrIndexWriter.java:137)
    at org.apache.nutch.indexer.IndexWriters.write(IndexWriters.java:88)
    at org.apache.nutch.indexer.IndexerOutputFormat$1.write(IndexerOutputFormat.java:50)
    at org.apache.nutch.indexer.IndexerOutputFormat$1.write(IndexerOutputFormat.java:41)
    at org.apache.hadoop.mapred.ReduceTask$OldTrackingRecordWriter.write(ReduceTask.java:511)
    at org.apache.hadoop.mapred.ReduceTask$3.collect(ReduceTask.java:440)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:334)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:53)
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:462)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:408)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
Caused by: org.apache.solr.client.solrj.SolrServerException: org.apache.commons.httpclient.ProtocolException: Unbuffered entity enclosing request can not be repeated.
    at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:475)
    at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:244)
    at org.apache.solr.client.solrj.request.AbstractUpdateRequest.process(AbstractUpdateRequest.java:105)
    at org.apache.nutch.indexwriter.solr.SolrIndexWriter.write(SolrIndexWriter.java:135)
    ... 14 more
Caused by: org.apache.commons.httpclient.ProtocolException: Unbuffered entity enclosing request can not be repeated.
    at org.apache.commons.httpclient.methods.EntityEnclosingMethod.writeRequestBody(EntityEnclosingMethod.java:487)
    at org.apache.commons.httpclient.HttpMethodBase.writeRequest(HttpMethodBase.java:2114)
    at org.apache.commons.httpclient.HttpMethodBase.execute(HttpMethodBase.java:1096)
    at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:398)
    at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
    at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
    at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
    at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:422)
    ... 17 more

15/04/07 23:45:44 INFO mapreduce.Job: Task Id : attempt_1427710479955_0129_r_000000_1, Status : FAILED
Error: java.lang.RuntimeException: problem advancing post rec#954132
    at org.apache.hadoop.mapred.Task$ValuesIterator.next(Task.java:1364)
    at org.apache.hadoop.mapred.ReduceTask$ReduceValuesIterator.moveToNext(ReduceTask.java:213)
    at org.apache.hadoop.mapred.ReduceTask$ReduceValuesIterator.next(ReduceTask.java:209)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:176)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:53)
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:462)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:408)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
Caused by: java.io.IOException: Cannot initialize the class: class org.apache.hadoop.io.NullWritable
    at org.apache.nutch.util.GenericWritableConfigurable.readFields(GenericWritableConfigurable.java:49)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:71)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:42)
    at org.apache.hadoop.mapred.Task$ValuesIterator.readNextValue(Task.java:1421)
    at org.apache.hadoop.mapred.Task$ValuesIterator.next(Task.java:1361)
    ... 11 more

15/04/08 00:08:39 ERROR indexer.IndexingJob: Indexer: java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:836)
    at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:114)
    at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:176)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:186)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)


这个问题很奇葩，从日志来看似乎是与solr有关系。一时没有找到好方法，还需要将solr的配置和相关的jar包都加进去，然后也注意下tomcat的执行权限问题。

问题4：出现这个问题job就会停止了，爬虫就不会再爬了。

Error: java.io.IOException
    at org.apache.nutch.indexwriter.solr.SolrIndexWriter.makeIOException(SolrIndexWriter.java:173)
    at org.apache.nutch.indexwriter.solr.SolrIndexWriter.write(SolrIndexWriter.java:137)
    at org.apache.nutch.indexer.IndexWriters.write(IndexWriters.java:88)
    at org.apache.nutch.indexer.IndexerOutputFormat$1.write(IndexerOutputFormat.java:50)
    at org.apache.nutch.indexer.IndexerOutputFormat$1.write(IndexerOutputFormat.java:41)
    at org.apache.hadoop.mapred.ReduceTask$OldTrackingRecordWriter.write(ReduceTask.java:511)
    at org.apache.hadoop.mapred.ReduceTask$3.collect(ReduceTask.java:440)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:334)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:53)
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:462)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:408)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
Caused by: org.apache.solr.client.solrj.SolrServerException: org.apache.commons.httpclient.ProtocolException: Unbuffered entity enclosing request can not be repeated.
    at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:475)
    at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:244)
    at org.apache.solr.client.solrj.request.AbstractUpdateRequest.process(AbstractUpdateRequest.java:105)
    at org.apache.nutch.indexwriter.solr.SolrIndexWriter.write(SolrIndexWriter.java:135)
    ... 14 more
Caused by: org.apache.commons.httpclient.ProtocolException: Unbuffered entity enclosing request can not be repeated.
    at org.apache.commons.httpclient.methods.EntityEnclosingMethod.writeRequestBody(EntityEnclosingMethod.java:487)
    at org.apache.commons.httpclient.HttpMethodBase.writeRequest(HttpMethodBase.java:2114)
    at org.apache.commons.httpclient.HttpMethodBase.execute(HttpMethodBase.java:1096)
    at org.apache.commons.httpclient.HttpMethodDirector.executeWithRetry(HttpMethodDirector.java:398)
    at org.apache.commons.httpclient.HttpMethodDirector.executeMethod(HttpMethodDirector.java:171)
    at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:397)
    at org.apache.commons.httpclient.HttpClient.executeMethod(HttpClient.java:323)
    at org.apache.solr.client.solrj.impl.CommonsHttpSolrServer.request(CommonsHttpSolrServer.java:422)
    ... 17 more

Error: java.lang.RuntimeException: problem advancing post rec#954132
    at org.apache.hadoop.mapred.Task$ValuesIterator.next(Task.java:1364)
    at org.apache.hadoop.mapred.ReduceTask$ReduceValuesIterator.moveToNext(ReduceTask.java:213)
    at org.apache.hadoop.mapred.ReduceTask$ReduceValuesIterator.next(ReduceTask.java:209)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:176)
    at org.apache.nutch.indexer.IndexerMapReduce.reduce(IndexerMapReduce.java:53)
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:462)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:408)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
Caused by: java.io.IOException: Cannot initialize the class: class org.apache.hadoop.io.NullWritable
    at org.apache.nutch.util.GenericWritableConfigurable.readFields(GenericWritableConfigurable.java:49)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:71)
    at org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:42)
    at org.apache.hadoop.mapred.Task$ValuesIterator.readNextValue(Task.java:1421)
    at org.apache.hadoop.mapred.Task$ValuesIterator.next(Task.java:1361)
    ... 11 more

Job failed as tasks failed. failedMaps:0 failedReduces:1

    File System Counters
        FILE: Number of bytes read=4550678317
        FILE: Number of bytes written=9135325272
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=1948818838
        HDFS: Number of bytes written=0
        HDFS: Number of read operations=84
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=0
    Job Counters
        Failed reduce tasks=4
        Killed map tasks=10
        Launched map tasks=31
        Launched reduce tasks=4
        Data-local map tasks=18
        Rack-local map tasks=13
        Total time spent by all maps in occupied slots (ms)=2958546
        Total time spent by all reduces in occupied slots (ms)=3033513
    Map-Reduce Framework
        Map input records=12879328
        Map output records=12879328
        Map output bytes=4555697629
        Map output materialized bytes=4582546030
        Input split bytes=2693
        Combine input records=0
        Spilled Records=25446303
        Failed Shuffles=0
        Merged Map outputs=0
        GC time elapsed (ms)=4776
        CPU time spent (ms)=314730
        Physical memory (bytes) snapshot=7077011456
        Virtual memory (bytes) snapshot=25862344704
        Total committed heap usage (bytes)=7811366912
    File Input Format Counters
        Bytes Read=1948816145

15/04/08 00:08:39 ERROR indexer.IndexingJob: Indexer: java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:836)
    at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:114)
    at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:176)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:186)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

从网上搜了两个解决方案(修改nutch-default.xml ,nutch、solr配置文件保持一致)都没有解决这个问题，

问了某个群里头的一个大牛，说看hadoop的日志，结果hadoop日志中确实有问题。按照这个问题又从网上找个

结果。


2015-04-10 04:04:33,899 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop4:50010:DataXceiver error processing WRITE_BLOCK operation  src: /XXXXXXX  dest: /XXXXX:50010

根据这个问题修改了下hadoop hdfs-site.xml的配置
    <property>
        <name>dfs.datanode.max.transfer.threads</name>
        <value>8192</value>
    </property>

 

其他解决办法：

删除hadoop里头的 /linkdb路径；

修改nutch-default.xml的plugin.folders属性值

 




转载于:https://my.oschina.net/u/2329222/blog/397032

weixin_34004750
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JAVA上百实例源码以及开源项目
01-03
5个目标文件，演示Address EJB的实现，创建一个EJB测试客户端，得到名字上下文，查询jndi名，通过强制转型得到Home接口，getInitialContext()函数返回一个经过初始化的上下文，用client的getHome()函数调用Home接口...
org.apache.commons.httpclient.ProtocolExctption:Unbuffered entity enclosing request can not be repea
liangdingguo的博客
08-20 925
接口提交webservice 报文的时候，对方系统报这个错误返回，原因：对方用了nginx转发请求的，但是它的版本是1.18的，导致出问题了，要求对方将nginx版本改回1.1
connection reset和Unbuffered entity enclosing request can not be repeated问题解决方法
qq_20367813的博客
05-18 1911
connection reset和Unbuffered entity enclosing request can not be repeated问题解决方法 有段程序需要通过HTTP访问服务器的接口，突然connection reset错误，报错信息如下 Connection reset java.net.SocketException: Connection reset at java.net.SocketInputStream.read(Unknown Source) at java.net
org.apache.commons.httpclient 访问需要验证的webservice的一些问题
zhou的专栏
08-29 8071
1、httpclient验证问题   webservice需要验证时，直接发送请求会返回 HTTP/1.1 401 Unauthorized 错误  这时候需要设置：         Credentials defaultcreds = new UsernamePasswo
httpclient的一些学习心得
z69183787的专栏
02-13 2641
最近忙于一个项目，了解下httpclient，在这里总结出来，和大家一起学习分享，希望各位朋友提出宝贵的意见。  首先介绍一下项目的背景：    目标：把国内一家保险公司的“ＷＥＢ一账通”改成“ＷＡＰ一账通”。    资源：客户不提供任何的webservice接口。     本项目中用到的第三方组件是apache的httpclient，一个非常强大的网页抓取工具（抓这个字用得可能不太
httpClient发起请求时报ClientProtocolException的错误
热门推荐
Tison的博客
05-21 3万+
错误位置： 错误截图： 解决方案： 请求头里去掉Content-Length 测试结果：
JAVA上百实例源码以及开源项目源代码
12-11
Message-Driven Bean EJB实例源代码 2个目标文件 摘要:Java源码,初学实例,EJB实例 Message-Driven Bean EJB实例源代码，演示一个接收购物订单的消息驱动Bean,处理这个订单同时通过e-mail的形式 //给客户发一个感谢...
java开源包1
06-28
Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。 彩信发送开发包 apimms apimms 提供了各种语言用来发送彩信...
java开源包11
06-28
Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。 彩信发送开发包 apimms apimms 提供了各种语言用来发送彩信...
java开源包2
06-28
Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。 彩信发送开发包 apimms apimms 提供了各种语言用来发送彩信...
solr cloud重新设置schema
11-02 1757
solr cloud重新设置schemasolr 配置文件目录结构单个主机：<solr-home-directory>/ solr.xml core_name1/ core.properties conf/ solrconfig.xml managed-schema data/
数一数SolrCloud5.5遇到的几个坑。。。
owenbkq的专栏
11-16 2450
细数SolrCloud5.5遇到的坑。。。突然发现关于SolrCloud5.5部署的那片文章截图没显示，本人比较懒，不去修改了，争取这篇不用图。 SolrCloud搭建好了之后，按照网上搜集的资料，新建了一个collection，其中配置文件是拷贝的solr-5.5.1/server/solr/configsets/basic_configs/conf下面的基础配置文件，然后将managed-sc
【Hadoop】Hadoop2.7.3执行job下来几个bug和解决思路
ECNU乐扣老师——区块链、可计算情感
09-01 1万+
最近执行hadoop的job下来，发现三个问题。 给出现象和可能的解决方法。 原创，转载请注明本博客。
Nutch报错和解决方法
weixin_33691700的博客
07-14 146
2019独角兽企业重金招聘Python工程师标准>>> ...
solr4.4以上版本安装及安装过程中出现的错误解决方法
caiyouwen的专栏
12-06 1万+
本文介绍的是Solr–4.4.0的安装 1.安装jdk环境（1.6及以上）及tomcat 2.下载官网solr的安装包solr-4.4.0.tgz并解压（此处以SOLR_DIR表示） 3.复制SOLR_DIR/dist/solr-4.4.0.war 到tomcat的webapps目录下（tomcat下部署项目的方式之一，这纯粹看个人喜好）并启动tomcat，此时查看tomcat的日志cata
python使用mrjob执行命令报错
weixin_44385465的博客
10-30 1340
环境 centos6.9，python3.6，hadoop2.7.5 问题 写好使用mrjob的wordcounter.py文件，执行 python WorldCount.py -r hadoop -o hdfs://localhost:9000/output hdfs://localhost:9000/input 报错 No configs found; falling back on auto-configuration No configs specified for hadoop runner
solr基于内置netty做分布式部署，具体过程
最新发布
03-22
Solr基于内置Netty做分布式部署的具体过程如下： 1. 首先，Solr使用ZooKeeper来管理分布式部署的节点。每个Solr节点都会向ZooKeeper注册自己的信息，并从ZooKeeper获取其他节点的信息。 2. Solr使用内置的Netty来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值