Nutch2.2.1抓取错误——java.sql.BatchUpdateException: Incorrect string value: '\xF2\xA3\xAC\xB7\xEF\xBF.

Nutch抓取数据时报错如下
[plain]  view plain  copy
  1. 2016-05-13 19:31:55,415 WARN mapred.LocalJobRunner - job_local1852033656_0004  
  2. java.lang.Exception: java.io.IOException: java.sql.BatchUpdateException: Incorrect string value: '\xF2\xA3\xAC\xB7\xEF\xBF...' for column 'text' at row 1  
  3. at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)  
  4. Caused by: java.io.IOException: java.sql.BatchUpdateException: Incorrect string value: '\xF2\xA3\xAC\xB7\xEF\xBF...' for column 'text' at row 1  
  5. at org.apache.gora.sql.store.SqlStore.flush(SqlStore.java:340)  
  6. at org.apache.gora.sql.store.SqlStore.close(SqlStore.java:185)  
  7. at org.apache.gora.mapreduce.GoraRecordWriter.close(GoraRecordWriter.java:55)  
  8. at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.close(MapTask.java:650)  
  9. at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)  
  10. at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)  
  11. at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:223)  
  12. at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)  
  13. at java.util.concurrent.FutureTask.run(FutureTask.java:266)  
  14. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)  
  15. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)  
  16. at java.lang.Thread.run(Thread.java:745)  
  17. Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xF2\xA3\xAC\xB7\xEF\xBF...' for column 'text' at row 1  
  18. at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:2028)  
  19. at com.mysql.jdbc.PreparedStatement.executeBatch(PreparedStatement.java:1451)  
  20. at org.apache.gora.sql.store.SqlStore.flush(SqlStore.java:328)  
  21. ... 11 more  
  22. Caused by: java.sql.SQLException: Incorrect string value: '\xF2\xA3\xAC\xB7\xEF\xBF...' for column 'text' at row 1  
  23. at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)  
  24. at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3609)  
  25. at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3541)  
  26. at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2002)  
  27. at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2163)  
  28. at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2624)  
  29. at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2127)  
  30. at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2427)  
  31. at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:1980)  
  32. ... 13 more  

错误原因:

utf-8一个字符支持最多3个字节,而utf8mb4最多支持4个字节,上述的原因就是nutch配置的MYSQL数据库数据类型为utf-8,修改成utf8mb4即可

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值