云计算
Crazy丶魂仔_
There is much opportunity for anyone willing to dedicate himself to his labors.
付出努力的人才有机会出人头地。
展开
-
java.lang.RuntimeException: HRegionServer Aborted问题
2018-10-20 20:38:01,799 INFO [regionserver/linux02/192.168.3.21:16020] regionserver.HRegionServer: STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server linux02,16020,1540039076...原创 2019-02-12 10:46:56 · 4839 阅读 · 1 评论 -
RPC通信
远程过程调用,可以通过网络远程计算机请求服务,不需要关注底层网络协议实现,通常请求从客户机发起,服务程序由服务器提供特点:RPC采用C/S模式客户端发送一个带有参数的请求信息到服务端服务器端根据发送过来的参数调用相应的程序,将结果发送回客户端客户端接受到结果后继续运行透明性:对于用户来说,远程调用其他机器上的程序,和调用本地方法一样高性能:能够并发处理多个来自客户端的请求可控制...原创 2019-02-18 19:17:36 · 316 阅读 · 0 评论 -
Spark启动时出现Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configur
$ sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/spark-1.6.0-cdh5.13.2/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-bigdata.outfailed to launc...原创 2019-02-20 00:41:08 · 11469 阅读 · 1 评论 -
Exception in thread "dispatcher-event-loop-1" java.lang.NoClassDefFoundError: com/fasterxml/jackson/
启动Spark时(CDH版本较常见),报如下错误:19/02/20 00:20:33 INFO StandaloneRestServer: Started REST server for submitting applications on port 6066Exception in thread "dispatcher-event-loop-1" java.lang.NoClassDefFo...原创 2019-02-20 00:48:17 · 4913 阅读 · 6 评论 -
Kafka常见问题
1. 如果想消费已经被消费过的数据,如何实现?consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,那你连一条数据都抓不到,但是log文件中明明可以看到所有数据都好好的存在。换句话说,一旦你消费过这些数据,那你就无法再次用同一个groupid消费同一组数据了。原因:消费者消费了数据...原创 2019-03-06 19:54:26 · 1701 阅读 · 2 评论 -
Kafka详解
消息队列内部实现原理为什么需要消息队列?解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。利于扩展和维护冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列采用的“插入-获取-删除”范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。扩展...原创 2019-03-08 00:06:36 · 512 阅读 · 0 评论