- 博客(9)
- 收藏
- 关注
原创 实时解析日志遇到的问题记录
使用createDirectStream实现精确一次的读取,kafka的offset保存到Zookeeper中。1. kafka参数auto.offset.reset :smallest, largest 默认为”largest”,此配置参数表示当此groupId下的消费者,在ZK中没有offset值时(比如新的groupId,或者是zk数据被清空),consumer应该从哪个offset开始消费
2016-12-06 18:05:34 599
原创 zbus
准备使用对数据流进行改造,zbus比较轻量,使用也挺简单的,今天使用的时候遇到了几个问题,在此记录一下:1. idea java工程生产者消费者运行了一下没什么问题,不过用web工程报错了:java.lang.NoClassDefFoundError: org/zbus/broker/Broker查了一下,应该是idea的问题,发布工程的时候没有将相关jar包引入 把avaliable的包引
2016-11-09 20:22:51 1714 1
原创 Spark项目问题记录
问题一,打包spark项目,idea编译器,导入jar包的方式打包没问题,用maven导包之后编译还按照之前的Project Structure方式打包,执行spark-submit报错:Exception in thread “main” java.lang.SecurityException: Invalid signature file digest for Manifest main att
2016-11-04 14:24:55 724
原创 Centos安装MySQLdb记录
项目要用python连接mysql,查了一下需要python的MySQLdb模块。 首先在python中确定有没有安装这个模块 import MySQLdb #注意大小写 发现并没有安装,下面开始安装1.安装mysql相关的库服务器上默认的mysql版本是这样的yum list installed | grep mysql 发现这个里边并没有mysql-devel这个东西,它包含了编译客户端相
2016-10-20 14:48:25 353
原创 上传文件服务器搭建
有需求需要搭建一个上传文件服务器,最开始考虑使用Nginx+upload模块,后台php处理,后来尝试了一下tomcat+spring方法,都可以满足需求。Nginx + upload module网上的配置文章比较多,这里只是记录一下出现的坑吧。1. nginx加上upload 模块后编译不过upload module貌似只支持到nginx 1.3.8,开始使用高版本的nginx老是编译不过,后来
2016-10-19 15:57:39 5035
转载 MapReduce --InputFormat
原以为理解了WordCount程序实现,但是稍稍有些改变又发现不清楚了,回头看就是WordCount还是有一些不明白的,比如里边setInputFormat就不知道是干嘛的,找到一篇博文,大神讲解的很详细: http://www.cnblogs.com/shitouer/archive/2013/02/28/hadoop-source-code-analyse-mapreduce-inputfor
2016-10-10 11:27:19 291
转载 MapReduce实现技术分析+WordCount分析
之前看了一些MapReduce的文章,单独讲Mapreduce各步骤实现过程和WordCount的比较多。尤其是WordCount程序的分析基本都是粘贴官方的,并不是很详细。 看到 雷子-晓飞爸 的文章 http://www.cnblogs.com/npumenglei/ ,觉得写的非常好,拿来参考一下。 图中没有包含spill,spill是MapReduce利用内存缓冲的方式提高效率,
2016-10-09 16:34:42 677
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人