- 博客(4)
- 收藏
- 关注
RSS订阅原创 整合sparkstreaming和kafka，手动管理kafka的offsets(重点)
前言： 基于最近面试，两次被问到sparkstreaming消费kafka数据，程序突然退出怎么保证重新启动程序，数据不丢失和重复消费。因为项目本身也没怎么用到kafka这块，所以这个不是很清楚，以前也就让kafka默认管理offsets的方式，自动更新offsets到zookeeper。 1。我使用的软件及版本：apache-flume-1.6.
2017-06-09 10:40:15
1802
原创 写在之前的话
2013年进入行业，从java转到大数据一路走来，遇到了数不清的问题感谢csdn为我提高了很多解决问题的方法和思路。如今，想静下心来，好好回归过去一年从事大数据的各种点点滴滴。对于自己是一个总结和回顾，也希望能给予对大数据感兴趣的同学一些帮助。 荆轲刺秦王
2017-02-22 22:37:27
429
原创 Centos7.1+Openstack-L版本安装笔记
Centos7.1+Openstack-L版本安装笔记公司想上open stack ，所以花费来一周时间去学习。整理了份安装文档，也算自我的一个总结吧。这个文档我已亲测，能顺利安装。1. 准备工作2. 硬件设备准备2.1笔记本电脑一台，CPU支持VT，内存>=4G，可用磁盘空间大于50G。2.2安装VirtualBox 或VMWARE workstation
2016-02-02 08:14:09
7310
原创 启动Hbase后Hmaster自动消失问题记录
之前有几次启动Hbase后Hmaster会出现一会后自动消失，经过在网上寻找方法。总结如下：1、可以先删掉zookeeper下自己定义的data文件里的版本信息（当然myid不能删），然后在删掉hdfs里的hbase创建的文件夹。最好在重新格式化下hdfs 格式命令：hdfs namenode -format。如果还是不行的话就删除hadoop安装目录下的tmp文件夹。做个记录，方便以后使用。
2015-05-03 22:59:45
3046
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人