汪雨田的专栏----c语言，算法设计，php,linux,mysql

由于公司需要对用户的访问行为实时计算，推荐出用户喜欢的影片，所以采用当下最流行的工具sparkstreaming对log日志的数据进行及时分析送给算法部门进行推荐数据，同时本人对sparkstreaming好奇，看了一些关于sparkstreaming方面的书籍，通过网上的streaming对kafka写入和读取数据代码在idea进行测试，代码比较简单，但第一次接触scala语言以及第一次接触id...

第一部分对sparkstreaming向kafka写数据和读取数据进行简单的测试和开发，本部分主要是从kafka消费数据的时候，防止意外情况sparkstreaming程序终止运行，导致数据丢失情况发生，需要对kafka的offset 进行记录，在这里我用的是直接读取kafka的方式（createDirectStream），没有经过zookeep，所以这个读取的偏移量需要自己去维护。消费者代码...

1. 在pom.xml文件中引用依赖，和mybatis-generator插件<dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId&gt...