- 博客(12)
- 收藏
- 关注
RSS订阅原创 flume + spark-streaming + kafka + hdfs 实时解析日志的一种方式
记录前段时间写的一个实时解析日志应用，本次采用flume对接日志，进入kafka,spark-streaming实时消费kafka里面的数据，然后结果持久化保存在hdfs里面。1、数据采集 数据采集使用的是flume,在这个地方flume采集到日志之后，将会在hdfs保存一份原始日志，同时将日志实时写入kafka的指定topic（例如stream_topic_1）。2、数据解析 数据解...
2018-05-08 11:08:15
1271
原创 spark streaming + kafka0.10以及kafka的offset管理
最近在将产品的spark版本由1.6升级到2.2版本之后 对应的其他包的版本也要升级，spark-streaming-kafka用的是0-10下面是测试样例亲测可用def main(args: Array[String]): Unit = { val conf = new SparkConf() val ssc = new StreamingContext(conf, Seconds(...
2018-04-17 21:24:18
2514
原创 spark链接redis报错Too many open files
最近在写spark调用redis的时候总是遇到如下错误：18/03/28 16:36:40 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.IllegalStateException: failed to create a child event loopjava.lang.IllegalStateExcep...
2018-04-17 21:04:42
1339
转载 go import后带“_”下划线的意义
调用其init函数，而不能调用其内部方法在Golang里，import的作用是导入其他package，但是今天在看beego框架时看到了import 下划线，不知其意，故百度而解之。 import 下划线（如：import _ hello/imp）的作用：当导入一个包时，该包下的文件里所有init()函数都会被执行，然而，有些时候我们并不需要把整个包都导入进来，仅仅是是希望它执
2018-02-02 11:58:22
5861
原创 x-pack 破解
1、先去官网下载一个x-pack-5.4.0.zip 下载地址：https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.4.0.zip2、解压到x-pack 目录 参考命令: unzip x-pack-5.4.0.zip -d x-pack3、新建一个LicenseVerifier.java文件里面内容：package
2018-02-01 10:22:26
708
转载 rails里面的撤销操作
rails里面的撤销操作即使再小心,在开发 Rails 应用的过程中也可能会犯错。幸好 Rails 提供了一些工具能够帮助我们还原操作。举例来说,一个常见的情况是,更改控制器的名字,这时你得删除生成的文件。生成控制器时,除了控制器文件本身之外,Rails 还会生成很多其他文件(参见代码清单 3.4)。撤销生成的文件不仅仅要删除控制器文件,还要删除一些辅助的文件。(在 2.2 节
2015-12-24 10:55:19
513
转载 respond_to 和 respond_with
respond_to可以讓你根據客戶端要求的格式進行不同的格式回應，以 RESTful 與 Rails 中完成的應用程式首頁為例，若想要客戶端在請求http://localhost:3000/bookmarks.html、http://localhost:3000/bookmarks.xml、http://localhost:3000/bookmarks.json時，分別給HTML、XML、JSO
2015-12-23 15:35:18
5858
转载 Ubuntu黑屏解决及安装最新显卡驱动
Ubuntu黑屏解决及安装最新显卡驱动笔记本安装Ubuntu（或其他版本linux）很容易出现系统自带显卡驱动不兼容的情况，导致无法进入图形界面或者花屏等问题，这里记录从网上搜集来的解决方法。由于Ubuntu与笔记本的兼容性本身就不好，所以笔记本安装会有一些共有的问题，比如发热量大，风扇狂转，耗电，这是电源管理做的不好。有时还会出现死活安装不上的情况，无论是U盘安装、光盘安装，
2015-12-23 10:22:44
7342
原创 ruby学习---数组类（Array）
1，数组的创建 （1）使用[ ]来创建数组 num = [2,3,4,5,6] str = ["a","d","c" ] （2）使用Array.new 来创建 （3）使用%w与%i来创建2，to_a方法。 对散列对象使用to_a方法，结果会得到相应的数组的数组。
2015-12-22 17:27:39
372
原创 ruby--数值类（Numeric）
1，数值类的构成 Numeric（数值）分为四类：1，整数（Integer） 2，浮点小数（Float） 3，有理数（Rational） 4，复数（Complex）其中，Integer有可以分为两种，一种是表示计算机硬件可以处理的Fixnum类，另外一种是比Fixnum更大的数值Bignum类。程序中的整数一般都是在Fixnum范围内的，如果超过了Fixnum的范围，
2015-12-22 16:22:10
1276
转载 Ruby rails 页面跳转(render和redirect_to)
redirect_to实现的是action方法的跳转，向浏览器发起一个新的请求，具体使用方法如下：redirect_to :action => 'edit', :id => 7redirect_to "http://wiisola.javaeye.com/"redirect_to "/images/1.jpg"redirect_to :back 其中第4行是回到上一次访问的页面。re
2015-12-22 15:36:47
811
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人