- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 用kafka接收mysql的binlog消息
1、更改mysql的参数，并重新启动mysql更改my.cnf，主要更改如下的选项binlog_format=row2、下载maxwell源代码:https://github.com/zendesk/maxwell直接下载安装包:https://github.com/zendesk/maxwell/releases/download/v1.19.0/maxwell-1.19.0.ta...
2018-10-30 16:54:06
3773
原创 httpclient连接池的配置方法
HttpClient和Lucene一样，每个版本的API都变化很大，这有点让人头疼。笔者碰到的情况最早在hadoop环境用httpclient发起httpjson请求，在本地调试的时候用的4.5.2版本，放到hadoop环境中运行报错，无奈只好将httpclient降级成4.2.5版本。最后终于用了低版本的httpclient完成了任务。如下是我这边整理了一下两个版本连接池的方法：1、...
2018-10-24 17:37:32
2639
1
原创 用SPARK查找二度好友
鉴于上篇用mapreduce实现查找二度好友，代码偏多而且复杂。如果用spark来实现的话，可以大大减少代码量，如下是笔者的实现代码：package bigdata.testsparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject FindDegree2Friends { va...
2018-10-10 15:55:14
979
原创 用Mapreduce查找二度好友
最近参与了一个项目，其中有一个就是如何给用户推荐好友。推荐的办法就是寻找该用户的好友的好友，而且该好友的好友不能是自己的好友。由于系统数据量比较大，故采用mapreduce的方式去处理。如下是笔者的详细代码：package hadoop.secondfriend;import java.io.IOException;import java.util.HashSet;import j...
2018-09-13 16:49:12
870
crash掉数据库的若干可能
2009-09-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人