- 博客(3)
- 收藏
- 关注
RSS订阅原创 elasticsearch时间柱状图聚合java实现
需求：统计每天有多少条数据,以及某字段的平均值。1. 使用DateHistogramAggregationBuilder按天统计，再嵌入aggs取平均值。如果要对结果进行排序，在 AggregationBuilders 加上 .order(Histogram.Order.COUNT_DESC) AvgAggregationBuilder avgAggregationBuild...
2018-11-08 12:19:51
5734
原创 spark读取hive数据-java
需求：将hive中的数据读取出来，写入es中。环境：spark 2.0.2 1. SparkSession里设置enableHiveSupport() SparkConf conf = new SparkConf().setAppName("appName").setMaster("local[*]"); SparkSession spark = SparkSession ...
2018-11-08 12:18:29
9516
原创 selenium+PhantomJs爬虫
需求：urlopen得到的数据不正确，发现是因为界面经过js渲染，故使用selenium尝试一下。1. 安装brew install seleniumbrew install phantoms配合Chrome使用需要安装chromedriver:下载地址 注意驱动版本与浏览器版本要对应将下载的可执行文件(chromedriver) 移动到/usr/bin下最后，把 phant...
2018-11-08 12:12:53
366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人