- 博客(4)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 spark kryo压缩报错问题
由于上游数据湖数据压缩格式改变使用spark sql的thrift jdbc接口查询数据时报错19/07/29 06:12:55 WARN scheduler.TaskSetManager: Lost task 1.0 in stage 1.0 (TID 4, svldl015.csvw.com, executor 1): org.apache.spark.SparkException: Kr...
2019-07-29 10:45:07
1026
原创 第一周《统计学基础》
示例数据一：23 29 20 32 23 21 33 25(1) mean 算数平均数：所有数据的平均值 (23+29+20+32+23+21+33+25)/8=25.75几何平均数：所有数值的连乘积开项数次方根 ³√(ABC)加权平均数：所有数值乘以自己的权重后相加/权重的和(k1A+k2B+k3C)/(k1+k2+k3)(2) median 中位数：所有数据排序后，正好在中...
2019-07-17 18:12:02
291
原创 logstash从kafka读json格式日志输入es
老大让研究ELK，经过几天的摸索，终于把流程跑通了。版本：kafka 0.10.2.0logstash 5.3.0elasticsearch 5.3.0修改logstash中配置文件vi logstash.confinput { kafka{ bootstrap_servers => ["10.10.10.10:9092"] group_...
2019-07-15 17:44:56
5032
原创 Oozie-client的api读取集群workflow信息（kerberos认证）
引用maven<dependency> <groupId>org.apache.oozie</groupId> <artifactId>oozie-client</artifactId> <version>4.1.0</version> ...
2019-07-08 13:55:40
1598
大数据及其常用组件介绍
2018-11-06
window平台 ncat工具
2018-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人