- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Springcloud结合zookeeper配置中心
Springcloud结合zk实现动态配置SpringCloud结合git配置不足：需要一个应用作为服务端，并且没有自动监听配置的更改功能。于是我们就借助zk来帮我们完成这个通知。安装zk 首先我们需要一个zk集群。下载地址 我们的项目需要配置ssh能够直接访问集群，测试就直接在本地进行。安装zkui 因为配置文件统一在zk上管理。所以安装个zkui方便修改（安装方式如下）。登录端...
2018-04-29 00:27:39
4096
转载 什么是交叉熵
作者：CyberRep链接：https://www.zhihu.com/question/41252833/answer/195901726来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。讨论这个问题需要从香农的信息熵开始。信息熵。熵是热力学中的概念，是一种测量在动力学方面不能做功的能量总数，也就是当总体熵的增加，其做功能力也下降，熵的量度正是能量退化的指标——维基百...
2018-04-27 00:22:30
5300
5
原创 机器学习helloworld（实例）
keras mnist实例相信准备入坑机器学习的朋友们，大多数刚开始看着众多的数学公式，会有种想放弃的挫败感！至少我是这样的。坚持下来，找到适合的方式，相信很快你也会写出自己机器学习的 helloworld！入坑指南 提取密码:5s0ukeras简介 是一个高层神经网络API，简易和快速的原型设计。好处在于可以很快地实现网络模型的搭建，数据输入输出也很方便，不像tf那样各种编码解码才能...
2018-04-26 00:56:42
739
转载 【案例分享】唯品会海量实时OLAP分析技术升级之路
【文章来源：DBAplus社群。本文根据谢麟炯老师在〖DAMS 2017中国数据资产管理峰会〗现场演讲内容整理而成】讲师介绍谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。分享大纲：海量数据
2018-04-24 16:53:44
1279
1
原创 presto导数
presto导出数据csvpresto官方文档并没有提供便捷的导数方法。根据查询的量级，我们只好自己选择导出的方式。数量较少考虑使用工具superset（百万级以下的） superset支持的数据源也很多。按照文档，根据自身系统执行相应的命令安装即可。安装完成后然后我们可以在界面上操作添加数据源，执行相关的查询后点击导出即可。 数量量较大时命令行接口（Command Line In...
2018-04-23 17:05:07
3266
原创 KafkaException：Fetching topic metadata with correlation id 0 for topics [Set(test)]
本地链接远程Kafka异常远程机器fp-bd13搭建最新版Kafka （自带zookeeper），按照文档默认配置启动。远程新建producer和costumer一切正常。 本地spark链接：JavaPairReceiverInputDStream<String, String> kafkaStream =KafkaUtils ...
2018-04-17 11:32:31
10376
6
原创 Spark JavaPairRDD按值排序
Spark Tuple2元组根据Value排序今天遇到一个需求获取日志里每个方法调用的调用次数。在看了JavaPairRDD排序方法，都是按key进行操作的。sortByKey()5个方法，包括自定义Comparator的，都是按照Key来排序，有点伤感。 def sortByKey(comp: Comparator[K]): JavaPairRDD[K, V] = sortByKey(...
2018-04-16 19:23:36
3361
原创 Spark NoSuchMethodError
org.apache.spark.deploy.SparkHadoopUtil.getFSBytesReadOnThreadCallback()最近玩 Spark 遇到几次 NoSuchMethodError （找不到对应的方法） ，主要还是版本问题。比如我在2.2.1中使用下面方式读取文件就会抛出异常：SparkConf sparkConf = new SparkConf().set...
2018-04-16 18:57:29
2044
原创 springboot整合neo4j
springboot整合neo4j 执行指令之前上网搜索配置都很凌乱，于是在 springboot neo4j文档 中摸索了下。 - pom配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactI...
2018-04-13 16:22:04
2095
原创 Presto Error moving data files from hdfs
Error moving data files from hdfs: to final location hdfsazkaban执行批量执行presto任务时遇到：prestodb.exceptions.PrestoExternalError: PrestoExternalError(type=EXTERNAL, name=HIVE_FILESYSTEM_ERROR, message=...
2018-04-03 11:17:07
1020
Docker技术入门与实战PDF
2017-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人