java
松果仁
淡泊名利 宁静致远
展开
-
spark mongodb 写入操作-基于java
方式一通过Dataset.format方式写入mode: overwrite appendDataset<User> userDataset = ....;userDataset.write().format("com.mongodb.spark.sql.DefaultSource") .option("spark.mongodb.output.uri", "mongodb://test:[email protected]:27010")原创 2020-08-28 17:38:53 · 496 阅读 · 0 评论 -
基于spark进行多源数据关联统计分析
spark引擎进行多数据关联分析业务背景解决方案代码示例业务背景很多统计需求是根据现有存储进行统计分析:1、关系型数据库存储基本关系数据,MySQL、oracle、pg等。2、非关系型数据库存储详细数据,MongoDB、HBase、ES等。解决方案通过spark引擎加载多源数据,进行统计分析。处理流程图代码示例//加载jdbc数据 Dataset<Row> ...原创 2020-02-01 15:22:41 · 1084 阅读 · 0 评论 -
maven安装jar包到本地maven仓库
执行命令mvn install:install-file -Dfile=F:\libs\hbase-spark-1.0.1.jar -DgroupId=fakepath -DartifactId=hbase-spark -Dversion=1.0.1 -Dpackaging=jar -DgeneratePom=true原创 2019-12-09 10:35:28 · 180 阅读 · 0 评论 -
jvm命令-转载
1、jps作用:显示系统中所有Hotspot虚拟机进程。12参数:-l :输出主类全名。-v:输出虚拟机进程启动的jvm参数。-m:输出启动时传递给main函数的参数。-q:只输出LVMID,省略主类的名称。示例:➜ ~ jps ➜ ~ jps -l ➜ ~ jps -v ➜ ...转载 2018-07-26 10:13:40 · 129 阅读 · 0 评论 -
Spring Cloud Netflix 微服务架构分享
一 专业术语Eureka:服务注册中心。 Zuul:网关,所有的客户端请求通过这个网关访问后台的服务。 Ribbon:即负载均衡,Zuul网关将一个请求发送给某一个服务的应用的时候,如果一个服务启动了多个实例,就会通过Ribbon来通过一定的负载均衡策略来发送给某一个服务实例。 Feign:服务客户端。 Hystrix:监控和断路器。我们只需要在服务接口上添加Hystrix标签,就...原创 2018-07-26 11:54:15 · 1676 阅读 · 0 评论 -
linux下yapi安装步骤
官方链接地址环境要求nodejs(7.6+) 请参考 linux下nodejs安装简化版本mongodb(2.6+)安装# npm install -g yapi-cli --registry https://registry.npm.taobao.org 执行完 会提示/nodejs/node-v10.16.0-linux-x64/bin/yapi -> /nodejs...原创 2019-07-16 21:09:06 · 6109 阅读 · 1 评论 -
Spring boot Mybatis多数据源支持
前言由于项目的数据存储在多源关系型数据库中,oracle、mysql等,需要提供对多源数据库链接的支持。同时支持MySQL jpa操作。application.yml配置需要去掉spring boot默认的jdbc链接配置spring:# url: jdbc:mysql://127.0.0.1:3306/testdb?useUnicode=true&characterEnc...原创 2019-08-04 10:16:30 · 154 阅读 · 0 评论