- 博客(43)
- 资源 (5)
- 收藏
- 关注
原创 AWS CUR 使用 ClickHouse S3 外表
在存放 AWS CUR 的账号的 S3 bucket policy 里添加权限,允许 ClickHouse 跨账号读取桶内资源(新增以下代码中 Statement 内容,但不覆盖原有策略,此处添加的是 resource-based policy,授予 ClickHouse 使用的 IAM Role 只读权限。跨账号访问 S3 bucket 的权限策略,此处添加的是 identity-based policy,授予 ClickHouse 使用的 IAM Role 只读权限。
2022-09-16 17:58:36
446
原创 Google Analytics Service account 认证指南
Service account 官方文档 https://developers.google.com/identity/protocols/oauth2/service-account。控制台地址:https://analytics.google.com/analytics/web/#/a142750015w294314375p255868300/admin。project 控制台:https://console.cloud.google.com/cloud-resource-manager。
2022-09-05 14:38:51
960
原创 ClickHouse S3 外表调研
Superset 是非常优秀的开源的数据可视化工具,尽管暂不直接支持基于 S3 外表来创建 Dataset 进行数据可视化,但我们可以通过 Dataset 的 Virtual SQL 功能来解决。当前,ClickHouse 能快速的查询和分析自身写入到 S3 上的数据,但我们还期望 ClickHouse 能查询和分析。除了提供对建表语句中的字段进行查询外,还额外提供如下 2 个虚拟列供我们查询和筛选。来提供对 S3 上数据查询和分析的功能
2022-09-05 11:53:21
672
原创 数据可视化工具调研
metabase是由 metabase 公司开发的大数据分析工具,可以让用户简单、快速的对数据进行分析。目前有社区版和企业版 2 个版本。superset是 Apache 开源的一款分布式的数据分析工具,它具备快速、轻量、直观的特点,使用户可以轻松探索和可视化自己的数据。在支持的数据源、数据可视化、权限及 Dashboard 种类等功能上 Superset 要比 Metabase 占一定的优势。在数据可视化情况下 Metabase 可以做多表的 Join 操作。而只能针对单表来进行可视化操作。
2022-09-05 10:34:59
433
原创 Flink-1.12.0 编译安装
文章目录1.下载flink源码2.解压1.下载flink源码下载src源码,不是bin二进制文件。官网寻找或者github寻找源码https://flink.apache.org/downloads.htmlhttps://github.com/apache/flink/releases2.解压tar -zxvfmvn clean install -DskipTests -Dfast -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.15.1...
2021-01-17 15:43:41
1820
9
原创 浏览器密码输入框input password自动填充终极解决办法
可选景点路程欢乐谷45分钟花博汇1小时30分钟杜莎夫人蜡像馆25分钟东西湖郁金香主题公园2小时金龙水寨1小时40分钟
2020-11-05 15:29:19
2252
6
原创 Hadoop之数据仓库Hive
文章目录1.Hive介绍1.1 Hive是什么1.2 Hive产生背景1.3 使用Hive的好处1.4 Hive的架构1.Hive介绍1.1 Hive是什么Hive 是在 Hadoop 分布式文件系统 (HDFS) 之上开发的 ETL 和数据仓库工具由 Facebook 实现并开源Hive 提供写 SQL 的方式对存储在 Hadoop 集群里面的数据进行清洗、加工,生成新的数据并存储到 Hadoop 集群当中。1.2 Hive产生背景Mapreduce 编程不方便没学过java的怎么办
2020-07-05 19:55:06
357
原创 Hadoop之资源调度框架YARN
文章目录1.YARN产生背景1.1 MapReduce1.x 存在一些问题1.2 优化资源利用率和降低运维成本2.YARN概述2.1 关键词汇概念2.2 执行流程3.YARN的部署4.提交Job到YARN运行4.1 运行hadoop内置mapreduce-examples任务4.2 运行自己编写的任务4.2.1 **AccessYARNApp**4.2.2 打包项目4.2.3 上传项目jar4.2.4 执行命令1.YARN产生背景1.1 MapReduce1.x 存在一些问题JobTracker
2020-06-07 21:43:40
262
原创 Hadoop之MapReduce 根据用户流量日志文件数据统计每个用户流量总和
文章目录1.实现需求2.MapReduce编程模型1.实现需求2.MapReduce编程模型input读取文件splitting分割文件,框架自动完成mapping处理文件,以key,value的方式存储 ,需要自己实现shuffing把相同的key归类到一起,框架自动完成Reducing处理相同的key的数据,需要自己实现Final result处理最后结果...
2020-05-16 17:27:35
2100
原创 学习 spring-cloud-aibaba第九篇,综合应用微信小程序《背诗词》
文章目录1.背诗词小程序界面和功能点1.1 界面展示1.2 功能介绍2.架构图2.1 理想中架构图2.2 实际上的架构图3 源码共享4 线上体验5.披过荆斩过棘6.存在的不足1.背诗词小程序界面和功能点1.1 界面展示大家如果要体验我的小程序,微信搜索 背诗词 就可以了,全匹配的那个小程序就是我的首页赏析点击首页的“赏析”按钮默写我的未登录已登录历史记录积分明...
2019-11-25 16:15:59
1536
原创 调整sqldeveloper界面字体和编辑器字体
文章目录1.更改界面字体2.更改编辑器字体第一次打开sqldeveloper,菜单字体都太小了,眼睛都要瞎了,网上搜索解决办法,前篇一律,都是修改编辑器字体,简直驴唇不对马嘴!!!人狠话不多,自己写一篇实用的1.更改界面字体创建桌面快捷方式对快捷图标右键----> 属性 ------> 兼容性兼容模式选择win7,我的系统win10,也是选择的win7继续点击 ...
2019-09-26 10:17:43
6284
14
原创 学习 spring-cloud-aibaba第八篇,Nacos配置文件管理
文章目录1.配置文件管理可以帮我们做什么?2.Nacos组件实现配置文件管理特别声明:整理自慕课网大目师兄的微服务视频,链接:https://coding.imooc.com/learn/list/358.html1.配置文件管理可以帮我们做什么?可以做到不同环境使用不同的配置动态刷新,修改配置属性不用重启应用2.Nacos组件实现配置文件管理在学习spring-cloud-aib...
2019-09-11 09:09:14
2300
原创 学习 spring-cloud-aibaba第七篇,JWT认证授权
文章目录1.有状态 vs 无状态1.1 有状态的做法1.1.1 用户登录信息保存在示例内存中特别声明:整理自慕课网大目师兄的微服务视频,链接:https://coding.imooc.com/learn/list/358.html1.有状态 vs 无状态1.1 有状态的做法登录时怎么回事?客户端和服务器建立连接的时候,客户端会有一个sessionId,这个sessionId是不会变的,...
2019-09-01 22:20:21
1538
原创 学习 spring-cloud-aibaba第六篇,API网关Gateway
文章目录1.什么是网关?2.为什么我们需要网关?3.Spring Cloud Gateway4.创建Spring Cloud Gateway项目4.1 IDEAJ 创建gateway项目4.2 添加依赖4.3 写配置4.4 启动gateway项目,测试通过网关访问content和user5.spring cloud gateway的两大核心5.1 gateway的架构图5.2 核心之一 Pred...
2019-08-25 17:14:51
3433
原创 学习 spring-cloud-aibaba第五篇,服务容错 Sentinel 下篇
文章目录7.热点参数规则限流7.1 针对第二个传参限流7.2 针对参数具体值的限流8.系统规则限流8.1 Load8.1.1 释义8.1.2 查看linux系统的load8.2 RT8.3 线程数8.2 QPS前情提要:接续服务容错 Sentinel 上篇7.热点参数规则限流热点即经常访问的数据商品 ID 为参数,统计一段时间内最常购买的商品 ID 并进行限制用户 ID 为参数,针对一段...
2019-08-18 22:15:27
1548
原创 学习 spring-cloud-aibaba第五篇,服务容错 Sentinel 上篇
文章目录1.为什么需要服务容错?1.1 雪崩效应1.2 什么是服务容错1.3 常见的容错方案前情提要:在nacos上注册了content-center和user-center两个服务,content-center使用Feign调用user-center服务,使用Ribbon做负载均衡,sentinel实现服务容错!1.为什么需要服务容错?1.1 雪崩效应雪崩效应(级联故障):如图所示,C...
2019-08-17 23:27:16
1207
1
原创 学习 spring-cloud-aibaba第四篇,声明式HTTP通讯客户端 Feign
文章目录1.ResTemplate VS Feign2.项目添加Feign2.1 加依赖2.2 加注解2.3 写配置3.项目使用Feign3.1 声明FeignClient3.3 测试特别声明:文章的内容学习自慕课网大目老师的微服务视频,视频链接:https://coding.imooc.com/learn/list/358.html,大目老师还写了很多微服务有关的手记,都很实用!前情提要:在...
2019-08-13 13:40:31
783
原创 学习 spring-cloud-aibaba附带篇,项目拆分为多模块
文章目录1.项目整体效果2 pom.xml 的改造2.1 user.pom.xml2.2 user-server.pom.xml2.3 user-common.pom.xml2.4 user-client.pom.xml3.编译和install项目把user-center项目拆分成三个模块user-server:主要代码逻辑user-client:对外接口user-common:存放公共...
2019-08-12 16:49:30
1969
原创 学习 spring-cloud-aibaba第三篇,负载均衡Ribbon
文章目录1.ribbon的组成2.项目使用Ribbon2.1 引入依赖2.2 加注解2.3 写配置3.负载均衡规则 IRule3.1 测试 ZoneAvoidanceRule 默认规则3.2 测试 RandomRule 随机规则3.3 其它的内置规则没那么方便测试,我不测试了3.4 ribbon的全局配置3.5 自定义nacos权重负载均衡规则5.饥饿加载特别声明:文章的内容学习自慕课网大目老师...
2019-08-11 22:01:32
2295
原创 学习 spring-cloud-aibaba第二篇,搭建服务发现nacos的server端并注册服务
文章目录nacos 下载地址:https://github.com/alibaba/nacos/releasesnacos 文档地址:https://nacos.io/zh-cn/docs/what-is-nacos.html
2019-07-21 23:06:13
881
原创 学习 spring-cloud-aibaba第一篇,goods项目整合 spring-cloud-aibaba
文章目录特别提醒:我只是个菜鸟,写的文章都是自己的学习经验,并不能保证都是正确的,只能作为参考1.springboot的版本该如何选择2.springcloud版本该如何选择3.spring-cloud-alibaba版本该如何选择特别提醒:我只是个菜鸟,写的文章都是自己的学习经验,并不能保证都是正确的,只能作为参考1.springboot的版本该如何选择https://spring.io/...
2019-07-21 23:04:25
497
2
原创 难受
唉,最近才知道,springcloud 已经不继续开发Netflix系列组件的新功能了,已经进行维护状态,并且将于2020年1月停止维护。所以我准备从头学习spingcloud alibaba微服务系列组件了...
2019-06-28 11:00:14
115
原创 zuul 组件详解
文章目录上篇文章简单的演示了一下zuul的路由功能,这篇文章继续演示zuul的其它功能1.给其它服务自定义路由1.1 写法一上篇文章简单的演示了一下zuul的路由功能,这篇文章继续演示zuul的其它功能1.给其它服务自定义路由通过zuul访问其它服务,默认规则是 服务名称 + 接口路径。服务名称是eureka上显示的名称,可以通过zuul的配置来自定义服务名称1.1 写法一或者:...
2019-06-28 10:37:59
1050
原创 服务调用 注册服务被非注册服务调用 zuul 网关
文章目录1.基本介绍2.新建zuul项目并注册eureka1.基本介绍路由+过滤器 = zuul核心:一系列过滤器2.新建zuul项目并注册eureka选择这两个组件,next修改springboot and springcloud 版本,与其它项目保持一致,maven reimport注册eureka启动zuul,刷新eureka主页:...
2019-06-24 15:31:20
444
原创 服务调用 注册服务内部调用 方法之一 RestTemplate
文章目录问题汇总1.ClassCastException: org.springframework.boot.context.event.ApplicationFailedEvent cannot be cast to问题汇总1.ClassCastException: org.springframework.boot.context.event.ApplicationFailedEvent c...
2019-06-22 16:02:15
1922
4
原创 spring cloud eureka 的高可用模式
文章目录1.部署多台eureka server启动eureka server 1启动eureka server 2启动eureka server 3查看三台eureka的控制面板业2.启动goods服务修改配置文件,向三个server同时注册再次查看三台eureka的控制面板业1.部署多台eureka server启动eureka server 1启动项目,8762和8763还...
2019-06-07 22:00:25
339
2
原创 spring cloud eureka discovery client 商品微服务 注册到eureka server
文章目录1.新建eureka discovery client项目2.启动项目启动eureka server项目添加注解 @EnableDiscoveryClient添加配置1.新建eureka discovery client项目选择项目地址,finish.2.启动项目启动eureka server项目添加注解 @EnableDiscoveryClient添加配置启动...
2019-06-07 22:00:05
374
原创 spring cloud eureka server-服务注册中心
文章目录1.新建eureka项目2.启动项目添加@EnableEurekaServer 注解配置注册地址问题汇总ideaj没有sping initializr怎么办?1.新建eureka项目File->new->project选择项目地址,finish.2.启动项目添加@EnableEurekaServer 注解启动run报错是因为找不到注册中心,虽然它本身就...
2019-06-07 21:59:47
131
转载 让我们不用写getter,setter,tostring的lombok
Eclipse安装:https://blog.csdn.net/Dorothy1224/article/details/79280591/ideaj安装:https://blog.csdn.net/zhglance/article/details/54931430使用:https://blog.csdn.net/sjmz30071360/article/details/80136008...
2018-11-04 22:27:35
210
原创 RoundingMode 参数详解
RoundingMode的几种模式,具体是什么舍入行为呢?看API完全没看懂,还好有人总结过了:https://blog.csdn.net/alanzyy/article/details/8465098下面是我对这篇文章的图形理解,个人感觉比较好记,具体的示例可以看上边的原文:UP正数向右边靠,负数向左边靠DOWN和up正好相反,正数向左边靠,负数向右边靠CEI...
2018-10-29 16:48:41
13982
原创 linux 安装docker-compose
1.获取管理员权限执行命令 sudo su 然后输入当前用户的密码就可以了若想退出管理员权限可输入命令:su 用户名 ;例如 su zengchen2.通过daocloud安装安装命令:curl -L https://get.daocloud.io/docker/compose/releases/download/1.16.1/docker-compose-`unam...
2018-07-24 14:47:43
1451
原创 linux安装git
打开git官网,找到对于linux版本的安装方式 https://git-scm.com/download/linux我的linux是CentOS,跟Fedora是一个系列的,所以执行 yum install git 命令就好了执行 git --version验证一下,已经安装好了这种方式安装的不是最新版本的git,如果你需要安装最新版本的git,从这里下载源码包,再通...
2018-07-23 10:56:42
156
原创 linux 安装go
1.下载操作系统对应的go语言包检查linux系统是32位还是64位uname -a带i686,i386字样的表示是32位的操作系统,64位一般会带有x64字样下载32位go语言包https://golang.org/dl/ 下载网址,(听说要翻墙,如果你打不开,可以去其它网上找)这个386表示是32位的,右键->复制链接地址,然后wget 刚才复制的链接地址...
2018-07-23 10:12:12
6828
geth-linux-amd64-1.9.12-b6f1c8dc.tar.gz
2020-04-08
geth-windows-amd64-1.9.12-b6f1c8dc.exe
2020-04-08
nacos-server-1.0.1.tar.gz
2019-07-01
nacos-server-1.0.1.zip
2019-07-01
neethi-3.0.1.jar
2014-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人