尔笑惹千愁-CSDN博客

原创 centos7 安装gitea使用

参考官网：https://gitea.iohttps://docs.gitea.iohttps://docs.gitea.io/en-us/install-from-binary/关于GiteaGitea 是一个自己托管的Git服务程序。他和GitHub, Bitbucket or Gitlab等比较类似。他是从Gogs发展而来，不过我们已经Fork并且命名为Gitea。对...

2019-07-09 11:44:05 4949

原创 SpringBoot2.x项目模块整合之elasticSearch 6.x（geo使用等）

elasticsearch安装：https://blog.csdn.net/u012888052/article/details/79710429ik分词安装：https://blog.csdn.net/u012888052/article/details/81941912springboot整合：https://blog.csdn.net/chen_2890/article/detail...

2019-03-29 17:38:37 2950

原创 SpringBoot2.0项目模块整合之kafka_2.11-2.0.0（同步，异步）

kafka单机环境：jdk1.8，zookeeper-3.4.12，kafka_2.11-2.0.0；提供GitHubDemo1.zookeeper安装下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/上传zookeeper安装包，解压安装包tar -zxf zookeeper-3.4.12.tar.gz进入data文件...

2019-02-15 14:25:50 3090 2

原创高德地图api 点聚合+海量点+点击事件（根据地区或坐标进行定位）

<!doctype html><html lang="zh-CN"> <head>  <base href=...

2018-12-30 13:59:03 14703 7

原创 flink1.7 之安装使用centos 7 or windows 10（一）

1.centos 7安装使用所需要的环境环境名称下载地址 netcat https://eternallybored.org/misc/netcat/ jdk8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html flink1.7 htt...

2018-12-25 12:38:00 1891

转载 Flink 原理与实现：Table & SQL API

转载来源：http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink 已经拥有了强大的 DataStream/DataSet API，可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢？首先 Table API 是一种关系型API，类 SQL 的API，用户...

2018-12-10 16:02:02 488

转载 Flink 原理与实现：Session Window

转载来源：http://wuchong.me/blog/2016/06/06/flink-internals-session-window/在上一篇文章：Window机制中，我们介绍了窗口的概念和底层实现，以及 Flink 一些内建的窗口，包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口：会话窗口（session window）。建议您在阅读完上一篇文章的基础上再阅读本文。当我们需...

2018-12-10 16:00:54 376

转载来源：http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，...

2018-12-10 15:58:42 205

转载 Flink 原理与实现：数据流上的类型和操作

转载来源：http://wuchong.me/blog/2016/05/20/flink-internals-streams-and-operations-on-streams/Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streamin...

2018-12-10 15:57:42 410

转载 Flink 原理与实现：如何生成 JobGraph

转载来源：http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/继前文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序，构造出一个代表拓扑结构的St...

2018-12-10 15:56:02 2089

转载 Flink 原理与实现：理解 Flink 中的计算资源

转载来源：http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念，如：Slot、SlotSharingGroup、CoLocationGroup、Chain等。并会...

2018-12-10 15:50:55 140

转载 Flink 原理与实现：如何生成 StreamGraph

转载来源：http://wuchong.me/blog/2016/05/04/flink-internal-how-to-build-streamgraph/继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。注：本文比较偏源码分析，所有...

2018-12-10 15:49:52 387

转载 Flink 原理与实现：架构和拓扑概览

转载来源：http://wuchong.me/blog/2016/05/03/flink-internals-overview/架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 Tas...

2018-12-10 15:48:00 126

转载 Flink 原理与实现：内存管理

转载来源：http://wuchong.me/blog/2016/04/29/flink-internals-memory-manage/Flink 原理与实现：内存管理如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：Java ...

2018-12-10 15:44:26 278

转载 Git 常用技能

Git 常用技能学习使用 Git 已经一年有余，一些常用技能也用的炉火纯青了，但偶尔碰到一些生僻的技能，总是需要去 Google，第二次用时又忘了。所以这是一篇我自认为比较重要的 Git 技能表，主要供自己查阅使用，反复查阅能够加深印象，提升技能熟练度。如果你是还不知道 Git 是什么，建议先阅读廖雪峰的Git教程。工作流Git 最核心的一个概念就是工作流。工作区(Workspace...

2018-12-10 15:16:41 278

原创分享一些微信服务申请的产品地址

委托代扣： https://pay.weixin.qq.com/index.php/public/product/detail?pid=1预充值代金券：https://pay.weixin.qq.com/index.php/public/product/detail?pid=2预充值立减与折扣：https://pay.weixin.qq.com/index.php/public/prod...

2018-11-20 10:00:09 292

原创 Spark项目之 sparkDemo 九 SparkDemo的环境提供和使用方式

我看了一下我写的博客，确实从各个方面来说，写的的确很不好；如果有看完并且不懂得兄弟可以使用我搭建好的环境，使用方法如下：使用的环境：VMware Workstation 10。VM下载地址：链接：https://pan.baidu.com/s/1hJ3oNwfnDQ_kFlJCQO1ZvA 提取码：vvij 环境下载地址：链接：链接：https://pan.baidu.com/s/1F...

2018-11-19 10:06:10 369

原创 Spark项目之 sparkDemo 八 SparkDemo打包并且Spark任务提交

代码我们已经写好了，接下来我们就是打包，然后再环境上去执行了，打包方式如下：在服务器的home目录下创建一个文件夹sparkSubmit然后将打包的jar包上传sparkSubmit，然后再写一个启动脚本任务提交方式和参数请参考官方文档：http://spark.apache.org/docs/latest/submitting-applications.html，s...

2018-11-09 16:08:58 379

原创 Spark项目之 sparkDemo 七 SparkDemo解析

下面我们在来看，我们把各个查询数据方法分开进行，然后把数据整合起来，readShadowSocks方法我们用来读取登陆数据readHistory读取注册数据，retainAddData方法进行数据分析整合，outJDBCData方法将留存数据写进mysql中package com.shadowsocksimport org.apache.spark.sql.SparkSession...

2018-11-09 15:45:52 399

原创 Spark项目之 sparkDemo 六 SparkSession数据读取测试

项目介绍，这个项目主要做一个注册历史统计留存。我这里不用sparkCore的方式来做（我觉得sparkCore的方式比较适合做数据整理），因为我觉得这种方式不是特别方便我这里就直接使用 DataFrame，当然最直接的方式就是看官方的文档：官方地址：http://spark.apache.org/docs/1.6.2/api/scala/index.html#org.apache.spark....

2018-11-09 14:33:28 2203

原创 Spark项目之环境搭建（单机）五配置eclipse的scala环境，并创建spark项目

先安装scala 环境：eclipse版：spring-tool-suite-3.9.1.RELEASE-e4.7.1a-win32-x86_64下载地址：https://www.scala-lang.org/download/ 然后配置环境变量，参考以下地址：http://www.runoob.com/scala/scala-install.html打开eclipse 然...

2018-11-09 12:58:04 362

原创 Spark项目之环境搭建（单机）四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装

上传解压 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz，重命名tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop进入sqoop下的conf目录：cd /home/sqoop/conf,然后将sqoop-env-template.sh 拷贝一份命...

2018-11-09 09:26:56 1926

原创 Spark项目之环境搭建（单机）二 hive-2.3.3安装

上传hive架包，然后解压：tar -zxf apache-hive-2.3.3-bin.tar.gz hive重命名 mv apache-hive-2.3.3-bin hive将mysql的驱动包加入hive的lib文件下面进入hive目录下的confcd /home/hive/conf/把初始化的文件复制一份出来并且改名cp hive-env...

2018-11-09 08:52:06 1443

原创 Spark项目之环境搭建（单机）一 hadoop 2.8.5安装

我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7第一步上传所需的包：我把所有的包都放在了home下面，如下：先安装jdk 和mysql ： jdk安装：https://blog.csdn.net/l...

2018-11-09 08:49:20 2284 1

原创 Spark项目之环境搭建（单机）三 scala-2.12.7+ spark-2.3.2-bin-hadoop2.7安装

上传scala和spark架包scala官网下载：https://www.scala-lang.org/download/spark官网下载：http://spark.apache.org/downloads.html解压然后重命名tar -zxf scala-2.12.7.tgzmv scala-2.12.7 scala tar -zxf spark-2.3...

2018-11-09 08:49:01 3116

原创 SpringBoot 使用ContiPerf测试工具

ContiPerf是一个轻量级的测试工具，基于JUnit 4 开发，可用于接口级的性能测试，可以指定在线程数量和执行次数，通过限制最大时间和平均执行时间来进行效率测试。常用的参数如下：@PerfTest(invocations = 100,threads = 10)invocations() : 执行次数与线程无关duration(): 间隔时间threads()：线程数添加依赖包...

2018-11-06 10:30:19 3291

原创用 eclipse 构建spark(scala) 项目出现 cannot be read or is not a valid ZIP file Spark Build path

出现如下：Description Resource Path Location TypeArchive for required library: 'D:/maven/repository/org/apache/spark/spark-catalyst_2.11/2.3.2/spark-catalyst_2.11-2.3.2.jar' in project 'Spar...

2018-10-30 14:54:13 406

转载常用「微积分」知识速查手册

转载以备查询使用：https://gitbook.cn/books/59ee907516fc0231837614e3/index.html一元函数先来看最最简单的一元函数的情况：【导数】：函数y = f(x) 在点x0的某个邻域内有定义，则当自变量x在x0处取得增量 deltax，函数输出值也相应取得增量deltay。如果deltay与deltax的比值在delta_x趋于0...

2018-10-15 10:07:04 1005

转载常用「线性代数」知识速查手册

转载以备查询使用：https://gitbook.cn/books/59ee907516fc0231837614e3/index.html 向量1.1 基本概念【向量（vector）】：一个同时具有大小和方向的几何对象。【行向量（row vector）】：一个1×n的矩阵，即矩阵由一个含有n个元素的行所组成：【列向量（column vector）】：一个m × 1的...

2018-10-15 10:00:55 684

原创 SpringBoot2.0之异步任务（async）和 java8 CompletableFuture的调用

1.我们先介绍java8 的异步调用：CompletableFuture用CompletableFuture.supplyAsync（）定义要执行的异步任务public class java8Async { public static void main(String[] args) { ExecutorService executor = Executors.newFixedTh...

2018-10-13 17:16:09 5863

原创 SpringBoot 2.X使用Redis(Lettuce)对list（ListOperations）的操作

ListOperations主要对redis 的list(链表)操作，下面我主要是讲一个具体的例子，将一个list集合如何多个值批量存储到缓存：我们先看ListOperations的 leftPushAll这个方法的源码：它是用的 “V... values”；说明它是支持1-N个参数 /** * Prepend {@code values} to {@code key}. ...

2018-10-08 14:45:17 5933

原创 zkui windows版 zookeeper UI监控

zkui是zookeeper的web客户端的界面监控，下面我来介绍详细使用过程：1.下载zkui 的jar包，下面是下载地址：zkuiGitHub下载地址：https://github.com/LX1309244704/SpringBoot-master/tree/master/springboot-dubbo/springboot-dubbo-service/src/main/resou...

2018-09-20 18:00:31 2284

原创 SpringBoot Dubbo项目模块依赖项目接口或者实体出现变动而引起的错误

首先我们先说出现的问题，因为依赖的项目是基础包，很多项目模块都引用了这个基础模块；在我们修改了一个字段的类型的时候，出现了实体类的类型转换错误，当我们排查了当前基础包的类型和所有引用基础包模块的类型，然后所有模块都进行了打包，然而，还是有些模块出现实体类的类型转换错误，然后又进行了排查，项目包进行了调用顺序打包，问题解决。首先我们来看我们项目的结构：dto模块：依赖了一些必要的包...

2018-08-29 10:30:05 1698

原创 SpringBoot2.0项目模块整合之Dubbo

我这里Dubbo用的zookeeper版本用的3.4.9，我这里讲的有些粗糙，主要是让大家能看个大概结构，详细情况请参考下面的demo。在demo里面有windows版zookeeper，具体请查看demo里面的zookeeper启动文件。引入maven依赖包： <dependency> <groupId>com.gitee.reger<...

2018-08-24 09:57:53 1676

原创 SpringBoot2.0项目模块整合之RabbitMQ

springboot集成RabbitMQ非常简单，如果只是简单的使用配置非常少，springboot提供了spring-boot-starter-amqp项目对消息各种支持。添加依赖包 <dependency> <groupId>org.springframework.boot</groupId&g...

2018-08-22 16:02:07 6443 4

原创 SpringBoot2.0项目模块整合之quartz动态配置定时任务

在我们日常的开发中，很多时候，定时任务都不是写死的，而是写到数据库中，从而实现定时任务的动态配置，下面就通过一个简单的示例，来实现这个功能。添加依赖包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId&...

2018-08-18 16:51:14 17729 21

原创 SpringBoot2.0项目模块整合之Swagger2（自定UI，服务启动加载，拦截器），静态资源的访问

swagger是一款高效易用的嵌入式文档插件,同时支持在线测试接口，快速生成客户端代码。spring-boot-starter-swagger通过spring-boot方式配置的swagger实现。完美并且完整的支持swagger-spring的所有配置项，配置及其简单，容易上手。支持api分组配置，通过正则表达式方式分组。支持分环境配置，你可以很容易让你的项目api文档在开发环境，测试环境。...

2018-08-18 15:56:05 3725 8

原创 SpringBoot启动dubbo出现com.alibaba.dubbo.common.bytecode.Wrapper12: inconsistent stack height -1异常

出现以下错误：原因是: 定义服务接口方法的时候不能已get开头，例如：getXXX()换成别的方法名例如selectXXX() 之后错误消失。2018-08-17 09:42:51.125 INFO 5980 --- [ main] c.a.d.r.zookeeper.ZookeeperRegistry : [DUBBO] Notify urls ...

2018-08-17 09:52:00 9869 1

原创 mysql数据库动态创建分区

分区策略可以查看其他优秀文章： https://blog.csdn.net/laoyang360/article/details/52886987HASH：分区主要用来确保数据在预先确定数目的分区中平均分布，而在RANGE和LIST分区中，必须明确指定一个给定的列值或列值集合应该保存在哪个分区中，而在HASH分区中，MySQL自动完成这些工作，你所要做的只是基于将要被哈希的列值指定一个列值或表...

2018-07-30 11:46:46 4695

转载数据库相关知识储备

数据库死锁概念　　多数情况下，可以认为如果一个资源被锁定，它总会在以后某个时间被释放。而死锁发生在当多个进程访问同一数据库时，其中每个进程拥有的锁都是其他进程所需的，由此造成每个进程都无法继续下去。简单的说，进程A等待进程B释放他的资源，B又等待A释放他的资源，这样就互相等待就形成死锁。　　虽然进程在运行过程中，可能发生死锁，但死锁的发生也必须具备一定的条件，死锁的发生必须具备以下四个必要条...

2018-07-30 11:31:38 269

zookeeper的ui监控服务zkui

dubbo-admin-2.5.10.war

空空如也