centos7 安装gitea使用 参考官网:https://gitea.iohttps://docs.gitea.iohttps://docs.gitea.io/en-us/install-from-binary/关于GiteaGitea 是一个自己托管的Git服务程序。他和GitHub, Bitbucket or Gitlab等比较类似。他是从Gogs发展而来,不过我们已经Fork并且命名为Gitea。对...
SpringBoot2.x项目模块整合之elasticSearch 6.x(geo使用等) elasticsearch安装:https://blog.csdn.net/u012888052/article/details/79710429ik分词安装:https://blog.csdn.net/u012888052/article/details/81941912springboot整合:https://blog.csdn.net/chen_2890/article/detail...
SpringBoot2.0项目模块整合之kafka_2.11-2.0.0(同步,异步) kafka单机环境:jdk1.8,zookeeper-3.4.12,kafka_2.11-2.0.0;提供GitHubDemo1.zookeeper安装下载地址:https://www.apache.org/dyn/closer.cgi/zookeeper/上传zookeeper安装包,解压安装包tar -zxf zookeeper-3.4.12.tar.gz进入data文件...
高德地图api 点聚合+海量点+点击事件(根据地区或坐标进行定位) <!doctype html><html lang="zh-CN"> <head> <!-- 原始地址://webapi.amap.com/ui/1.0/ui/geo/DistrictCluster/examples/plus-point-simplifier.html --> <base href=...
flink1.7 之安装使用centos 7 or windows 10(一) 1.centos 7安装使用所需要的环境环境名称 下载地址 netcat https://eternallybored.org/misc/netcat/ jdk8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html flink1.7 htt...
Flink 原理与实现:Table & SQL API 转载来源:http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink 已经拥有了强大的 DataStream/DataSet API,可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢?首先 Table API 是一种关系型API,类 SQL 的API,用户...
Flink 原理与实现:Session Window 转载来源:http://wuchong.me/blog/2016/06/06/flink-internals-session-window/在上一篇文章:Window机制中,我们介绍了窗口的概念和底层实现,以及 Flink 一些内建的窗口,包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口:会话窗口(session window)。建议您在阅读完上一篇文章的基础上再阅读本文。当我们需...
Flink 原理与实现:Window 机制 转载来源:http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,...
Flink 原理与实现:数据流上的类型和操作 转载来源:http://wuchong.me/blog/2016/05/20/flink-internals-streams-and-operations-on-streams/Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streamin...
Flink 原理与实现:如何生成 JobGraph 转载来源:http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/继前文Flink 原理与实现:架构和拓扑概览中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序,构造出一个代表拓扑结构的St...
Flink 原理与实现:理解 Flink 中的计算资源 转载来源:http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/本文所讨论的计算资源是指用来执行 Task 的资源,是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念,如:Slot、SlotSharingGroup、CoLocationGroup、Chain等。并会...
Flink 原理与实现:如何生成 StreamGraph 转载来源:http://wuchong.me/blog/2016/05/04/flink-internal-how-to-build-streamgraph/继上文Flink 原理与实现:架构和拓扑概览中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序,构造出一个代表拓扑结构的StreamGraph的。注:本文比较偏源码分析,所有...
Flink 原理与实现:如何生成 StreamGraph 转载来源:http://wuchong.me/blog/2016/05/04/flink-internal-how-to-build-streamgraph/继上文Flink 原理与实现:架构和拓扑概览中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序,构造出一个代表拓扑结构的StreamGraph的。注:本文比较偏源码分析,所有...
Flink 原理与实现:架构和拓扑概览 转载来源:http://wuchong.me/blog/2016/05/03/flink-internals-overview/架构要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 Tas...
Flink 原理与实现:内存管理 转载来源:http://wuchong.me/blog/2016/04/29/flink-internals-memory-manage/Flink 原理与实现:内存管理如今,大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中,这就不得不面对 JVM 存在的几个问题:Java ...
Git 常用技能 Git 常用技能学习使用 Git 已经一年有余,一些常用技能也用的炉火纯青了,但偶尔碰到一些生僻的技能,总是需要去 Google,第二次用时又忘了。所以这是一篇我自认为比较重要的 Git 技能表,主要供自己查阅使用,反复查阅能够加深印象,提升技能熟练度。如果你是还不知道 Git 是什么,建议先阅读 廖雪峰的Git教程。工作流Git 最核心的一个概念就是工作流。工作区(Workspace...
分享一些微信服务申请的产品地址 委托代扣: https://pay.weixin.qq.com/index.php/public/product/detail?pid=1预充值代金券:https://pay.weixin.qq.com/index.php/public/product/detail?pid=2预充值立减与折扣:https://pay.weixin.qq.com/index.php/public/prod...
Spark项目之 sparkDemo 九 SparkDemo的环境提供和使用方式 我看了一下我写的博客,确实从各个方面来说,写的的确很不好;如果有看完并且不懂得兄弟可以使用我搭建好的环境,使用方法如下:使用的环境:VMware Workstation 10。VM下载地址:链接:https://pan.baidu.com/s/1hJ3oNwfnDQ_kFlJCQO1ZvA 提取码:vvij 环境下载地址:链接:链接:https://pan.baidu.com/s/1F...
Spark项目之 sparkDemo 八 SparkDemo打包并且Spark任务提交 代码我们已经写好了,接下来我们就是打包,然后再环境上去执行了,打包方式如下: 在服务器的home目录下创建一个文件夹sparkSubmit然后将打包的jar包上传sparkSubmit,然后再写一个启动脚本任务提交方式和参数请参考官方文档:http://spark.apache.org/docs/latest/submitting-applications.html,s...
Spark项目之 sparkDemo 七 SparkDemo解析 下面我们在来看,我们把各个查询数据方法分开进行,然后把数据整合起来,readShadowSocks方法我们用来读取登陆数据readHistory读取注册数据,retainAddData方法进行数据分析整合,outJDBCData方法将留存数据写进mysql中package com.shadowsocksimport org.apache.spark.sql.SparkSession...
Spark项目之 sparkDemo 六 SparkSession数据读取测试 项目介绍,这个项目主要做一个注册历史统计留存。我这里不用sparkCore的方式来做(我觉得sparkCore的方式比较适合做数据整理),因为我觉得这种方式不是特别方便我这里就直接使用 DataFrame,当然最直接的方式就是看官方的文档:官方地址:http://spark.apache.org/docs/1.6.2/api/scala/index.html#org.apache.spark....
Spark项目之环境搭建(单机)五 配置eclipse的scala环境,并创建spark项目 先安装scala 环境:eclipse版:spring-tool-suite-3.9.1.RELEASE-e4.7.1a-win32-x86_64下载地址:https://www.scala-lang.org/download/ 然后配置环境变量,参考以下地址:http://www.runoob.com/scala/scala-install.html打开eclipse 然...
Spark项目之环境搭建(单机)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装 上传解压 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重命名tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop进入sqoop下的conf目录:cd /home/sqoop/conf,然后将sqoop-env-template.sh 拷贝一份命...
Spark项目之环境搭建(单机)二 hive-2.3.3安装 上传hive架包,然后解压:tar -zxf apache-hive-2.3.3-bin.tar.gz hive重命名 mv apache-hive-2.3.3-bin hive将mysql的驱动包加入hive的lib文件下面进入hive目录下的confcd /home/hive/conf/把初始化的文件 复制一份出来 并且改名cp hive-env...
Spark项目之环境搭建(单机)一 hadoop 2.8.5安装 我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7第一步上传所需的包:我把所有的包都放在了home下面,如下:先安装jdk 和mysql : jdk安装:https://blog.csdn.net/l...
Spark项目之环境搭建(单机)三 scala-2.12.7+ spark-2.3.2-bin-hadoop2.7安装 上传scala和spark架包scala官网下载:https://www.scala-lang.org/download/spark官网下载:http://spark.apache.org/downloads.html解压然后重命名tar -zxf scala-2.12.7.tgzmv scala-2.12.7 scala tar -zxf spark-2.3...
SpringBoot 使用ContiPerf测试工具 ContiPerf是一个轻量级的测试工具,基于JUnit 4 开发,可用于接口级的性能测试,可以指定在线程数量和执行次数,通过限制最大时间和平均执行时间来进行效率测试。常用的参数如下:@PerfTest(invocations = 100,threads = 10)invocations() : 执行次数与线程无关duration(): 间隔时间threads():线程数添加依赖包...
用 eclipse 构建spark(scala) 项目出现 cannot be read or is not a valid ZIP file Spark Build path 出现如下:Description Resource Path Location TypeArchive for required library: 'D:/maven/repository/org/apache/spark/spark-catalyst_2.11/2.3.2/spark-catalyst_2.11-2.3.2.jar' in project 'Spar...
常用「微积分」知识速查手册 转载以备查询使用:https://gitbook.cn/books/59ee907516fc0231837614e3/index.html一元函数先来看最最简单的一元函数的情况:【导数】:函数y = f(x) 在点x0的某个邻域内有定义, 则当自变量x在x0处取得增量 deltax,函数输出值也相应取得增量deltay。如果deltay与deltax的比值在delta_x趋于0...
常用「线性代数」知识速查手册 转载以备查询使用:https://gitbook.cn/books/59ee907516fc0231837614e3/index.html 向量1.1 基本概念【向量(vector)】:一个同时具有大小和方向的几何对象。【行向量(row vector)】:一个1×n的矩阵,即矩阵由一个含有n个元素的行所组成:【列向量(column vector)】:一个m × 1的...
SpringBoot2.0之异步任务(async)和 java8 CompletableFuture的调用 1.我们先介绍java8 的异步调用:CompletableFuture用CompletableFuture.supplyAsync()定义要执行的异步任务public class java8Async { public static void main(String[] args) { ExecutorService executor = Executors.newFixedTh...
SpringBoot 2.X使用Redis(Lettuce)对list(ListOperations)的操作 ListOperations主要对redis 的list(链表)操作,下面我主要是讲一个具体的例子,将一个list集合如何多个值批量存储到缓存:我们先看ListOperations的 leftPushAll这个方法的源码:它是用的 “V... values”;说明它是支持1-N个参数 /** * Prepend {@code values} to {@code key}. ...
zkui windows版 zookeeper UI监控 zkui是zookeeper的web客户端的界面监控,下面我来介绍详细使用过程:1.下载zkui 的jar包,下面是下载地址:zkuiGitHub下载地址:https://github.com/LX1309244704/SpringBoot-master/tree/master/springboot-dubbo/springboot-dubbo-service/src/main/resou...
SpringBoot Dubbo项目模块依赖项目接口或者实体出现变动而引起的错误 首先我们先说出现的问题,因为依赖的项目是基础包,很多项目模块都引用了这个基础模块;在我们修改了一个字段的类型的时候,出现了实体类的类型转换错误,当我们排查了当前基础包的类型和所有引用基础包模块的类型,然后所有模块都进行了打包,然而,还是有些模块出现实体类的类型转换错误,然后又进行了排查,项目包进行了调用顺序打包,问题解决。首先我们来看我们项目的结构:dto模块:依赖了一些必要的包...
SpringBoot2.0项目模块整合之Dubbo 我这里Dubbo用的zookeeper版本用的3.4.9,我这里讲的有些粗糙,主要是让大家能看个大概结构,详细情况请参考下面的demo。在demo里面有windows版zookeeper,具体请查看demo里面的zookeeper启动文件。引入maven依赖包: <dependency> <groupId>com.gitee.reger<...
SpringBoot2.0项目模块整合之RabbitMQ springboot集成RabbitMQ非常简单,如果只是简单的使用配置非常少,springboot提供了spring-boot-starter-amqp项目对消息各种支持。添加依赖包<!-- rabbitmq依赖 --> <dependency> <groupId>org.springframework.boot</groupId&g...
SpringBoot2.0项目模块整合之quartz动态配置定时任务 在我们日常的开发中,很多时候,定时任务都不是写死的,而是写到数据库中,从而实现定时任务的动态配置,下面就通过一个简单的示例,来实现这个功能。添加依赖包<!-- quartz --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId&...
SpringBoot2.0项目模块整合之Swagger2(自定UI,服务启动加载,拦截器),静态资源的访问 swagger是一款高效易用的嵌入式文档插件,同时支持在线测试接口,快速生成客户端代码。spring-boot-starter-swagger通过spring-boot方式配置的swagger实现。完美并且完整的支持swagger-spring的所有配置项,配置及其简单,容易上手。支持api分组配置,通过正则表达式方式分组。支持分环境配置,你可以很容易让你的项目api文档在开发环境,测试环境。...
SpringBoot启动dubbo出现com.alibaba.dubbo.common.bytecode.Wrapper12: inconsistent stack height -1异常 出现以下错误:原因是: 定义服务接口方法的时候 不能已get开头, 例如:getXXX()换成别的方法名 例如selectXXX() 之后 错误消失。2018-08-17 09:42:51.125 INFO 5980 --- [ main] c.a.d.r.zookeeper.ZookeeperRegistry : [DUBBO] Notify urls ...
mysql数据库动态创建分区 分区策略可以查看其他优秀文章: https://blog.csdn.net/laoyang360/article/details/52886987HASH:分区主要用来确保数据在预先确定数目的分区中平均分布,而在RANGE和LIST分区中,必须明确指定一个给定的列值或列值集合应该保存在哪个分区中,而在HASH分区中,MySQL自动完成这些工作,你所要做的只是基于将要被哈希的列值指定一个列值或表...
数据库相关知识储备 数据库死锁概念 多数情况下,可以认为如果一个资源被锁定,它总会在以后某个时间被释放。而死锁发生在当多个进程访问同一数据库时,其中每个进程拥有的锁都是其他进程所需的,由此造成每个进程都无法继续下去。简单的说,进程A等待进程B释放他的资源,B又等待A释放他的资源,这样就互相等待就形成死锁。 虽然进程在运行过程中,可能发生死锁,但死锁的发生也必须具备一定的条件,死锁的发生必须具备以下四个必要条...
用SQL随机生成车牌号(排除O和I) 第一步我们先做出可以生成大写字母和数字的随机数。大写字母:SELECT char(65+ceiling(rand()*25))数字:SELECT ceiling(rand()*9)然后排除O和I,也就是说排除,char里面的73 和79.我们用了绝对值函数:abs() ,如下:65到73的字母:SELECT char(65+abs(ceiling(rand()...
关于SpringBoot的application.yml的相关配置(自定义,开发,测试,正式)切换 spring boot遵循“约定优于配置”的原则,使用annotation对一些常规的配置项做默认配置,减少或不使用xml配置,让你的项目快速运行起来。spring boot的神奇不是借助代码的生成来实现的,而是通过条件注解来实现的。1.自定义配置,我们用yml配置我们自己的配置类:@ConfigurationProperties,@ConfigurationProperties映射app...
SpringBoot 2.X集成Redis(Lettuce) 请先安装集群或者单台。参考:https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/#boot-features-redis;https://blog.csdn.net/qq_24076549/article/details/79536447application.yml配置spring: re...
CentOS7安装redis4.0 (5.0)集群配置 我将redis安装到 /usr/local/目录下,下载redis包,我这里用的redis-4.0.9版本。下载地址:https://redis.io/上传安装包到/usr/local/:然后解压,我这里就不看解压过程了:tar -zxf redis-4.0.9.tar.gz然后我们进入安装的redis目录下,进行编译安装:这里会出现一个错误,下面我会解决这个问...
Springboot+dubbo-2.5.7本地消费者调用不了本地提供者。 本地dubbo消费者调用不了本地提供者这种情况出现原因是由于我们开发环境网络的原因。查看日志发现本地的提供者的IP变成 169.254.233.28,这是什么原因呢?最后查出,这是因为本地的虚拟机IP导致dhcp分配失败,最后我在网络中心把虚拟机的IP禁用。然后再启动,登陆dubbo控制台,发现IP正常。但是发现,本地消费者还是调用不了本地提供者,出现以下异常:但...
mysql 利用分割符SUBSTRING_INDEX进行字符串数据拆分 我们要将一个字符串的数据根据指定的符号进行拆分,我这里用逗号(,)分割,要将数据分成每条4个数据,结果如下图:准备数据表:substring_index_test 其中我们要用到的关键函数:substring_index(str,delim,count):(被截取字段,关键字,关键字出现的次数)length(str):(字段) (一个汉字是算三个字符,一个数字或...
mysql的数据库迁移到另一个机器上 1.先找到迁移服务器上的Data文件,我安装的是mysql5.7,默认安装的路径。那么就是在C:\ProgramData\MySQL文件里面,先把隐藏文件打开。这个Data文件就是你的数据文件;将你要迁移的数据库文件放到这里如下:然后打开my.ini:找到datadir,然后将你的Data文件路径复制到下面,你要启动哪一个Data文件就用那个文件的地址,只能存在一个。如下:然后在重启MySQL服务...
服务器配置CentOS_7安装dubbo-2.5.10 + zookeeper-3.4.12 第四节(支持jdk1.8) 第一步下载zookeeper版本下载地址:http://mirrors.hust.edu.cn/apache/zookeeperdubbo-2.5.10下载地址:https://download.csdn.net/download/lx1309244704/10379351将zookeeper-3.4.12上传。解压zookeeper-3.4.12tar -zxvf zook...
mysql update set 大批量带条件更新数据 我在接触到一个业务,是每15s更新 39718条数据,并且每一条数据都是来自很多不相同表,然后我用业务代码来做,执行时间在半个多小时,这远远超出了15s,于是用sql批量更新来处理了业务。sql只用了0.516s。先准备两张表A,B。如下:A:B:根据A表的t_name字段关联B表查询出t_name的个数。 SELECT a1.t_name, CO...
根据半径筛选数据 根据半径范围进行筛选数据,请记住将jQuery引入<!doctype html><html><head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <m
高德地图api 自定义成都三环,重庆内环地理围栏 <!doctype html><html> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" c
服务器配置CentOS_7安装mysql5.7第三节 我们先进入MySQL的官网下在压缩包或者在线安装rmp包:下载压缩包地址:https://dev.mysql.com/downloads/mysql/在线安装的rpm源地址:https://dev.mysql.com/downloads/repo/yum/注意必须登陆mysql账号,否则是不会出现源地址或者下载下来看地址。下载mysql的repo源出现以下界面就...
服务器配置CentOS_7安装apache-tomcat-8.5.29第二节 先在apache官网上去下载tomcat:下载地址:https://tomcat.apache.org/download-80.cgi下载成功过后在上传到 usr/local目录下,然后解压tar -zxvf apache-tomcat-8.5.29.tar.gz然后开启端口8080:先查询防火墙是否开启systemctl status firewalld以下防...
服务器配置CentOS_7安装JDK1.8第一节 1.先去官网下载jdk1.8 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.我是将jdk安装到 usr/local目录下将jdk上传到java到/usr/local目录下,然后解压tar -zxvf jdk-8u161-linux-x64.t...
hutool java工具架包功能介绍 http://git.oschina.net/loolly/hutool一个Java基础工具类,类似于jodd和Apache commons lang的Java工具类。功能一个Java基础工具类,对文件、流、加密解密、转码、正则、线程、XML等JDK方法进行封装,组成各种Util工具类,同时提供以下组件: 布隆过滤 缓存 克隆接口 类型转换 ...
Redis GEO工具类 package com.paiye.common.core.support.redis;import java.util.ArrayList;import java.util.List;import org.springframework.data.domain.Sort.Direction;import org.springframework.data.geo.Circle;impor...
根据坐标行驶的距离算出最优路径Dijkstra(迪杰斯特拉算法) //这只是适合单源节点,如有不懂原理的可以先参考以下链接的文章http://www.cnblogs.com/biyeymyhjob/archive/2012/07/31/2615833.html //以下是根据坐标行驶的距离算出最优路径Dijkstra(迪杰斯特拉算法)的具体实现方法import java.util.ArrayList;import java.util.A...
http://blog.csdn.net/kj_zx19854/article/details/1865337 1.不要看到别人的回复第一句话就说:给个代码吧!你应该想想为什么。当你自己想出来再参考别人的提示,你就知道自己和别人思路的差异。 2.初学者请不要看太多太多的书那会误人子弟的,先找本系统的学,很多人用了很久都是只对部分功能熟悉而已,不系统还是不够的。 3.看帮助,不要因为很难而自己是初学者所以就不看;帮助永远是最好的参考手册,虽然帮助的文字有时候很难看懂,总觉得不够直观。 4.不...
ajax返回的数据 用easyui的datagrid的表格来循环显示,用灰色背景的是隐藏的列。点击可以获取到隐藏的值 $.post(basePath + "/tranSportOrderController/getcount.py", { traditional:true, ids: ids, orderId : orderId }, function(result) { if (result.success){ $('#countCar').datagrid('loadData', { total:...
用java实现地理位置转换,坐标转换,行驶距离计算(高德地图) 参考 http://blog.csdn.net/techcarlos/article/details/52107902 请在高德地图开发中心申请 WEB的key import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.UnsupportedEncodingExcepti...