- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Git操作规范
注意：这里设置的签名和登录远程库（代码托管中心）的账号、密码没有任何关系。注意：.git目录中存放的是本地库相关的子目录和文件，不能删除和修改。项目级别/仓库级别：仅在当前本地库范围内有效。作用：区分不同的开发人员身份。1.1.1 本地库初始化。命令： git init。1.1.2 设置签名。
2023-07-28 10:02:16
93
原创 Linux系统Python3 安装依赖库pip3 install db4-devel libpcap-devel失败解决方案
Error: Unable to find a match: db4-devel libpcap-devel
2023-04-28 09:20:02
545
原创 Python批量移动文件到指定目录
path_out = 'D:\\Desktop\\个人\\账单审计\\微信支付\\zip\\' file_name_list = os.listdir(path_out) for i in file_name_list: file = os.listdir(path_out+i+"\\") shutil.move(path_out+i+"\\"+file[0], path_out)
2022-01-19 13:33:29
1512
原创 Python快速批量解压zip（带加密）
import osimport zipfileimport shutilpath_in='D:\\Desktop\\个人\\账单审计\\微信支付\\' # 要解压的压缩包所在路径path_out='D:\\Desktop\\个人\\账单审计\\微信支付\\zip\\' # 解压后文件存放的路径pwd_list=["552301", "771001", "519086", "560709", .
2022-01-19 13:30:47
1914
原创 Java操作Redis简易增删改查
import java.util.HashMap;import java.util.List;import java.util.Map;import redis.clients.jedis.Jedis;public class TestRedis {public static void main(String[] args) {new TestRedis(...
2019-11-14 11:20:28
398
原创 python的高级爬虫框架Scrapy
Scrapy众所周知，Scrapy 是一个高级的python爬虫框架，功能极其强大，拥有它就可以快速编写出一个爬虫项目，拥有它就可以搭建分布式架构。那么，请问这么强大的框架要怎么拥有？很简单，由于我只尝试了Windows平台下的安装，所以下文也是该平台下的安装步骤。Windows的安装是比较常见的，相对其他两种系统，在Windows下的安装步骤比较繁琐，但也不难（往下看，还有一种简单的安装...
2019-11-14 11:17:08
259
原创 Arrow数据格式-Arrow究竟是个啥
1.概述 Apache Arrow 是 Apache 基金会全新孵化的一个顶级项目。它设计的目的在于作为一个跨平台的数据层，来加快大数据分析项目的运行速度。2.内容 现在大数据处理模型很多，用户在应用大数据分析时，除了将 Hadoop 等大数据平台作为一个存储和批处理平台之外，同样也得关注系统的扩展性和性能。过去开源社区已经发布了很多工具来完善大数据分析的生态系统，这些工具包含了数...
2019-11-14 11:09:38
5297
原创 Apache Falcon简介-Hadoop数据生命周期管理框架
Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化hadoop集群的数据流管理.本文主要介绍了Falcon的基本特性, 核心概念以及架构, 最后讨论了它的优点和局限.Hortonworks的hadoop发行版HDP中,数据治理...
2019-11-14 11:05:22
1098
原创 Canal实时抽取数据
概述canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。起源：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获...
2019-11-14 10:59:09
1291
原创 简单的接口的请求日志拦截工具类
捕捉每个接口的请求参数，请求时间，请求方式，返回参数，返回时间，执行时间，异常信息技术：AOP切面程序package com.movitech.contract.config; import com.alibaba.fastjson.JSON;import com.google.gson.Gson;import com.movitech.commons.entity.LogR...
2019-10-31 15:04:25
422
原创 【图文详解】linux下配置远程免密登录
linux下各种集群搭建往往需要配置远程免密登录，本文主要描述了CentOs6.3系统下配置免密登录的详细过程。ssh远程登录，两种身份验证:用户名+密码 密钥验证 机器1生成密钥对并将公钥发给机器2，机器2将公钥保存。 机器1要登录机器2时，机器2生成随机字符串并用机器1的公钥加密后，发给机器1。 机器1用私钥将其解密后发回给机器2，验证成功后登录 1、用户名+密码...
2019-03-11 14:07:18
286
原创 CentOS 7 安装Git
服务器端1.先从yum安装gityum –y install git2.在需要的位置创建一个裸仓库（最后以.git结尾）cd /usr/localmkdir gitcd gitgit init --bare learngit.git3.创建一个git用户并赋予密码useradd gitpasswd git4.赋予git用户权限chown -R gi...
2019-03-11 14:04:48
107
原创 IDEA类和方法注释模板设置
一、首先我们来设置IDEA中类的模板：（IDEA中在创建类时会自动给添加注释）1、File-->settings-->Editor-->File and Code Templates-->Files我们选择Class文件（当然你要设置接口的还也可以选择Interface文件）（1）${NAME}：设置类名，与下面的${NAME}一样才能获取到创建的类名（2）...
2018-09-19 09:36:08
131
转载 PowerDesigner执行sql脚本方式建立数据模型
PowerDesigner 相信 经常和数据库打交道的都知道这个强大的工具，主要用来建模，在建立模型时以往我都是直接在里面创建一个模型，然后手动建表，触发器，序列等，其实在PowerDesigner中建立数据模型时，如果有相应的sql脚本，则不必通过在物理模型中逐个插入相应的字段方式建立物理模型。可以通过在PowerDesigner中执行sql语句来建立数据模型。下面来看一下具体步骤：首先...
2018-09-19 09:32:02
778
原创 Intellij IDEA快捷方式-简单-实用-高效-小技巧
概述Intellij IDEA真是越用越觉得它强大，它总是在我们写代码的时候，不时给我们来个小惊喜。出于对Intellij IDEA的喜爱，我决定写一个与其相关的专栏或者系列，把一些好用的Intellij IDEA技巧分享给大家。本文是这个系列的第一篇，主要介绍一些你可能不知道的但是又实用的小技巧。【演出模式】我们可以使用【Presentation Mode】，将IDEA弄到最大，可以...
2018-09-19 09:29:34
3150
原创 JDK1.8，Java8常用新特性
A.Lamdba表达式1.Java8概述Java8，也就是jdk1.8，是意义深远的一个新版本是Java5之后一个大的版本升级，让Java语言和库仿佛获得了新生新特性包含：a.随着大数据的兴起，函数式编程在处理大数据上的优势开始体现，引入了Lambada函数式编程b.使用Stream彻底改变了集合使用方式：只关注结果，不关心过程c.新的客户端图形化工具界面库：Ja...
2018-09-17 10:43:24
50021
9
原创 SQL 百万级数据库优化方案(实用！！)
sql 百万级数据库优化方案1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：...
2018-07-20 11:11:44
734
原创 linux下如何部署php项目？
linux下部署php项目环境可以分为两种，一种使用Apache，php，mysql的压缩包安装，一种用yum命令进行安装。使用三种软件的压缩包进行安装，需要手动配置三者之间的关系。apache和php之间的配置没有什么难度，但是和mysql进行配置的时候就需要对php的了解了。以下是用yum在linux中配置php环境：安装MySql 1.mysql和apache最好是首先...
2018-07-20 11:08:00
20482
1
原创 MySQL优化原理（超简单！！！）
说起MySQL的查询优化，相信大家积累一堆技巧：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型..... 你是否真的理解这些优化技巧？是否理解其背后的工作原理？在实际场景下性能真有提升吗？我想未必。因而理解这些优化建议背后的原理就尤为重要，希望本文能让你重新审视这些优化建议，并在实际业务场景下合理的运用。 MySQL逻辑架构如果能在头脑中构建一幅M...
2018-07-20 10:50:54
139
原创 Mysql 工作原理
刚开始接触一个新的事物的时候，我觉得很有必要从其工作原理入手，弄清楚这个东西的来龙去脉，为接下来的继续深入学习做好铺垫，掌握好其原理有助于我们从整体上来把握这个东西，并且帮助我们在排错过程中理清思路。接下来，还是从mysql的工作原理开始入手，下面先来一张经典的图： 上面的图就是mysql的内部架构，可以清楚的看到Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的。 ...
2018-07-20 10:33:59
155
转载 SpringCloud 教程 | 第十四篇: 服务注册(consul)
这篇文章主要介绍 spring cloud consul 组件，它是一个提供服务发现和配置的工具。consul具有分布式、高可用、高扩展性。一、consul 简介consul 具有以下性质：服务发现：consul通过http 方式注册服务，并且服务与服务之间相互感应。 服务健康监测 key/value 存储 多数据中心consul可运行在mac windows linux 等机...
2018-07-20 10:29:05
222
转载 SpringCloud教程 | 第十三篇: 断路器聚合监控(Hystrix Turbine)
上一篇文章讲述了如何利用Hystrix Dashboard去监控断路器的Hystrix command。当我们有很多个服务的时候，这就需要聚合所以服务的Hystrix Dashboard的数据了。这就需要用到Spring Cloud的另一个组件了，即Hystrix Turbine。一、Hystrix Turbine简介看单个的Hystrix Dashboard的数据并没有什么多大的价值，要...
2018-07-20 10:24:37
134
转载 SpringCloud教程 | 第十二篇: 断路器监控(Hystrix Dashboard)
在我的第四篇文章断路器讲述了如何使用断路器，并简单的介绍了下Hystrix Dashboard组件，这篇文章更加详细的介绍Hystrix Dashboard。一、Hystrix Dashboard简介在微服务架构中为例保证程序的可用性，防止程序出错导致网络阻塞，出现了断路器模型。断路器的状况反应了一个程序的可用性和健壮性，它是一个重要指标。Hystrix Dashboard是作为断路器状态...
2018-07-20 10:20:45
109
转载 SpringCloud教程 | 第十一篇: docker部署spring cloud项目
一、docker简介Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、bare metal、OpenStack 集群和其他的基础应用平台。 Docker通常用于如下场景：web应用的自动化打包和发布； 自动化测试和持续集成、发布； 在服务型环境中部署和调整数...
2018-07-20 10:16:39
161
转载 SpringCloud教程 | 第十篇: 高可用的服务注册中心
文章 史上最简单的 SpringCloud 教程 | 第一篇: 服务的注册与发现（Eureka） 介绍了服务注册与发现，其中服务注册中心Eureka Server，是一个实例，当成千上万个服务向它注册的时候，它的负载是非常高的，这在生产环境上是不太合适的，这篇文章主要介绍怎么将Eureka Server集群化。一、准备工作Eureka can be made even more resi...
2018-07-19 11:37:54
110
转载 SpringCloud教程 | 第九篇: 服务链路追踪(Spring Cloud Sleuth)
这篇文章主要讲述服务追踪组件zipkin，Spring Cloud Sleuth集成了zipkin组件。一、简介Add sleuth to the classpath of a Spring Boot application (see below for Maven and Gradle examples), and you will see the correlation data b...
2018-07-19 11:33:44
210
转载 SpringCloud教程 | 第八篇: 消息总线(Spring Cloud Bus)
Spring Cloud Bus 将分布式的节点用轻量的消息代理连接起来。它可以用于广播配置文件的更改或者服务之间的通讯，也可以用于监控。本文要讲述的是用Spring Cloud Bus实现通知微服务架构的配置文件的更改。一、准备工作本文还是基于上一篇文章来实现。按照官方文档，我们只需要在配置文件中配置 spring-cloud-starter-bus-amqp ；这就是说我们需要装rab...
2018-07-19 11:28:36
107
转载 SpringCloud教程 | 第七篇: 高可用的分布式配置中心(Spring Cloud Config)
上一篇文章讲述了一个服务如何从配置中心读取文件，配置中心如何从远程git读取配置文件，当服务实例很多时，都从配置中心读取文件，这时可以考虑将配置中心做成一个微服务，将其集群化，从而达到高可用，架构图如下：一、准备工作继续使用上一篇文章的工程，创建一个eureka-server工程，用作服务注册中心。在其pom.xml文件引入Eureka的起步依赖spring-cloud-start...
2018-07-19 11:25:28
116
转载 SpringCloud教程 | 第六篇: 分布式配置中心(Spring Cloud Config)
在上一篇文章讲述zuul的时候，已经提到过，使用配置服务来保存各个服务的配置文件。它就是Spring Cloud Config。一、简介在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程G...
2018-07-19 11:20:21
131
转载 SpringCloud教程 | 第五篇: 路由网关(zuul)
在微服务架构中，需要几个基础的服务治理组件，包括服务注册与发现、服务消费、负载均衡、断路器、智能路由、配置管理等，由这几个基础组件相互协作，共同组建了一个简单的微服务系统。一个简答的微服务系统如下图： 注意：A服务和B服务是可以相互调用的，作图的时候忘记了。并且配置服务也是注册到服务注册中心的。在Spring Cloud微服务系统中，一种常见的负载均衡方式是，客户端的请求首先经过负载均衡（...
2018-07-19 11:15:23
113
转载 SpringCloud教程 | 第四篇:断路器（Hystrix）
在微服务架构中，根据业务来拆分成一个个的服务，服务与服务之间可以相互调用（RPC），在Spring Cloud可以用RestTemplate+Ribbon和Feign来调用。为了保证其高可用，单个服务通常会集群部署。由于网络原因或者自身的原因，服务并不能保证100%可用，如果单个服务出现问题，调用这个服务就会出现线程阻塞，此时若有大量的请求涌入，Servlet容器的线程资源会被消耗完毕，导致服务瘫...
2018-07-19 11:08:27
176
转载 SpringCloud教程 | 第三篇: 服务消费者（Feign）
上一篇文章，讲述了如何通过RestTemplate+Ribbon去消费服务，这篇文章主要讲述如何通过Feign去消费服务。一、Feign简介Feign是一个声明式的伪Http客户端，它使得写Http客户端变得更简单。使用Feign，只需要创建一个接口并注解。它具有可插拔的注解特性，可使用Feign 注解和JAX-RS注解。Feign支持可插拔的编码器和解码器。Feign默认集成了Ribbo...
2018-07-19 11:03:18
106
转载 SpringCloud教程 | 第二篇: 服务消费者（rest+ribbon）
在上一篇文章，讲了服务的注册和发现。在微服务架构中，业务都会被拆分成一个独立的服务，服务与服务的通讯是基于http restful的。Spring cloud有两种服务调用方式，一种是ribbon+restTemplate，另一种是feign。在这一篇文章首先讲解下基于ribbon+rest。一、ribbon简介ribbon是一个负载均衡客户端，可以很好的控制htt和tcp的一些行为。...
2018-07-19 10:53:34
184
转载 SpringCloud 教程 | 第一篇： 服务的注册与发现Eureka
一、spring cloud简介鉴于《史上最简单的Spring Cloud教程》很受读者欢迎，再次我特意升级了一下版本，目前支持的版本为Spring Boot版本2.0.3.RELEASE,Spring Cloud版本为Finchley.RELEASE。Finchley版本的官方文档如下：http://cloud.spring.io/spring-cloud-static/Finchle...
2018-07-19 10:45:00
335
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人