- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 哈希求和方式判断相似字符串
哈希算法(c++)long hashString(string str) { char *charP = str.data(); long hashCode = 0; for (; *charP; ++charP) { hashCode = 5 * hashCode + *charP; hashCode %= 2353639; }...
2019-11-21 13:32:59
559
原创 Spark 复杂数据结构数组的Udf用法
在spark2.4.4下UDF写法有两种(scala)法一 sql拼接 val sparkSession = SparkSession.builder() .appName("PKPMBimAnalyse") .config("spark.mongodb.input.uri", "mongodb://10.100.140.35/mydb.netflows") ...
2019-11-15 13:39:17
1019
原创 Linux进程监控
Centos下进程监控需要借助pidstat工具命令格式：pidstat [option] interval [count]ps：如果你的linux输入pidstat提示没有找到那么照下方做：yum search pidstat然后会有：sysstat.x86_64 : Collection of performance monitoring tools for Linux指明p...
2019-10-31 15:55:41
231
原创 spark任务scala的jar包无法找到主类
记录一次困扰良久的问题编译之后运行 无论如何也无法找到主类入口。死活认不出来，我这个是maven编译的编译标签方法如下 <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId&g...
2019-10-31 13:22:15
2192
1
原创 分布式数据库部署方案
分布式集群数据库部署方案最近到新部门轮岗，疯狂的汲取分布式知识，以补充短板。之前一直好奇支付宝的数据库部署方案究竟是什么样子。这次有了个概念性的认识方案一 PXC集群为了保证数据的高度一致性及分区容错，首先将一个数据库进行水平切分，分为PXC分片一和二两部分。在PXC集群一中持有的是数据表的一部分水平切分数据，此PXC集群挂载有三个节点DB1，2，3，这三个库内容一致。PXC就是将三...
2019-10-24 15:26:56
3861
原创 Docker最佳实践
安装Dockerhttps://www.runoob.com/docker/centos-docker-install.html这里有多个linux发行版的安装教程很简单，照着做就完事了。创建属于自己的Docker镜像创建所需文件[root@ecs-25e3 ~]# mkdir NginxDocker[root@ecs-25e3 ~]# cd NginxDocker/[root@ec...
2019-09-19 15:02:10
212
原创 Hystrix介绍
HystrixHystrix是分布式系统限流降级，服务熔断框架，主要处理依赖隔离。Hystrix被设计的目标是：1.对通过第三方客户端库访问的依赖项（通常是通过网络）的延迟和故障进行保护和控制。2.在复杂的分布式系统中阻止级联故障。3.快速失败，快速恢复。4.回退，尽可能优雅地降级。5.启用近实时监控、警报和操作控制复杂分布式体系结构中的应用程序有许多依赖项，每个依赖项在某些时候都...
2019-08-26 11:38:50
163
原创 分布式架构的关键技术
分布式架构的关键技术1.服务治理服务拆分、服务调用、服务发现、服务依赖、服务的关键度定义……服务治理的最大意义是需要把服务间的依赖关系、服务调用链，以及关键的服务给梳理出来，并对这些服务进行性能和可用性方面的管理。、2.架构软件管理服务之间有依赖，而且有兼容性问题，所以，整体服务所形成的架构需要有架构版本管理、整体架构的生命周期管理，以及对服务的编排、聚合、事务处理等服务调度功能。3.D...
2019-07-08 10:50:05
1856
原创 分布式架构的架构稳定性
分布式架构的架构稳定性接上一期架构性能，本期讲架构稳定性1.服务拆分服务拆分主要有两个目的：一是为了隔离故障，二是为了重用服务模块。但服务拆分完之后，会引入服务调用间的依赖问题。2.服务冗余服务冗余是为了去除单点故障，并可以支持服务的弹性伸缩，以及故障迁移。然而，对于一些有状态的服务来说，冗余这些有状态的服务带来了更高的复杂性。其中一个是弹性伸缩时，需要考虑数据的复制或是重新分片，迁移...
2019-07-08 10:43:50
5613
原创 分布式架构的架构性能
分布式架构的架构性能讲的内容有点大，针对分布式架构做一系列的文章，酝酿了好久才打算着手写这一系列，会持续多期提高架构的性能的方法1.缓存系统加入缓存系统，可有效提高系统访问能力，例如：网络，浏览器，cpu，硬盘，数据库全都有缓存。对于分布式系统下的缓存系统，需要的是一个缓存集群。这其中需要代理来做分片及路由。2.负载均衡系统负载均衡系统是水平扩展的关键技术，它可以使用多台机器来共同分...
2019-07-08 10:35:36
591
转载 贝叶斯分类
贝叶斯公式是一种基于条件概率的分类算法如果我们已经知道 A 和 B 的发生概率，并且知道了 B 发生情况下 A 发生的概率，可以用贝叶斯公式计算 A 发生的情况下 B 发生的概率。事实上，我们可以根据 A 的情况，即输入数据，判断 B 的概率，即 B 的可能性，进而进行分类。贝叶斯公式...
2019-06-25 10:44:30
471
原创 HDFS架构
上图是 HDFS 的架构图，从图中你可以看到 HDFS 的关键组成 namenode datanodeDataNode 负责文件数据的存储和读写操作，HDFS 将文件数据分割成若干数据块。每个 DataNode 存储一部分数据块，这样文件就分布存储在整个 HDFS 服务器集群中。客户端可以对这些数据块进行并行访问，大大提高了访问速度。HDFS 集群的 DataNode 服务器会有很多台，一般...
2019-06-18 14:03:12
1036
原创 [C++]快速排序
c++快速排序void NumQuickSort(vector<int>& s, int l, int r){ if (l < r) { int i = l, j = r, x = s[l]; int px = s[l]; while (i < j) { while (i < j && s[j] >= x) ...
2019-06-12 17:31:41
904
原创 [C++]函数指针的用法
c++成员函数指针class MyClassA{public: MyClassA(); ~MyClassA(); int Method1();private:};MyClassA::MyClassA(){}MyClassA::~MyClassA(){}int MyClassA::Method1(){ int a = 0; return a;}int...
2019-05-10 10:29:56
1201
原创 Kafka全流程配置与Python生产消费实例
Kafka配置linux jdk配置看这里吧，这个没有难度就不再讲解https://www.cnblogs.com/kuoAT/p/7555298.htmllinux ZooKeeper配置1.这里下载zookeeper的tar包https://www.apache.org/dyn/closer.cgi/zookeeper/我这里下载的3.4.132.拷贝到linux系统目录下，...
2019-04-15 15:31:20
2185
原创 [C++]Double类型判断相等不能用==
double类型用==判断相等为什么不行double类型在计算机中是个近似数，并不能保证所有位数全部精准1.举个例子#include "pch.h"#include <iostream>int main(){ double a = 4; double b = 0.1; double c = a - b; //3.9}上边代码c应该等于3.90000000000...
2019-04-04 16:17:16
11231
2
原创 Python爬虫获取Csdn文章
request获取html安装:pip install requests使用：import requests HTTP请求：GET、POST、PUT、DELETE、HEAD、OPTIONSgetres = requests.get(“https://www.baidu.com”)postres = requests.post(“https://www.baidu.com...
2019-04-04 15:48:31
2372
原创 [C++]泛型归并排序及泛型二分查找
[C++]泛型归并排序及泛型二分查找排序算法时间复杂度支持STL的泛型归并排序支持STL的泛型二分查找排序算法时间复杂度常见的算法时间复杂度由小到大依次为：Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜…＜Ο(2n)＜Ο(n!)支持STL的泛型归并排序1.我们先建立一个头文件 algorithm_sort.h 下面是内容#include <ve...
2019-04-02 14:19:45
2527
原创 [C++]基于AMP的GPU并行计算
基于AMP的GPU并行计算AMP简介C++AMP (C++ Accelerated Massive Parallelism)利用并行硬件（例如独立图形加速卡）的性能，加速你C++程序的执行速度，C++ AMP编程模型包括支持多维数组，索引，内存传输和平铺，包括数学函数库。你可以使用C++ AMP更广泛的控制CPU同GPU之间数据的传递。注意：C++ AMP要求你的显卡完整支持DirectX1...
2019-03-19 17:10:38
4508
3
原创 C++通过内嵌解释器调用Python及间接调用Python三方库
C++通过内嵌解释器调用Python及间接调用Python三方库1.移植Python解释器Python环境的目录结构路径详解2.VS配置（VS2017为例，此教程与VS版本无关）3.C++调用程序样例4.被调Python程序样例本文章目的是脱离安装Python环境的前提下，由C++程序调用Python程序及Python相关三方库1.移植Python解释器Python环境的目录结构路径详解...
2019-02-13 17:12:19
8653
23
原创 架构设计之充分解耦的实现
业务功能性模块，组件，类，三种层次的定义系统设计的关键所在可扩展解耦高并发高性能横向扩容高可用其中1-2为了解决复杂业务，3-6为了解决业务增长问题耦合上图就是一种耦合，模块A的代码内方法直接去访问模块B中的一个方法。关于这种调用我们也可以称为具象调用。引入一个概念：越抽象越趋于稳定，越具象越趋于紊乱。解耦实现1.面向接口编程 接口是常用的解耦方式也可以称为...
2019-01-07 11:54:28
3577
原创 [C++] OpenCasCade空间几何库的模型展现
OpenCasCade是什么Open CASCADE（简称OCC）平台是由法国Matra Datavision公司开发的CAD/CAE/CAM软件平台，可以说是世界上最重要的几何造型基础软件平台之一。开源OCC对象库是一个面向对象C++类库，用于快速开发设计领域的专业应用程序。最近一直在利用OpenCasCade来进行空间几何的相关算法，于是有了这个教程让大家可以更直观的看到occ内部对象...
2019-01-04 12:53:42
7997
7
原创 TensorFlow激励函数
激励函数三种激励 relu sigmoid tanh 本次利用relu激励进行离散点拟合# 激励函数# 三种激励 relu sigmoid tanh# 多层神经网络时 激励选择需慎重 会导致梯度消失或梯度爆炸import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltdef add_layer(...
2019-01-03 09:52:31
2686
原创 [C++] 程序崩溃时输出Dmp文件（崩溃转储）
捕获未经处理的异常目的 程序在异常捕获中难免会遇到未经捕获的异常，因此要在最上级对未抓取异常进行处理，包括保存用户文件及输出Dmp文件，Dmp文件可以帮助开发人员快速定位异常所在具体工具可以利用VisualStudio或者Windbg工具来跟踪定位异常抛出语句。 举个例子，office系列Word大家都用过，如果遇到崩溃退出，你所敲过的文字office是会给你保存下来的不会丢失，这就是要...
2019-01-03 09:16:03
4206
原创 [C++] 实现线程安全的懒汉单例模式
线程安全的懒汉单例模式利用unique_lock互斥锁实现，lock_guard亦可，个中优劣自行体会。废话不多说直接上代码以下是头文件内容public: ~Singleton(); static Singleton* GetInstance(); static void DestoryInstance();private: Singleton(); static Single...
2019-01-02 13:38:27
2590
原创 架构设计之非功能性需求
非功能性需求什么叫非功能性需求非功能性需求为何与架构相关值得注意什么叫非功能性需求非功能性需求包括性能、可修改性、可用性、易用性、复用性、环境要求等，在最初的需求方案分析阶段很容易被忽略，而这些内容的考虑往往会影响到产品的实现，包括功能架构、详细设计都会用到。非功能性需求为何与架构相关合适性 ：正确性 类定义刚好覆盖所有需求；复用性 ：千分之8的冗余 pclint sonar工...
2019-01-02 13:10:20
7144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人