- 博客(23)
- 资源 (2)
- 收藏
- 关注
原创 分布式搜索和分析引擎-Elasticsearch
分布式搜索和分析引擎-ElasticsearchElasticsearch 是一个分布式的免费开源搜索和分析引擎,适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在Apache Lucene 的基础上开发而成,由 Elasticsearch N.V.(即现在的Elastic)于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名,是Elastic Stack 的核心组件;Elast
2021-03-24 16:06:39 473
原创 分布式缓存技术-redis
分布式缓存技术-redis缓存的用途高性能:redis是基于内存进行操作的,性能较高,前端发送请求后,后端会查询数据库,中间加入redis后可以将数据先存在redis中,下次读取的时候会直接读取redis的数据性能就会提高高并发:mysql的数据库每秒查询率(QPS)是2000,redis的上限就比较大,单点下系统吞吐量(TPS)是8W/S ,每秒查询率(QPS)是10W ,redis集群情况下根式可以支持每秒几十万的读写并发处理,这样应对高并发场景就可以满足要求Redis的线程模型R
2021-01-18 16:42:04 894
原创 分布式通信协议分析-TCP/IP和UDP/IP
TCP/IPTCP/IP(Transmission Control Protocol/Internet Protocol)是一种可靠的网络数据传输控制协议。定义了主机如何连入因特网以及数据如何在他们之间传输的标准。TCP/IP协议参考模型把所有TCP/IP系列协议归类到四个抽象层中;每一个抽象层建立在低一层提供的服务上,并且为高一层提供服务ICMP:控制报文协议IGMP:internet组管理协议ARP:地址解析协议RARP:反向地址转化协议OSI模型(开放式系统互联通信参考模型),
2020-12-29 16:03:01 390
原创 分布式协调服务-Zookeeper
分布式环境的特点分布性并发性程序运行过程中,并发性操作室很常见的。比如同一个分布式系统中的多个节点,同时访问一个共享资源。数据库、分布式存储无序性进程之间的消息通信,会出现顺序不一致问题#分布式环境下面临的问题网络通信网络本身的不可靠性,因此会涉及到一些网络通信的问题网络分区(脑裂)当网络发生异常倒是分布式系统中部分节点之间的网络延时不断增大,最终导致组成分布式架构的所有节点,只有部分节点能正常通信三态在分布式架构里面,有三种状态,成功、失败、超时分布式事务ACID(原子性、一
2020-12-29 15:58:54 160
原创 分布式消息处理机制-kafka
#安装kafkatar -zxvf进入到config目录下修改server.propertiesbroker.idlisteners=PLAINTEXT://192.168.11.140:9092zookeeper.connect启动sh kafka-server-start.sh -daemon …/config/server.propertiessh kafka-s...
2019-03-26 16:37:05 1612
转载 大数据技术栈
大数据技术栈提起大数据,不得不提由IBM提出的关于大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性),而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展,尤以Hadoop和Spark最为突出,已构建起庞大的技术生态体系圈首先通过一张图来了解一下目前大数据领域常用的一些技术,当然大数据发展至今所涉及技术远不止这些。数据采集和传输层Flume是一个分布式
2021-03-29 13:56:08 238
原创 互联网公司基本的技术栈
SaaS应用需要的技术栈开发前端:vue、H5后端:spring boot 、spring cloud、spring mvc、spring、dubbo移动端:安卓、IOS桌面端:C++云设施云服务器:阿里云、腾讯云、华为云、金山云等域名系统:Namecheap 。静态托管:Netlify 。邮件推送:Postmark,SendGrid 。短息推送:OneSignal 。数据存储数据库存储包括数据库、缓存和对象存储集中方式。数据库用于存储结构化的业务数据和系统配置数据,缓存
2021-01-08 16:39:01 1400
原创 docker下安装pinpoint实现分布式性能监控
linux上安装git环境用来取pinpoint>yum install git克隆官方提供的docker git>git clone https://github.com/naver/pinpoint-docker.git>cd Pinpoint-Docker>docker-compose pull && docker-compose up -d安装docker-compose>cd /usr/local/bin/>wg.
2020-12-30 10:21:04 484 1
原创 jenkins+gitlab+gradle实现自动化构建基本流程
新建一个gitlab项目在settings中配置web hooks用来检测代码更新并实时构建配置完成后在jenkins中新建一个job用来处理项目的构建配置远程服务用来远程部署项目到测试环境5.执行运行脚本完成项目启动source /etc/profilecd /kingdee/second-open/mkdir democd demoproject=demo-0.0.1-SNAPSHOT.jardir=/kingdee/second-open/demo/.
2020-12-30 10:19:06 482
原创 Centos7上使用docker部署jenkins
安装docker启动docker服务查看docker状态(是否启动)yum install Dockerservice docker startps -ef|grep docker拉取官方docker镜像地址docker pull jenkinsdocker images | grep jenkins创建目录运行container,其中49001:8080,表示docker内部使用49001端口,服务器使用8080端口,然后将二者映射起来,之后在浏览器访问的时候实际上还是访问服务器的
2020-12-29 16:10:59 86
原创 Centos7上使用docker部署sonar
前提安装最新版的Docker获取postgresql的镜像docker pull postgres启动postgresqldocker run --name db -e POSTGRES_USER=sonar -e POSTGRES_PASSWORD=sonar -d postgres 获取sonarqube的镜像docker pull sonarqube启动sonarqubedocker run --name sq --link db -e SONARQUBE_JDBC_URL=j
2020-12-29 16:10:20 230
原创 Centos7上使用docker部署jenkins
安装docker启动docker服务查看docker状态(是否启动)yum install Dockerservice docker startps -ef|grep docker拉取官方docker镜像地址docker pull jenkinsdocker images | grep jenkins创建目录运行container,其中49001:8080,表示docker内部使用49001端口,服务器使用8080端口,然后将二者映射起来,之后在浏览器访问的时候实际上还是访问服务器的
2020-12-29 16:09:47 93
原创 centos7上安装gitlab
安装依赖软件yum -y install policycoreutils openssh-server openssh-clients postfix2.设置postfix开机自启,并启动,postfix支持gitlab发信功能systemctl enable postfix && systemctl start postfix3.下载gitlab安装包,然后安装centos 6系统的下载地址:https://mirrors.tuna.tsinghua.edu.cn/git.
2020-12-29 16:08:38 75
原创 centos7安装mysql数据库
1,执行mysql数据库的下载和安装[root@wpcroc ~] cd /usr/local/src/[root@wpcroc ~] wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm[root@wpcroc ~] rpm -ivh mysql57-community-release-el7-8.noarch.rpm[root@wpcroc ~] yum -y install mysql-server 默认
2020-12-29 16:07:36 64
原创 centos7安装docker环境
Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本uname -r 初步安装yum update -yyum -y install docker查看docker是否安装成功yum list installed | grep docker启动dockersystemctl start docker报错处理SELinux is no
2020-12-29 16:06:46 111
原创 Python爬取网站图片数据
Python爬取网站图片数据找到需要爬取的网站地址模拟网站http请求根据调试模式获取的了解读取到真实的地址url,读取请求头数据和参数信息,模拟http请求调用import requestsfrom urllib.parse import urlencode# requests内置的状态码,可判断url响应是否正确from requests import codesimport osfrom hashlib import md5from multiprocessing.pool im
2020-12-29 15:16:13 540
原创 分布式架构基础-多线程
分布式架构基础-多线程基本概念进程:程序的一次执行过程线程:一个进程产生的多个线程并发:偏重于多个任务交替执行,可用于一个CPU并行:用于多个CPU同时执行任务高并发:通常考验指标为响应时间、吞吐量、每秒查询效率(QPS)、并发用户数线程的生命周期:一个线程周期首先通过new Thread创建一个线程触发,然后调用start()方法让线程从就绪状态变成运行状态,后续再运行过程中有wait()、sleep()、stop()、resume()方法对线程的状态做等待、睡眠、停止等相关处理,致使线程
2020-12-29 11:39:00 908
原创 分布式存储系统数据库中间件-Mycat
分布式存储系统数据库中间件-Mycat官方文档网站:http://mycat.org.cn/Mycat基本定义一个彻底开源的,面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品一个新颖的数据库中间件产品常用应用场景单纯
2020-12-24 12:38:07 532
原创 centos7配置redis哨兵模式
centos7配置redis哨兵模式本地服务器演示1主2从3哨兵模式下载安装redis #安装gcc环境 yum install -y gcc #下载redis安装包 wget http://download.redis.io/releases/redis-5.0.3.tar.gz #解压文件 tar -zxvf redis-5.0.3.tar.gz #切换到指定目录并编译文件 cd redis-5.0.3 make #安装到指定目录 make install PREFI
2020-12-18 16:08:33 531 2
原创 centos7在线安装mongo
centos7在线安装mongo安装的版本号为 MongoDB 4.2企业版配置存储库vi /etc/yum.repos.d/mongodb-enterprise.repo#插入内容[mongodb-enterprise]name=MongoDB Enterprise Repositorybaseurl=https://repo.mongodb.com/yum/redhat/$releasever/mongodb-enterprise/4.2/$basearch/gpgcheck=1
2020-12-18 15:17:07 90
原创 centos7基于nginx制作文档服务器
centos基于nginx制作文档服务器安装需要的基础环境yum install gcc-c++yum install -y pcre pcre-develyum install -y zlib zlib-develyum install -y openssl openssl-devel官网找到nginx稳定的最新版本https://nginx.org/en/download.html稳定版本:https://nginx.org/download/nginx-1.18.0.tar.
2020-12-11 17:03:16 73
原创 java线上问题定位神器 Arthas入门
java线上问题定位神器 Arthas入门Arthas(阿尔萨斯)是阿里巴巴开源的 Java 诊断工具,深受开发者喜爱。当你遇到以下类似问题而束手无策时,Arthas 可以帮助你解决:这个类从哪个 jar 包加载的?为什么会报各种类相关的 Exception?我改的代码为什么没有执行到?难道是我没 commit?分支搞错了?遇到问题无法在线上 debug,难道只能通过加日志再重新发布吗?线上遇到某个用户的数据处理有问题,但线上同样无法 debug,线下无法重现!是否有一个全局视角来查看系统
2020-12-11 14:26:25 158
原创 基于node的跨平台抓包代理工具whistle
基于node的跨平台抓包代理工具whistle详细内容请进入官网查看 http://wproxy.org/whistle/安装Nodewhistle支持v0.10.0以上版本的Node,为获取更好的性能,推荐安装最新版本的Node。Windows或Mac系统,访问https://nodejs.org/,安装LTS版本的Node,默认安装即可Linux下推荐使用源码安装: 从Node官网下载最新版的Source Code(或者用wget命令下载),解压文件(tar -xzvf node-v
2020-12-10 20:37:44 1920
openOffice安装包
2020-12-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人