zhangsq1319

快乐源于分享
私信 关注
火树银花之处
码龄4年

努力追求卓越、成功就会出其不意的找上门来.

  • 20,266
    被访问量
  • 121
    原创文章
  • 84,307
    作者排名
  • 9
    粉丝数量
  • 毕业院校 青海民族大学
  • 目前就职 某某科技有限公司
  • 于 2017-05-18 加入CSDN
获得成就
  • 获得16次点赞
  • 内容获得21次评论
  • 获得30次收藏
荣誉勋章
兴趣领域
  • #数据库管理
    #数据库架构#数据仓库
  • #设计
    #交互
  • #大数据
    #hive#storm#ETL#数据仓库#hadoop#spark
  • #运维
    #运维开发#Graylog/ELK#Kubernetes/容器#网络#自动化/DevOps#系统架构#Jenkins#Linux/CentOS
TA的专栏
  • tools
    2篇
  • mysql
    7篇
  • redis
    7篇
  • 读书笔记
  • 计算机类原理
    2篇
  • Hadoop
    4篇
  • Flink
    1篇
  • HBase
    6篇
  • Hive
    5篇
  • Spark
    11篇
  • Kafka
    2篇
  • Zookeeper
    3篇
  • Storm
    1篇
  • Elasticsearch
    4篇
  • Azkaban
  • Flume
  • Impala
    5篇
  • 计算机概念
    4篇
  • 性能测试
    4篇
  • 存储
    4篇
  • python
    8篇
  • 分布式系统
    9篇
  • Linux
    23篇
  • 生活随笔
    1篇
  • 硬件
    3篇
  • 云计算
    6篇
  • 高可用集群
    8篇
  • 数据库
    9篇
  • 网络
    1篇
  • 监控
    7篇
  • 中间件
    10篇
  • Jenkins
  • Ansible
    3篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

idea下maven配置的java项目打jar包

在idea中新建一个普通maven项目在file--->new--->Project选择maven项目,直接next(非javaee项目)填写项目信息位置和名称自行定义,然后finish;配置pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/
原创
60阅读
1评论
0点赞
发布博客于 3 月前

SecureCRT最佳实践

1、背景颜色及透明度设置(根据数字顺序设置):1,选项--->2全局选项颜色:1终端--->2外观--->3高级--->4白/黑(可自定义,新建)透明度:5透明度设置,预估2252、中断、字体、行列显示设置(每个会话单独设置):1)防止长时间不操作中断选项:2)字体设置:3)行列显示设置:...
原创
61阅读
0评论
0点赞
发布博客于 6 月前

pycharm编写pyspark设置

1、安装好pycharm后,打开pycharm创建项目2、创建项目,指定python位置(可用python虚拟环境)2.1、配置pycharm环境然后:apply==>ok2.2 、添加spark安装包下面的python文件夹中的两个pyspark的zip包3、配置流程4、提交代码到spark上运行...
原创
67阅读
0评论
0点赞
发布博客于 7 月前

spark RDD与DataFrame的相互转换

一、RDD与DataFrame的区别 a.DataFrame的write.jdbc,仅支持四种模式:append、overwrite、ignore、default b.使用rdd的话,除了上述以外还支持insert 和 update操作,还支持数据库连接池 (自定 义,第三方:c3p0 hibernate mybatis)方式,批量高效将大量数据写入 Mysql 方式一: DataFrame转换为RDD相对来说比较简单,只需要调用...
原创
44阅读
0评论
0点赞
发布博客于 7 月前

spark学习路径(python版)

1、spark只是一个计算引擎,可以通过多种语言与其交互,我选择的是python2、熟练python编程基础3、查看官网文档http://spark.apache.org/docs/latest/quick-start.html http://spark.apache.org/docs/latest/api/python/index.html4、python是通过各种第三方类库与spark交互:如pyspark5、不管是sparkCore,sparkSQL,sparkStreamin
原创
60阅读
0评论
0点赞
发布博客于 7 月前

SparkSQL官方文档——读取win10本地文件

# -*- encoding: utf-8 -*-"""@File : sparkSql_tableOpe.py@Time : 2020/7/8 11:47@Author : zhangsongqing@annotation: XXX"""from pyspark.sql import SparkSessionfrom pyspark.sql.types import *spark = SparkSession.builder.master('local').config.
原创
178阅读
0评论
0点赞
发布博客于 7 月前

SparkSQL官方文档——学习方法解读

1、SparkSQL官方文档学习方式:2、点击:Getting Started
原创
40阅读
0评论
0点赞
发布博客于 7 月前

pyspark官网文档解读学习-学习方法(0)

1、界面整体及模块说明2、类说明3、每一个类为一个分界线
原创
65阅读
0评论
0点赞
发布博客于 7 月前

pySpark的worldCount

第一次通过python编写spark: 通过python编写spark需要通过pyspark这个类库来操作spark;pyspark官网:http://spark.apache.org/docs/latest/api/python/pyspark.html#pyspark.RDD参考:https://blog.csdn.net/lc_1123/article/details/79007231https://www.jianshu.com/p/b5e949261cfdhttps...
原创
70阅读
0评论
0点赞
发布博客于 7 月前

MySQL-5.7.X二进制安装

1、下载mysql二进制安装包wgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.30-linux-glibc2.12-x86_64.tar.gz2、解压配置环境变量#添加mysql用户useradd mysql#创建mysql工作目录mkdir /usr/local/mysql && chown -R mysql. /usr/local/mysql#解压mysql二进制安装包到工作目录tar -z.
原创
46阅读
0评论
0点赞
发布博客于 8 月前

yum基础操作

来源:base来源为linux自带@:表示已安装
原创
28阅读
0评论
0点赞
发布博客于 8 月前

Java IO

java IO分类字节流:字符流:输入:读取外部数据(磁盘、光盘等存储设备的数据)到程序(内存)中。输出:将程序(内存)数据输出到磁盘、光盘等存储设备中字节流读取:字符流读取:数据在真正readline时才会触发去读取;...
原创
28阅读
0评论
0点赞
发布博客于 9 月前

spark基础(1)

1.spark出现原因MapReduce缺点spark架构spark分为Master节点和slave节点,ApplicationMaster资源调度,Executor执行具体的task;2.yarn架构yarn由RM和NM组成,每个在yarn上运行的计算框架只需要实现AM接口,做到不同类型计算框架都可以在yarn运行;每个运行在yarn上的任务都有一个AM;AM做到了RM与Driver的桥梁;具体作业任务由Driver调度;spark只是一个计算框..
原创
34阅读
0评论
0点赞
发布博客于 9 月前

keepalived工作原理

VRRP(Virtual Router Redundancy Protocol,即虚拟路由冗余协议):1)VRRP是用来实现路由器冗余的协议。2)VRRP协议是为了消除在静态缺省路由环境下路由器单点故障引起的网络失效而设计的主备模式的协议,使得发生故障而进行设计设备功能切换时可以不影响内外数据通信,不需要再修改内部网络的网络参数。3)VRRP协议需要具有IP备份,优先路由选择,减少不必要的路由器通信等功能。4)VRRP协议将两台或多台路由器设备虚拟成一个设备,对外提供虚拟路由器IP(一个或多个).
原创
101阅读
0评论
0点赞
发布博客于 9 月前

impala常见优化策略

impala常见优化策略 分区不能超过3w多 要执行compute stats xxx 表 join时,把小表写前面,会把小表广播到其他节点。 选择parquert 格式存储。 刷新Impala invalidate metadata时,跟上表,禁止直接执行invalidate metadata ...
原创
163阅读
0评论
0点赞
发布博客于 9 月前

大数据运维学习之路

hadoop 组成 原理 flink 组成 原理 hive 组成 原理 zookeeper 组成 原理 spark 组成 原理 hbase 组成 原理 kafka 组成 原理 Impala 组成 原理 storm 组成 原理 elasticsearch 组成 原理 flume 组成 原理 azkaban 组成 原理 Oozie 组成 原理 CDH 组成
原创
641阅读
0评论
1点赞
发布博客于 9 月前

HBase数据读取流程

HBase数据读取流程 一、数据读取流图client发起数据查询 client从zk获取hbase:meta表的位置(位置是一个regionServer的地址) 根据从zk获取的hbse:meta表的位置访问对应的regionServer,并且将hbase:meta表数据缓存到内存中,然后根据rowkey从meta表中获取对应region及regionServer的位置 client直接同region所在的regionServer通信,获取数据...
原创
110阅读
0评论
0点赞
发布博客于 9 月前

Kafka为什么那么快?

Kafka为什么那么快?从写入与读取两个方面来介绍:一、写入磁盘顺序I/O,分区数据顺序追加 Memory Mapped File(mmap内存映射文件),内存中操作的文件直接映射到本地文件二、读取基于sendfile零拷贝技术,直接将分区文件发送给消费者,省去了本地分区文件拷贝到内核空间、从内核空间拷贝到用户空间、用户空间拷贝到socket缓冲区三个步骤; 消息批量发送和数据压缩,减少了网络IO...
原创
65阅读
0评论
0点赞
发布博客于 9 月前

yarn资源调度

调度流程图client向resourcemanager(RM)提交任务 RM在某一个nodeManager(NM)启动一个对应的applicationMaster(AM) AM向RM注册自己及申请任务需要的资源 RM要求对应NM启动相应的Container AM发送请求到对应NM,启动任务 NM设置Container的运行时环境(jar包,环境变量,任务启动脚本),NM会通过脚本启动任务 启动的过程是由NM的ContainerLauncher负责的,ContainerLauncher完成启
原创
95阅读
0评论
0点赞
发布博客于 9 月前

spark-submit提交pyspark任务是引入第三方依赖包

/etc/alternatives/spark-submit \--master yarn \--deploy-mode cluster \--name md_day_dump_user \--conf "spark.pyspark.driver.python=/home/uther/miniconda2/envs/uther/bin/python3" \--conf "spark.pyspark.python=/home/uther/miniconda2/envs/uther/bin/pyth.
原创
653阅读
0评论
0点赞
发布博客于 9 月前

hive_架构

hive_架构 hive整合hadoop一起分为以下几个模块:client,metastore,driver,hdfs等 hive的用户接口 hive cli 命令行模式,使用最多,较为方便 ./bin/hive -e 'select * from test' 执行指定sql,无需进入hive交互式命令行 ./bin/hive -S -e 'select * from test' 静音模式,只输出结果,不输出MapReduce执行过程 ./...
原创
56阅读
0评论
0点赞
发布博客于 9 月前

hive_介绍

hive_介绍 hive是基于Hadoop的一个数据仓库工具。它可以将一个结构化数据文件映射成为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为Mapreduce任务进行运行。 hive与关系型数据库的区别:存储文件的系统不同,hive使用HDFS,关系型数据库使用服务器本地的文件系统; hive使的计算模型是Mapreduce,而关系型数据库使用的是自己设计的计算模型; 关系型数据库为实时查询业务设计的,而hive则是为了海量数据挖掘设计的,实时性很差; hi...
原创
52阅读
0评论
0点赞
发布博客于 9 月前

Linux之RPM包操作

RPM是一种用于互联网下载包的打包及安装工具,它包含在某些Linux分发版中,它生成具有RPM扩展名的文件,RPM是RedHat Package Manager(RedHat软件包管理工具)的缩写,类似windows的setup.exe,这一文件格式名称虽然打上了RedHat的标志,但理念是通用的;查找对应rpm包:rpm –qa | grep xxx 卸载对应rpm包:rpm -e xxx #加上--nodeps 表示强制卸载,一般卸载低版本时使用 安装对应rpm包:rpm...
原创
31阅读
0评论
0点赞
发布博客于 9 月前

Centos7.X安装impala(RPM方式)

Centos7.5安装Impala一、安装包准备1.1、Impala下载地址http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/1.2、impala依赖下载地址http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/1.3、Impala其他依赖cyrus-..
原创
714阅读
0评论
0点赞
发布博客于 9 月前
动画:用动画给面试官解释 TCP 三次握手过程
发布Blink于 9 月前

Linux命令date

1、
原创
37阅读
0评论
0点赞
发布博客于 10 月前

elasticsearch磁盘不足造成index只读

1、logstash报错[INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / ...
原创
686阅读
0评论
0点赞
发布博客于 10 月前

算法时间复杂度

1、什么是算法时间复杂度算法的时间复杂度,用来度量算法的运行时间,记作: T(n) = O(f(n))。它表示随着 输入大小n 的增大,算法执行需要的时间的增长速度可以用 f(n) 来描述。2、表示形式将问题抽象成数学函数表达式:T(n) = 0.5n^2 + 0.5n如何推导出时间复杂度呢?有如下几个原则: 如果运行时间是常数量级,用常数1表示; 只保留时间函数...
原创
53阅读
0评论
0点赞
发布博客于 10 月前

Hbase数据写入流程

1、组件架构图2、相关概念1)Regiontable在行的方向上分隔为多个Region,或者说是根据rowkey分割。Region是HBase中分布式存储和负载均衡的最小单元,即不同的region可以分别在不同的Region Server上,但同一个Region是不会拆分到多个server上。Region按大小分隔,表中每一行只能属于一个region。随着数据不断插入表,regi...
原创
180阅读
0评论
0点赞
发布博客于 10 月前
Spark job提交时,spark-submit的主要参数的解析及建议
发布Blink于 10 月前

spark-submit任务提交参数说明

1、任务提交实例#!/bin/bashecho "|--------------------------------------开始提交任务 NewKafka2Hbase---------------------------------------"echo "|提交开始时间:"$(date "+%Y-%m-%d %H:%M:%S")/home/app/spark-2.1.1/bin...
原创
200阅读
0评论
1点赞
发布博客于 10 月前

Linux命令vim模式

vim模式三种模式:命令模式,编辑模式,末行模式1、概览2、进入文本时既是命令模式在命令模式可以复制:yy,粘贴:p,回首行:gg,回末行:G,删除:dd3、从命令行模式进入编辑模式输入a:在该字符后面开始输入输入i:在该字符前面开始输入输入o:另起一行开始输入4、从命令模式到末行模式直接输入“ :”或者“ /”进入末行模式在末行...
原创
63阅读
0评论
0点赞
发布博客于 10 月前

Linux命令之& and nohup

& and nohup当我们在终端或控制台工作时,可能不希望由于运行一个作业而占住了屏幕,因为可能还有更重要的事情要做,比如阅读电子邮件。为了使这些进程能够在后台运行,也就是说不在终端屏幕上运行,有几种选择方法可供使用。1、&当在前台运行某个作业时,终端被该作业占据;可以在命令后面加上& 实现后台运行。例如:sh test.sh &适合在后台...
原创
42阅读
0评论
0点赞
发布博客于 10 月前

python函数装饰器(不含参数)

1、什么是函数装饰器函数装饰器是用于增强函数功能,在函数执行前或者执行后运行相应代码段、类似java中切面编程2、函数装饰器的运行逻辑def a_new_decorator(a_func): def wrapTheFunction(): print("I am doing some boring work before executing a_fun...
原创
51阅读
0评论
0点赞
发布博客于 10 月前

zookeeper集群安装部署

zookeeper集群安装部署1)下载并解压wgethttps://downloads.apache.org/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvfzookeeper-3.4.14.tar.gz2)配置环境变量vim~/.bashrc#zookeeperexport ZOOKEE...
原创
31阅读
0评论
0点赞
发布博客于 10 月前

深入理解Kafka_基本概念(1)

1、Kafka概念Kafka是一个由Scala语言开发的,多分区,多副本,基于zookeeper协调的分布式消息系统2、Kafka组成生产者,broker,消费者,zookeeper集群生产者:将消息发送到brokerbroker:将收到的消息存储到磁盘中消费者:从broker订阅并消费消息zookeeper:负责kafka集群元数据的管理,控制器的选举等操作...
原创
156阅读
0评论
0点赞
发布博客于 10 月前

数据仓库DW、ODS、DM概念及其区别

数据仓库DW、ODS、DM概念及其区别在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程: Extract,数据抽取,也就是把...
原创
75阅读
0评论
0点赞
发布博客于 10 月前

httpd搭建本地yum源

1、安装httpdyum install -y httpd2、修改httpd配置文件(直接清空原配置文件,粘贴下面配置)#httpd.confServerRoot "/etc/httpd"Listen 6789 #端口可自行更改LoadModule autoindex_module modules/mod_autoindex.soInclude conf.mod...
原创
336阅读
0评论
0点赞
发布博客于 10 月前

impala安装教程(rpm)

impala安装教程第一步:下载相关rpm包下载地址:http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.14.0/RPMS/x86_64/需要下载jar包如下:impala-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64.rpmimpala-catalog...
原创
164阅读
0评论
0点赞
发布博客于 10 月前

impala常见错误

1、使用insert插入字符串报错ERROR: AnalysisException: Possible loss of precision for target table 'test.student'.Expression ''e'' (type: STRING) would need to be cast to VARCHAR(22) for column 'name'解决办法:...
原创
480阅读
0评论
0点赞
发布博客于 10 月前

redis配置文件常用配置(单机)

redis配置文件常用配置(单机)#redis.conf修改daemonize yes #是否以后台daemon方式运行,默认不是后台运行port 6379 #默认端口为6379,可以根据需求修改pidfile /home/app/redis/redis.pid #41行 #redis的PID文件路径(可选,一般放到安装位置)bind 0.0.0.0 #绑定主机IP,默...
原创
162阅读
0评论
0点赞
发布博客于 10 月前

redis配置文件常用配置(集群)

redis配置文件常用配置(集群)#redis.conf修改daemonize yes #是否以后台daemon方式运行,默认不是后台运行port 6379 #默认端口为6379,可以根据需求修改pidfile /home/app/redis/redis.pid #41行 #redis的PID文件路径(可选,一般放到安装位置)bind 0.0.0.0 #绑定主机IP,默认...
原创
58阅读
0评论
0点赞
发布博客于 10 月前

Redis常见设置及操作

Redis常见设置及操作1、获取所有的keykeys * 或者keys action* #匹配规则:action开头的所有key,*匹配所有2、获取key类型type keyName3、获取一个hash key的所有属性或者获取所有属性的值hkeys keyName #获取这个hash key的所有属性hvals keyName #获...
原创
39阅读
0评论
0点赞
发布博客于 10 月前

redis缓存穿透,击穿,雪崩

redis缓存穿透,击穿,雪崩穿透:缓存穿透是指查询一个一定不存在的key,由于缓存是不命中时被动写的,并且出于容错考虑,如果从数据库查不到数据则不写入缓存,这将导致这个不存在的key每次请求都要直接到数据库去查询,缓存没有起到作用。在流量大时,可能数据库就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞。解决办法:1)通过对有效值过滤2)无条件缓存,空值最...
原创
26阅读
0评论
0点赞
发布博客于 10 月前

修改Zookeeper输出日志 zookeeper.out输出路径、 脚本定期清理zk快照和日志文件

修改Zookeeper输出日志 zookeeper.out输出路径、 脚本定期清理zk快照和日志文件https://blog.csdn.net/dehu_zhou/article/details/81939965修改Zookeeper输出日志 zookeeper.out输出路径脚本定期清理zk快照和日志文件正常运行过程中,ZK会不断地把快照数据和事务日志输出到dataDi...
转载
290阅读
0评论
0点赞
发布博客于 11 月前

limits限制

limits限制1、报错:too many open fileslinux系统默认的open files 为1024 ,如果程序报错 too many open files错误,就是因为open files 数目不够,需要修改ulimit 和file-maxfile-max的含义,man proc,可得到file-max的描述:/proc/sys/fs/file-maxThis...
原创
46阅读
0评论
0点赞
发布博客于 11 月前

virtualBox设置网络桥接

正常情况下,像设置virtualbox虚拟机的桥接网卡非常简单,只需要点配置,然后在配置界面点击网络,然后在右边的网络里选择桥接网络即可。但是如果这么简单就好了,今天要说的就是在不正常的情况下是怎么设置的。工具/原料 virtualbox window10 方法/步骤 本系统是windows10操作系统,点击设置,然后在网络里选择连接方式为桥接网络,如下面图中所示...
转载
169阅读
0评论
0点赞
发布博客于 11 月前

python常见循环

python常见循环while循环while 条件:#条件不能为常量,循环体中需要改变条件的因子 passelse: pass备注:else可选for循环for x in list: #list为序列 passelse: pass备注:else可选针对次数循环:for x in range(1,10,1): #ra...
原创
92阅读
0评论
0点赞
发布博客于 11 月前

ansible常用模块

ansible常用模块1、ping模块:测试ansible到各个服务器的连通性2、command模块:用来执行基础Linux命令,不支持管道符和shell语法3、
原创
25阅读
0评论
0点赞
发布博客于 11 月前

Linux之命令替换

Linux之命令替换Shell 命令替换是指将命令的输出结果赋值给某个变量。比如,在某个目录中输入 ls 命令可查看当前目录中所有的文件,但如何将输出内容存入某个变量中呢?这就需要使用命令替换了,这也是 Shell 编程中使用非常频繁的功能。Shell 中有两种方式可以完成命令替换,一种是反引号` `,一种是$(),使用方法如下:variable=`commands`variable=...
原创
95阅读
0评论
0点赞
发布博客于 11 月前

shell下的常见循环

1、for结构:for 变量 in 串行do 执行命令done2、whilewhile 条件测试 do 执行命令 done3、untiluntil 条件测试 do 执行命令 doneuntil是当条件为假时才执行...
原创
26阅读
0评论
0点赞
发布博客于 11 月前

Linux命令之exit

Linux命令之exit
原创
47阅读
0评论
0点赞
发布博客于 11 月前

YAML格式

YAML格式YAML 语言(发音 /ˈjæməl/ )的设计目标,就是方便人类读写。它实质上是一种通用的数据串行化格式。它的基本语法规则如下。大小写敏感 使用缩进表示层级关系 缩进时不允许使用Tab键,只允许使用空格。 缩进的空格数目不重要,只要相同层级的元素左侧对齐即可#表示注释,从这个字符一直到行尾,都会被解析器忽略。YAML 支持的数据结构有三种。对象:...
原创
71阅读
0评论
0点赞
发布博客于 11 月前

grafana忘记登陆密码

grafana忘记登陆密码找到grafana的数据文件grafana.db 1 2 find/ -name"grafana.db" ps:默认的安装路径为/var/lib/grafana/grafana.db 进入数据库修改数据 1 2 3 4 5 6 7 8 ...
原创
73阅读
0评论
0点赞
发布博客于 1 年前

ansible基础命令使用方法

ansible基础命令
原创
41阅读
0评论
0点赞
发布博客于 1 年前

Linux下的扩展

Linux下的扩展1、yum源扩展yum:yum install -y epel-releaserpm:wgethttp://mirrors.sohu.com/fedora-epel/epel-release-latest-7.noarch.rpm#rpm-ivhepel-release-latest-7.noarch.rpm#yumcleanall#yum...
原创
24阅读
0评论
0点赞
发布博客于 1 年前

Nginx升级

Nginx升级1、下载需要升级的版本源码包:nginx-1.17.9.tar.gz下载地址:http://nginx.org/en/download.html(一般为稳定版本或者客户指定版本)2、上传到服务器并解压3、查看老版本nginx编译命令(nginx -V(大写))将--prefix=/home/wxgz/nginx --pid-path=/var/run/ng...
原创
36阅读
0评论
0点赞
发布博客于 1 年前

fastdfs集群安装及测试(1个tracker,2个storage)

fastdfs集群安装1、准备好安装包,上传服务器(使用普通用户安装)2、安装依赖(所有主机)解压安装包并安装报错:缺少gcc-c++编译器,sudo yum install gcc-c++编译检查依赖:安装:3、安装fastdfs包(所有主机)编译检查依赖:安装:拷贝配置文件:4、启动集群修改配置文件:tr...
原创
241阅读
0评论
0点赞
发布博客于 1 年前

curl命令的基本使用

curl命令的基本使用get请求:curl "www.baidu.com"示例:curl '127.0.0.1:5000/imooc/get'post请求:curl "www.baidu.com" -X POST -d "a=b"示例:curl '127.0.0.1:5000/imooc/post' -X POST -d 'a=b'...
原创
27阅读
0评论
0点赞
发布博客于 1 年前

flask入门之json转换

flask入门之json转换1、python对象转为json对象json.dumps()2、json对象转为python对象json.loads()
原创
28阅读
0评论
0点赞
发布博客于 1 年前

virtualbox 挂在iso镜像

根据下图上标注顺序操作:
原创
419阅读
0评论
0点赞
发布博客于 1 年前

监控的目的

监控的目的  google指出,监控分为白盒监控和黑盒监控之分。  白盒监控:通过监控内部的运行状态及指标判断可能会发生的问题,从而做出预判或对其进行优化。  黑盒监控:监控系统或服务,在发生异常时做出相应措施。  监控的目的如下:    1、根据历史监控数据,对为了做出预测    2、发生异常时,即使报警,或做出相应措施    3、根据监控报警及时定位问题根源 ...
原创
210阅读
0评论
0点赞
发布博客于 1 年前

elasticsearch---Xpack安装

===============注意 !!!=====================严格按照顺序来执行!!!============================================注意 !!!=====================严格按照顺序来执行!!!============================================注意 !!!===========...
原创
176阅读
0评论
0点赞
发布博客于 1 年前

那些年的舞台

1、解决问题遇见问题,重点不是要听怎么造成的,而需要的是怎么解决这个问题;没有解决办法,那叫找借口;解决问题后,再回顾为什么造成这样的问题,总结为以后避免这类问题;2、工作态度1、不要老盯着别人看,尤其是盯着别人的缺点,要欣赏别人的优点;(与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视)2、自己规划好计划,每天都有固定的目标,不管目标大小,都要有具体的事宜去做;...
原创
31阅读
0评论
1点赞
发布博客于 1 年前

FastDFS简介及入门

1、fastDFS简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同内容的文件只保存一份,节约磁盘空间FastDFS只能通过Client API访问,不支持POSIX访问方式FastDFS...
原创
39阅读
0评论
0点赞
发布博客于 1 年前

ansible入门简介

ansible入门简介1 介绍ansible是一种自动化运维工具,基于paramiko开发的,并且基于模块化工作,Ansible是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台,它是基于python语言,由Paramiko和PyYAML两个关键模块构建。集合了众多运维工具的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能.ansible是基于模块工作的,本身没有批量...
原创
25阅读
0评论
0点赞
发布博客于 1 年前

jenkins介绍

jenkins介绍jenkins是一个开源项目,提供了一种易于使用的持续集成系统,使开发者从繁杂的集成中解脱出来,专注于更为重要的业务逻辑实现上。同时 Jenkins 能实时监控集成中存在的错误,提供详细的日志文件和提醒功能,还能用图表的形式形象地展示项目构建的趋势和稳定性。Jenkins可以构建一个自动化的持续集成环境可以使用它来“自动化”编译、打包、分发部署应用,它兼容ant、mave...
转载
29阅读
0评论
0点赞
发布博客于 1 年前

Linux命令值uptime

Linux命令值uptimeuptime命令主要用作查看系统负载,一般单逻辑cpu负载小于等于3为佳,大于等于5为差;1、查看当前系统负载1为当前系统时间;2为系统已经运行了多长时间;3为系统当前用户数;4为系统1,5,15分钟的平均负载备注:负载为在特定时间间隔内运行队列中的平均进程数...
原创
48阅读
0评论
0点赞
发布博客于 1 年前

Linux命令之top

Linux命令之toptop命令主要用来查看系统进程状态1、top1,按住M可以根据内存使用排序;2,按住P可以根据CPU使用排序;3,按住数字1可以查看有多少个逻辑cpu;4,按住小写c最后一列COMMAND可以显示详细进程命令...
原创
18阅读
0评论
0点赞
发布博客于 1 年前

MySQL整体架构

MySQL整体架构图我们先看一下MySQL的架构图,对其先有一个整体的了解。MySQL主要分为四层架构,分别是网络连接层,服务层,存储引擎层,物理层。我们平常写的SQL语句,以及对SQL语句的优化都在服务层,他其实就是遵循一定的原则使得SQL语句能够按我们的预期效果执行。各部分介绍1、网络连接层主要负责连接管理,授权认证,安全等。每个客户端连接都对应着服务器上的一个线程。...
转载
36阅读
0评论
0点赞
发布博客于 1 年前

linux命令之screen

linux命令之screenscreen命令的作用:将不能终止,不能放入后台的或者放入后台后logout停止执行的命令放入screen session执行不会中断;1、创建一个screen窗口session新建一个叫sessionname的session screen -S sessionname2、查看screen窗口sessionscreen -ls3、...
原创
26阅读
0评论
0点赞
发布博客于 1 年前
Flask从入门到做出一个博客的大型教程(一)
发布Blink于 1 年前

python基本数据类型(图解版)

python3数据类型
原创
59阅读
0评论
0点赞
发布博客于 1 年前

安装LoadRunner11时,会报缺少vc2005_sp1_with_atl_fix_redist错误

安装LoadRunner11时,会报缺少vc2005_sp1_with_atl_fix_redist错误解决方案我的电脑在安装LoadRunner11时,会报缺少vc2005_sp1_with_atl_fix_redist错误;由提示信息可知,这里是由于本机缺少该组件所致,解决方案就是安装此组件,可以去网上下载,当然,我们完全没有必要这样做,因为在LoadRunner的安装包中,可以找到...
原创
103阅读
0评论
0点赞
发布博客于 1 年前

loadrunner-controller参数配置

loadrunner-controller参数配置
原创
90阅读
0评论
0点赞
发布博客于 1 年前

hadoop之hdfs简介及入门

hdfs简介及入门1、hdfs是什么?hdfs是一个可以建立在廉价机上的高度容错性和高吞吐量的海量数据存储的分布式文件系统;2、hdfs组成?1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。3)DataNode 负责管理用户的文...
原创
235阅读
0评论
0点赞
发布博客于 1 年前

hadoop入门及简介

hadoop入门及简介1、hadoop是什么?2、hadoop组成?3、为什么选择hadoop?
原创
31阅读
0评论
0点赞
发布博客于 1 年前

prometheus数据采集

prometheus数据采集Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server,Prometheus Server通过访问该Exporter提供的Endpoint端点,即可获取到需要采集的监控数据。Prometheus通过HTTP接口的方式从各种客户端获取数据,这些客户端必须符合Prometheus监控数据格式;通常有两种方式:...
原创
1614阅读
8评论
3点赞
发布博客于 1 年前

nginx隐藏版本号

nginx隐藏版本号1、未修改配置文件前[root@hadoop01 ~]# curl -I localhost:80HTTP/1.1 200 OKServer: nginx/1.16.1Date: Tue, 03 Mar 2020 03:48:10 GMTContent-Type: text/htmlContent-Length: 4833Last-Modified: Fr...
原创
38阅读
0评论
0点赞
发布博客于 1 年前

RabbitMQ学习(二、RabbitMQ核心概念)

RabbitMQ学习(二、RabbitMQ核心概念)为什么选择RabbitMQ?RabbitMQ为什么性能高?什么是AMQP协议?AMQP协议模型:AMQP核心概念:RabbitMQ整体架构:RabbitMQ消息流转图:...
原创
69阅读
0评论
0点赞
发布博客于 1 年前

RabbitMQ学习(一、常见MQ)

RabbitMQ学习(一、常见MQ)1、主流消息中间件介绍ActiveMQ:Kafka:RocketMQ:RabbitMQ:
原创
44阅读
0评论
0点赞
发布博客于 1 年前

hive入门及简介

hive入门及简介1、hive是什么?Hive是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2、hive组成?Hive主要由以下三个模块组成:用户接口模块,含CLI、HWI、JDBC、Thrift Server等,用来实现对Hive的访问。CLI是Hive自带的命令行界面;HWI是Hive的一个简单网页界面;JDBC、ODBC以...
原创
34阅读
0评论
0点赞
发布博客于 1 年前

storm入门及简介

storm入门及简介1、storm是什么?storm是一个开源的可以用于大量数据集的分布式实时数据计算引擎;2、storm组成?Nimbus:Storm集群主节点,负责资源分配和任务调度。我们提交任务和停止任务都是在Nimbus上操作的。一个Storm集群只有一个Nimbus节点。 Supervisor:Storm集群工作节点,接受Nimbus分配任务,管理所有Worker...
原创
35阅读
0评论
0点赞
发布博客于 1 年前

redis数据持久化机制

redis数据持久化机制1、持久化方式持久化分为两种:RDB和AOFRDB:RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。也是默认的持久化方式,这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdbAOF:Append Only File一种以日志追加形式,将数据操作都写到一个文件当中;2、方式说明RDB:也分为三种...
原创
26阅读
0评论
0点赞
发布博客于 1 年前

raid简介

raid简介1、什么是raid2、常见raid
原创
57阅读
0评论
0点赞
发布博客于 1 年前

zabbix安装

zabbix安装1、常见安装方式2、生产安装方式
原创
32阅读
0评论
0点赞
发布博客于 1 年前

prometheus安装

prometheus安装1、常见安装方式2、生产安装方式
原创
174阅读
0评论
0点赞
发布博客于 1 年前

prometheus入门

prometheus入门及安装1、prometheus简介2、prometheus安装
原创
77阅读
0评论
1点赞
发布博客于 1 年前

zabbix入门

zabbix入门及安装1、zabbix简介2、zabbix安装
原创
267阅读
0评论
1点赞
发布博客于 1 年前

nginx之配置文件解析

nginx之配置文件解析1、配置文件结构2、日常配置项
原创
60阅读
0评论
0点赞
发布博客于 1 年前

nginx之安装

nginx之安装1、yum安装2、编译安装
原创
36阅读
0评论
0点赞
发布博客于 1 年前

Nginx之基本操作

Nginx之基本操作1、启动2、关闭3、重启
原创
41阅读
0评论
0点赞
发布博客于 1 年前

tomcat基本优化

tomcat基本优化1、日常优化项2、每项细节
原创
32阅读
0评论
0点赞
发布博客于 1 年前

tomcat入门及基本操作

tomcat入门及简介1、什么是tomcat2、tomcat基本操作
原创
89阅读
0评论
0点赞
发布博客于 1 年前

redis五种数据类型及其常见操作

redis五种数据类型及其常见操作Redis支持5种数据类型:string(字符串),hash(哈希),list(列表),set(集合)及zset(sorted set:有序集合)。1、stringstring是 redis 最基本的类型,你可以理解成与 Memcached 一模一样的类型,一个 key 对应一个 value。value其实不仅是String,也可以是数字。str...
原创
1898阅读
0评论
1点赞
发布博客于 1 年前

几种常见用以实现负载均衡的软件简介

几种常见用以实现负载均衡的软件简介1、nginx2、haproxy3、LVS
原创
165阅读
0评论
0点赞
发布博客于 1 年前

几种常见用以实现高可用架构软件简介

几种常见用以实现高可用架构软件简介1、keepalived2、heartbeat
原创
419阅读
0评论
0点赞
发布博客于 1 年前

几种MySQL常用架构简介

几种MySQL常用架构简介1、单机2、主从(一主多从)3、主主3、MHA4、PXC
原创
137阅读
0评论
0点赞
发布博客于 1 年前

elasticsearch常用操作(curl模式)

elasticsearch常用操作(curl模式)1、curl 'hadoop01:9200/_cat/indices?v' 查看所有索引 (结合grep可以过滤)2、curt -XDELETE 'hadoop01:9200/XXX' 删除XXX索引
原创
52阅读
0评论
0点赞
发布博客于 1 年前

redis5.x安装(单机和集群)

redis5.x集群搭建redis-cli --cluster create node4:9000 node4:9001 node5:9000 node5:9001 node6:9000 node6:9001 --cluster-replicas 1 -a 4rGhQpgkPRzS
原创
61阅读
0评论
0点赞
发布博客于 1 年前