- 博客(60)
- 收藏
- 关注
RSS订阅原创 mysql(8.0)_主从复制
MASTER_LOG_POS/SOURCE_LOG_POS：在主数据库执行命令show master status 查询到的位置 Position的值。MASTER_LOG_FILE/SOURCE_LOG_FILE：在主数据库执行命令show master status 查询到的二进制日志文件名称。MASTER_PORT/SOURCE_PORT：主数据库的端口，不设置则默认是3306。MASTER_HOST/SOURCE_HOST：主数据库的主机ip。
2023-04-18 13:11:56
378
1
原创 nginx反向代理_负载均衡的配置
两台虚拟机：88节点是自己的虚拟机66节点是小组成员的虚拟机，我们暂且叫同学机tomcat端口，分别为8081和8082总结就是：自己虚拟机上面安装nginx和tomcat8082同学机上安装tomcat8081。
2023-04-13 16:13:00
1591
原创 linux安装redis
1.下载安装包https://redis.io/download/2.安装redis所需要的依赖（使用root用户）yum -y install centos-release-sclyum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils3.上传安装包4.解压（解压到当前文件夹即可）tar -zxvf redis-5.0.4.tar.gz 注意 redis.conf。此文件是 Redi
2022-04-25 15:04:07
1587
原创 lnmp的配置
l 代表linuxn 代表nginxm 代表mysqlp 代表php1.安装nginxhttps://blog.csdn.net/weixin_45955039/article/details/124282533?spm=1001.2014.3001.55012.安装mysqlhttps://blog.csdn.net/weixin_45955039/article/details/123137325?spm=1001.2014.3001.55013....
2022-04-22 20:58:18
3374
原创 linux tomcat配置到nginx上
1.安装tomcathttps://blog.csdn.net/weixin_45955039/article/details/124282975?spm=1001.2014.3001.55012.安装nginxhttps://blog.csdn.net/weixin_45955039/article/details/124282533?spm=1001.2014.3001.55013.把tomcat复制两份，分别是tomcat1和tomcat2cd /usr/local/mv tomcat
2022-04-20 09:57:22
3076
原创 linux安装tomcate
1、tomcat的运行需要jdk，检查jdk的环境java -version2.上传tomcate并解压下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.78/bin/tar -zxvf apache-tomcat-8.5.78.tar.gz -C /usr/local/3.修改名字cd /usr/local/mv apache-tomcat-8.5.78/ tomcat4.查看808
2022-04-19 22:00:38
1317
原创 linux安装nginx
1.安装依赖yum install gccyum install pcre-develyum install zlib zlib-develyum install openssl openssl-devel2.Nginx 源码包解压 tar -xvf nginx-1.13.0.tar.gz3.源码 Configure 预编译，需进入解压后的目录执行./configure 指令cd nginx-1.13.0 ./configure \--prefix=/usr/local/ngi
2022-04-19 20:34:48
2594
原创 安装 MaxScale
MaxScale只在master上安装就好1.环境准备192.168.1.101 master192.168.1.102 slave12.以 centos 7 为例安装。下载安装包https://downloads.mariadb.com/MaxScale/1.4.5/centos/7/x86_64/3.安装依赖yum install libaio.x86_64 libaio-devel.x86_64 novacom-server.x86_64 libedit -y4.上传maxsc
2022-04-15 19:47:47
2232
原创 mysql主从复制配置
1.环境介绍192.168.1.101 master192.168.1.102 slave12.安装mysqlhttps://blog.csdn.net/weixin_45955039/article/details/123137325?spm=1001.2014.3001.55023.master上的配置3.1在文件/etc/my.cnf中添加以下内容，切记要添加在[mysqld]下server-id=1log-bin=mysql-bin3.2启动mysql服务systemct
2022-04-15 16:39:20
1052
原创 安装kafka
1.下载kafka，地址如下：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz 2. 上传kafka3.解压kafka到/usr/local目录，使用以下命令：sudo tar -xvf kafka_2.12-2.6.0.tgz -C /usr/local/4.重命名解压后的目录为kafka，使用以下命令：sudo mv /usr/local/kafka_2.12-2.6.0/ /usr/
2022-03-27 11:41:24
3112
1
原创 vscode配置spark
1. 解压Spark压缩包到D盘，如下图所示：2.在环境变量中配置SPARK_HOME，如下图所示：SPARK_HOME自己的路径D:\axc\spark-2.4.6-bin-hadoop2.73.把SPARK_HOME 设置为python的exe文件PYSPARK_PYTHON自己的路径C:\Users\wyj\AppData\Local\Programs\Python\Python37\python.exe4. 复制spark下的pyspark目录到python安装目录下
2022-03-18 23:09:37
5529
1
原创 安装standalone模式的spark
1.通过以下步骤，配置Worker节点a) 重命名slaves.template文件为slaves，使用以下命令：mv /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slavesb) 编辑slaves文件，使用以下命令：vim /usr/local/spark/conf/slavesc) 替换原有的localhost为以下内容：masterslave1slave22.通过以下步骤，配置Spark集群运行参数：
2022-03-13 18:31:56
3219
原创 安装local模式的spark
安装1.上传Spark压缩包2.解压缩Spark到/usr/local目录sudo tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz -C /usr/localcd /usr/local/3.重命名为spark，使用以下命令：sudo mv /usr/local/spark-2.4.6-bin-hadoop2.7/ /usr/local/spark4.授权当前用户hadoop拥有spark目录的所有者权限，使用以下命令：sudo chown -R ha
2022-03-13 17:52:22
2404
1
原创 安装flume
1.上传Flume到master的/home/hadoop目录2.把Flume压缩文件，解压到/usr/local中，使用以下命令：sudo tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local3. 进入/usr/local目录，使用以下命令：cd /usr/local4.将解压后的apache-flume-1.9.0-bin目录重命名为flume，使用以下命令：sudo mv apache-flume-1.9.0-bin/ flume
2022-03-12 17:08:15
1755
原创 安装sqoop
1.sqoop的下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2.上传sqoop3.解压sqoopsudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/4.进入/usr/local目录cd /usr/local5.将解压后的sqoop-1.4.7.bin__hado
2022-03-10 20:59:35
2056
原创 hadoop完全分布式02
大家按照之前的链接进行安装好之后进入到这里安装高可用https://blog.csdn.net/weixin_45955039/article/details/118784204?spm=1001.2014.3001.55021.进入到hadoop的配置文件中cd /usr/local/hadoop/etc/hadoop/2.配置core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type=
2022-03-05 17:31:54
1658
原创 centOs安装mysql
由于centOs中自带mariadb包，所以我们可以利用yum快速安装#检查yum是否可以使用yum repolist#安装服务端yum -y install mariadb-server mariadb#重新加载mariadbsystemctl restart mariadb#利用mysql启动客户端mysql没有密码执行完show databases；有结果就是成功了接下来要把Host表内容修改为%#切换数据库use mysql;#查询user表select
2022-02-25 17:23:14
2422
原创 新建虚拟机（小白）
新建虚拟机1.点击创建新的虚拟机2.典型，下一步3.镜像稍后安装4.浏览可以自己设置路径，可以随意安装到任何盘中5.点击DVD 。把自己的镜像放上去6.浏览是放自己的安装路径的7.点击启动虚拟机，等待安装8.选择语言9.分别配置软件选择，安装位置，网络配置9.1 软件选择9.2配置网络9.3安装位置达到这个效果就证明配置好了10配置用户、创建密码TiBAd3lqdQ==,size_20,color_FFFFFF,t_70,g_se,x_16)这
2021-10-23 17:11:36
1861
1
原创 hadoop单机伪分布式
hadoop伪分布式 修改配置文件之前，别忘了免密 1.使用 ssh-keygen 命令，在 /home/hadoop/.ssh 目录下生成公钥和私钥，所有选项全部敲回车ssh-keygen2.使用 ssh-copy-id localhost 命令，发送本机的公钥给 localhost，本机就可以免密登录 localhostssh-copy-id localhost hadoop的配置文件在etc/hadoop/里面 cd etc/hadoop/2.修改配置文件core-site.
2021-10-23 15:02:38
1983
原创 windows10安装mysql
1.下载（1）首先登录mysql官网（2）找到下载（3）下载zip包，一定要和自己电脑一样，我的是64位的（4）直接下载即可2.安装2.1（配置环境）由于本人C盘有限，所以安装到D盘（1）把该压缩包解压到D盘：（2）配置环境变量点击右键我的电脑（3）配置mysql.ini文件#设置3306端口port=3306#设置mysql的安装目录，切记一定要是自己的环境变量路径basedir=D:\javamysql\mysql#设置mysql数据库的数据的存放目
2021-10-10 16:18:31
879
1
原创 安装hive
1.hive的下载地址，Hive版本为2.3.7https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.7/2.上传Hive3.把Hive压缩文件，解压到/usr/local中，使用以下命令：sudo tar -xvf apache-hive-2.3.7-bin.tar.gz -C /usr/local4.进入/usr/local目录，使用以下命令：cd /usr/local5.将解压后的apache-hive-2.3.7-bin
2021-08-18 08:56:25
2017
原创 安装hbase
1、HBase版本为1.4.13的下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.4.13/hbase-1.4.13-bin.tar.gz2、上传tar包hbase-1.4.13-bin.tar.gz3、解压tar包sudo tar -zxvf hbase-1.4.13-bin.tar.gz -C /usr/local/4、将解压后的hbase-1.4.13目录重命名为hbasecd /usr/localsudo mv hb
2021-08-13 10:35:13
667
原创 spark安装-3台虚拟机
1.上传tar包spark-2.4.3-bin-hadoop2.7.tgz2.解压tar包tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz3.修改文件名mv spark-2.4.3-bin-hadoop2.7 spark4.配置环境变量 进入/etc/profilesudo vim /etc/profile 添加以下内容#SPARK_HOME#自己的路径export SPARK_HOME=/data/spark/sparkexport PATH=
2021-07-16 17:08:00
424
2
原创 hadoop高可用的安装--3台虚拟机
解压hadoop包1.解压hadoop包到 /usr/local里面sudo tar -zxf hadoop-2.7.7.tar.gz -C /usr/local2.进入到 /usr/local里面，修改名字为hadoopcd /usr/local/sudo mv ./hadoop-2.7.7/ ./hadoop 3.授权当前用户hadoop拥有该文件夹的所有者权限。sudo chown -R hadoop ./hadoop4.查看文件安装路径pwd5.配置环境变量打开 /
2021-07-16 11:52:45
724
原创 zookeeper安装
拍摄快照带有静态ip，克隆三台虚拟机，一共四台虚拟机。也可以克隆两台虚拟机，一共三台虚拟机。以下用的是四台虚拟机。拍摄快照的步骤： 右键—快照–拍摄快照克隆虚拟机点击右键----快照—快照管理修改静态ip每台虚拟机都要修改静态ip，不要忘了重启网络哦== *==重启网络的命令service network restart修改主机名字hostnamectl set-hostname bigdata101每台虚拟机都要修改静态ip，不要忘了重启网络哦==
2021-07-16 10:02:38
1509
15
原创 Centos7安装Python3.7
说明全部操作都在root用户下执行切换用户su root1.安装编译相关工具yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-develyum install libffi-deve
2021-07-15 17:50:57
223
原创 pip在cmd中运行的时候找不到命令
https://blog.csdn.net/weixin_34378767/article/details/93215983
2021-07-12 09:27:47
424
原创 MySql简答题
mysql的优化1.sql语句以及索引的优化（1）索引的优化（1.1）对于表80%以上都是读的操作，可以创建索引多一些，但是不能超过五个，一般是3个左右，特别是对那种个别更新频繁的表，不能创建太多索引。过多的索引不但增加其占用的磁盘空间，也增加了SQL Server 维护索引的开销。（1.2）定义有主键的列要建立索引（1.3）定义有外键的列要建立索引（1.4）经常查询的列建立索引（1.5）经常出现在关键字order by、group by、distinct后面的字段，建立索引。如果建立的是复合
2021-07-01 10:24:53
664
原创 eclipse里面配置hadoop
1.切换到普通用户下面su hadoop2.进入到/usr/local/hadoop/etc/hadoop/里面。查看配置文件cd /usr/local/hadoop/etc/hadoop/3.修改core-site.xml 文件（1）进入文件里面vim core-site.xml （2）内容修改为<!-- 所有hadoop的存储目录 --> <property> <name>hadoop.tmp.dir</n
2021-05-22 14:33:05
3548
5
原创 hadoop分布式集群搭建01
关闭防火墙** 查看防火墙状态命令** systemctl status firewalld** 关闭防火墙**systemctl stop firewalld** 开机禁用防火墙** systemctl disable firewalld 修改静态ip每台虚拟机都要修改静态ip，不要忘了重启网络哦== *==重启网络的命令service network restart修改主机名字hostnamectl set-hostname bigdata101每台虚拟机都要
2021-05-06 17:32:05
5443
14
原创 安装spark
1.上传tar包spark-2.4.3-bin-hadoop2.7.tgz2.解压tar包tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz3.修改名字为sparksudo mv spark-2.4.6-bin-hadoop2.7 spark4.修改环境变量进入到~/.bashrcvim ~/.bashrc添加以下内容#SPARK_HOMEexport SPARK_HOME=/data/spark/sparkexport PATH=$PATH:$SP
2021-01-15 16:08:17
363
1
原创 mysql索引
根据名字作为索引，索引里面是有真实数据的，并且是排过序的。#查看索引show index from 表名字作用：提高查询效率确定数据唯一性 主键索引 唯一索引可以加速表与表之间的连接，实现表与表之间的参照完整性使用分组和排序子句进行数据检索时，可以显著减少分组和排序的时间分类：主键索引 某一个属性或属性的组合能唯一标识一条记录特点：最常见索引类型，确保数据记录的唯一性，确定特定数据记录在数据库中的位置#在创建表时加入index(字段名)create index inde
2020-12-26 18:22:26
107
1
原创 scala七道复习要点
1.高阶函数参数为函数的称为高阶函数案例object TestFunction { def main(args: Array[String]): Unit = { //高阶函数————函数作为参数 def calculator(a: Int, b: Int, operater: (Int, Int) => Int): Int = { operater(a, b) } //函数————求和
2020-09-17 17:11:58
124
原创 hbase简答15道
1.HBase跟hive有什么区别？Hive的定位是数据仓库，虽然也有增删改查，但其删改查对应的是整张表而不是单行数据，查询的延迟较高。其本质是更加方便的使用mr的威力来进行离线分析的一个数据分析工具。HBase的定位是hadoop的数据库，是一个典型的Nosql，所以HBase是用来在大量数据中进行低延迟的随机查询的。2.hbase内置过滤器单个列过滤器,列过滤器,列族过滤器,前缀过滤器,键值过滤器3.描述Hbase的rowKey的设计原则 Rowkey长度原则？Rowkey是一个二进制码流，
2020-07-15 09:41:48
471
原创 kafka28道简答
1.Kafka过期数据清理保证数据没有被引用（没人消费他）日志清理保存的策略只有delete和compact两种log.cleanup.policy=delete启用删除策略log.cleanup.policy=compact启用压缩策略2，Kafka丢不丢数据：Ack=0，相当于异步发送，消息发送完毕即offset增加，继续生产。Ack=1，leader收到leader replica 对一个消息的接受ack才增加offset，然后继续生产。Ack=-1/ all，leader收到所有re
2020-07-14 10:28:15
240
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas
2020-07-11 11:56:34
2010
原创 Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data len
Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "node04/192.168.56.104"; destination host is: "node01":9870;遇到这个错误是创建语句中创建hdfs的路径报错create function youmeng.finderrorco
2020-07-10 11:40:30
8000
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人