- 博客(59)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 Linux下安装Hadoop集群（2.部署Hadoop）
1.下载解压hadoop2.7.1wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gzcd /usr/localtar -zxvf hadoop-2.7.1.tar.gz嫌速度慢的话可以下载这个（不要脸.jpg）hadoop2.7.1下载2.配置环境变量vi /etc/...
2020-01-09 19:56:07
320
原创 Linux下安装Hadoop集群（1.基础环境配置）
1.在各个节点创建Hadoop账号#关闭防火墙systemctl stop firewalld#创建名为hadoop的账号useradd hadoop#给名为hadoop的账号设置密码passwd hadoop#给hadoop账号设置免密登录权限#1.给sudoers文件赋予权限chmod +w /etc/sudoers#2.打开sudoers文件进行编辑vi /etc/su...
2020-01-09 09:09:42
1543
原创 基于springboot和layUI实现省市区三级联动
基于springboot和layUI实现省市区三级联动实现结果实现步骤前端部分代码后台DAO层代码后台service层后台Controller层实现结果实现步骤总共分为前端部分和后台部分前端部分代码URL设为自己的路径，我这里是重新写了url配置<!DOCTYPE html><html><head> <meta charset="ut...
2019-08-05 17:26:39
2852
2
原创 Linux下自动化远程备份MySQL数据库
cd /usr/local/binvi backup.sh#!/bin/bash#mysql数据库逻辑备份脚本#1.定义数据库连接和目标库信息m_user=""m_pass=""m_port=""m_host=""m_conn="-P$m_port -u $m_user -p$m_pass -h $m_host"m_db=""#2.定义备份目录、工具、时间、文件名主体bak_dir="/usr/local/mysql"bak_cmd="/usr/local/mysql/bin/
2021-04-23 15:12:50
297
原创 Linux下使用elasticdump
一、安装node.js#如果无法下载，则手动去网站下载cd /usr/local#下载wget https://nodejs.org/dist/v10.13.0/node-v10.13.0-linux-x64.tar.gz#解压tar xf node-v10.13.0-linux-x64.tar.gz#设置软连接ln -s /usr/local/node-v10.13.0-linux-x64/bin/npm /usr/bin/npmln -s /usr/local/node-v10.13.
2021-03-27 18:12:20
722
原创 Linux下安装es和kibana集群
一、安装Java环境二、创建用户#创建用户组groupadd eser#创建用户，-g指定用户组useradd -g eser es#设置密码passwd es#给新增用户sudo权限vi /etc/sudoers/#在/etc/sudoers文件中新增下面这行es ALL=(ALL) ALL三、下载解压es#切换用户su es#先从网上下载tar包，解压sudo tar -zxvf elasticsearch-7.2.1-linux-x86_64.tar.
2021-03-27 01:26:17
526
1
原创 Linux服务器下禁用root用户
一、创建新用户adduser adminpasswd adminvim /etc/sudoers #在root ALL=(ALL) ALL下添加admin ALL=(ALL) ALL二、禁止root账户ssh登录vi /etc/ssh/sshd_config#将 #PermitRootLogin yes的去掉#并改为no三、重启sshd服务service sshd restart...
2021-03-12 14:30:31
486
原创 linux下安装Storm集群
1.安装Storm1.1下载解压安装包cd /usr/localwget https://mirror.bit.edu.cn/apache/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gztar -zxvf apache-storm-2.2.0.tar.gz mv apache-storm-2.2.0 storm1.2配置环境变量vi /etc/profile#添加下面配置export STORM_HOME=/usr/local/sto
2020-09-25 18:00:08
328
原创 使用kafka定时获取接口的数据并存到mysql数据库
一、搭建kafka集群二、导入pom包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dependency> <
2020-08-21 16:20:51
2756
5
原创 Linux下安装Mycat1.6
一、安装JDK二、下载安装包三、解压安装#先将安装包放到local文件夹下cd /usr/localtar -zxvf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gzvi /etc/profileexport MYCAT_HOME=/usr/local/mycatexport PATH=$PATH:$MYCAT_HOME/bin#使配置生效source /etc/profile四、修改配置vi /usr/local/
2020-08-14 11:47:35
291
原创 Kafka整合Avrot进行序列化和反序列化
一、在linux上安装confluent下载tar包cd /usr/localtar -zxvf confluent-5.0.0-2.11.tar.gzcd confluent-5.0.0bin/schema-registry-start etc/schema-registry/schema-registry.properties二、添加依赖<dependency> <groupId>org.apache.avro</groupId> &
2020-07-31 14:21:45
868
原创 利用Kafka-connect分布式模式实现mysql数据库存储到topic，并从topic取数据到mysql数据库
一、搭建kafka二、下载connect jar和mysql-connect包到kafka目录下的lib文件夹并配置connect-distributed.properties记得先关防火墙#建表CREATE TABLE `users_input` ( `uid` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) NOT NULL, `age` int(11) NOT NULL, PRIMARY KEY (`uid`)) E
2020-07-29 15:31:46
880
1
原创 利用Kafka-connect单机模式实现mysql数据库存储到topic，并从topic取数据到mysql数据库
一、搭建kafka二、下载connect jar包到kafka目录下的lib文件夹并配置connect-standalone.propertiescd /usr/local/kafka/configvi connect-standalone.properties#内容如下bootstrap.servers={ip}:9092key.converter=org.apache.kafka.connect.json.JsonConvertervalue.converter=org.apache.ka
2020-07-29 10:11:56
429
原创 搭建FastDFS(一台tracker server 两台storage server)
一、下载安装包并解压安装包可去网上找资料或者https://download.csdn.net/download/qq_38650808/12543469unzip libfastcommon-master.zip cd libfastcommon-master/./make.sh./make sh installtar -zxvf FastDFS_v5.08.tar.gzcd FastDFS/./make.sh ./make.sh install二、修改tracker配置文件（在
2020-06-23 18:04:53
1138
原创 centos7下安装OpenSSL
一、下载OpenSSLhttp://www.openssl.org/source/openssl-1.0.2j.tar.gz二、解压安装yum -y install gcccd /usr/localtar -xzf openssl-1.0.2j.tar.gzcd openssl-1.0.2j ./config --prefix=/usr/local/openssl ./config -t make make install cd /usr/local ldd /usr/local/o
2020-06-23 17:02:54
3420
原创 sqlserver在linux下的安装
一、设置镜像curl https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo > /etc/yum.repos.d/mssql-server.repo二、进行安装yum install -y mssql-server三、运行安装程序sudo /opt/mssql/bin/mssql-conf setup四、查看rpm -qa | grep mssql五、设置为开机自启systemctl enabl
2020-06-16 16:22:33
2109
原创 springboot整合druid和mybatis完成数据库主写从读功能
一、导入pom包 <!--阿里数据库连接池 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.14</version> &l
2020-06-09 20:16:27
800
原创 mysql5.7不能使用groupby
vi /etc/my.cnf#添加如下配置sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
2020-06-09 19:20:57
582
原创 mysql主从库同步设置
一、修改主库my.cnf文件vi /etc/my.cnf#在[mysqld]下添加如下配置log_bin=master-binlog_bin_index=master-bin.indexinnodb_file_per_table=ONbinlog_format=MIXEDserver_id=1sync_binlog=1二、添加一个从服务器创建复制数据的用户GRANT REPLICATION SLAVE ON *.* TO 'slave'@'从库的ip' IDENTIFIED BY '密
2020-06-08 20:09:10
192
原创 在linux下安装Maven
下载maven包wget https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz解压Maven包tar -zxvf apache-maven-3.6.3-bin.tar.gz 配置环境变量vim /etc/profile#添加如下环境变量export MAVEN_HOME=/usr/local/apache-maven-3.6.3export PATH=${PA
2020-06-05 16:45:18
163
原创 在linux下安装jdk1.8
一、利用yum查询可用jdk版本yum search java | grep -i --color JDK二、选择版本安装yum install java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment 8三、配置环境变量vi /etc/profile#插入如下配置export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86
2020-06-05 16:30:32
199
原创 在Linux下部署SpringBoot的jar包
在Linux下部署SpringBoot的jar包一、将项目打包成jar包利用mvn:clean package命令打包项目二、编写启动、停止、重启脚本start.sh(启动脚本)#nohup 命令#用途：不挂断地运行命令。#语法：nohup Command [ Arg … ][ & ]nohup java -jar XX.jar &stop.sh（关闭脚本）PID=`ps -ef | grep XX.jar | grep -v grep | awk '{print $
2020-05-09 15:19:11
427
原创 springboot整合AOP实现记录日志功能
springboot整合AOP实现记录日志功能一、导入pom包 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <...
2020-05-08 15:41:04
1392
3
原创 springboot整合geetest进行登陆验证
一、先下载geetest的SDK从Github: gt3-server-maven-sdk下载.zip文件二、将.zip文件解压并将里面的文件放在自己的项目下三、编写代码package com.test.common.utils.geetest;import org.springframework.stereotype.Controller;import org.springfr...
2020-05-03 16:30:08
524
原创 利用kettle完成mysql表的数据去重
利用kettle完成简单的mysql表到mysql表的数据传输完成效果如下表输入排序字段去除重复记录字段选择表输出完成效果如下表输入排序字段去除重复记录字段选择表输出...
2020-04-30 15:25:33
1286
原创 利用kettle完成简单的mysql表到mysql表的数据传输
利用kettle完成简单的mysql表到mysql表的数据传输完成效果如下表输入字段选择表输出完成效果如下表输入字段选择表输出
2020-04-29 14:37:41
767
原创 在Linux下搭建FTP服务器
1.安装ftpyum install vsftpd -y2.修改配置文件vi /etc/vsftpd/vsftpd.conf#关闭匿名访问将anonymous_enable参数将值设置为NO3.添加用户#/usr/local/ftptest 为用户的主目录 linyue为用户名mkdir /usr/local/ftptestuseradd -d /usr/local/ftp...
2020-03-04 16:47:54
199
原创 Linux下安装MySQL5.7
1.下载解压重命名Mysqlcd /usr/localwget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gztar -zxvf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.22-linux-gl...
2020-01-13 16:53:46
236
原创 Linux下安装Python
1.安装编译器和依赖yum -y install gcc gcc-c++yum -y install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-develyum -y install libffi-devel2.安装解压Pythoncd /usr/localw...
2020-01-13 14:27:00
120
原创 Linux下安装Spark集群
1.安装Scala2.下载解压安装包cd /usr/localwget http://mirror.bit.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgztar -zxvf spark-2.4.4-bin-hadoop2.7.tgzmv spark-2.4.4-bin-hadoop2.7 spark3.配置环...
2020-01-13 11:25:27
229
原创 Linux下安装Hive集群
1.安装Hadoop 2.安装MySQL3.安装HAProxy3.下载并解压Hivecd /usr/localwget http://mirror.bit.edu.cn/apache/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gztar -zxvf apache-hive-2.3.6-bin.tar.gz mv apache-hive-2.3...
2020-01-10 17:07:23
524
原创 Linux下安装HAProxy
1.编译安装#安装gcc组sudo yum -y install gcc*#安装opensslsudo yum -y install openssl-devel pcre-devel#下载并解压软件包cd /usr/localwget http://download.openpkg.org/components/cache/haproxy/haproxy-1.8.5.tar.gzt...
2020-01-10 11:53:36
707
原创 Linux下安装JDK
下载JDK1.81. 安装wgetyum -y install wget2. 64位下载wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://do...
2020-01-10 09:34:24
185
原创 Docker安装Python3.5
#拉取python3.5的镜像docker pull python:3.5#进入/usr/local/python下创建hello.py文件cd /usr/localmkdir pythonvi hello.py#在hello.py下编写下面代码print("Hello,World");#运行容器#-v $PWD/usr/local/python :将主机中当前目录挂载到容器的/...
2020-01-08 17:27:47
392
原创 Docker安装mysql5.7
#关闭防火墙systemctl stop firewalld#拉取mysql5.7的镜像docker pull mysql:5.7 #- p 代表端口映射，格式为 宿主机映射端口:容器运行端口#- e 代表添加环境变量， MYSQL_ROOT_PASSWORD 是 root 用户的登陆密码docker run -id --name=sun_mysql -p 3306:3306 -e M...
2020-01-08 17:05:09
134
原创 Linux下安装Redis
1、安装解压redis并重命名cd /usr/localwget http://download.redis.io/releases/redis-5.0.3.tar.gztar -zxvf redis-5.0.3.tar.gzmv redis-5.0.3 redis2、安装gcc依赖yum install gcc3、进入安装目录编译安装cd redismake MALLOC=...
2019-12-20 17:09:27
125
原创 Linux下安装Nginx
1、安装依赖包,并新建nginx目录yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-develcd /usr/localmkdir nginx2、下载解压压缩包，并重命名cd /usr/local/nginxyum -y install wgetwget http://nginx.org/download/...
2019-12-20 15:45:49
233
原创 从gitee上clone失败:Authentication failed for “http…“
clone中IDEA提示Clone failed：Authentication failed for “http…“在Git安装目录下打开git-cmd可执行程序，在命令行里输入 git config --system --unset credential.helper 回车。然后从新clone时输入git上账户和密码即可...
2019-12-18 15:25:51
1814
es+kibana+logstash
2020-06-29
fastdfs+master.zip
2020-06-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人