自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(59)
  • 资源 (6)
  • 收藏
  • 关注

原创 Linux下安装Hadoop集群(2.部署Hadoop)

1.下载解压hadoop2.7.1wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gzcd /usr/localtar -zxvf hadoop-2.7.1.tar.gz嫌速度慢的话可以下载这个(不要脸.jpg)hadoop2.7.1下载2.配置环境变量vi /etc/...

2020-01-09 19:56:07 320

原创 Linux下安装Hadoop集群(1.基础环境配置)

1.在各个节点创建Hadoop账号#关闭防火墙systemctl stop firewalld#创建名为hadoop的账号useradd hadoop#给名为hadoop的账号设置密码passwd hadoop#给hadoop账号设置免密登录权限#1.给sudoers文件赋予权限chmod +w /etc/sudoers#2.打开sudoers文件进行编辑vi /etc/su...

2020-01-09 09:09:42 1543

原创 基于springboot和layUI实现省市区三级联动

基于springboot和layUI实现省市区三级联动实现结果实现步骤前端部分代码后台DAO层代码后台service层后台Controller层实现结果实现步骤总共分为前端部分和后台部分前端部分代码URL设为自己的路径,我这里是重新写了url配置<!DOCTYPE html><html><head> <meta charset="ut...

2019-08-05 17:26:39 2852 2

原创 Linux下自动化远程备份MySQL数据库

cd /usr/local/binvi backup.sh#!/bin/bash#mysql数据库逻辑备份脚本#1.定义数据库连接和目标库信息m_user=""m_pass=""m_port=""m_host=""m_conn="-P$m_port -u $m_user -p$m_pass -h $m_host"m_db=""#2.定义备份目录、工具、时间、文件名主体bak_dir="/usr/local/mysql"bak_cmd="/usr/local/mysql/bin/

2021-04-23 15:12:50 297

原创 Linux下使用elasticdump

一、安装node.js#如果无法下载,则手动去网站下载cd /usr/local#下载wget https://nodejs.org/dist/v10.13.0/node-v10.13.0-linux-x64.tar.gz#解压tar xf node-v10.13.0-linux-x64.tar.gz#设置软连接ln -s /usr/local/node-v10.13.0-linux-x64/bin/npm /usr/bin/npmln -s /usr/local/node-v10.13.

2021-03-27 18:12:20 722

原创 Linux下安装es和kibana集群

一、安装Java环境二、创建用户#创建用户组groupadd eser#创建用户,-g指定用户组useradd -g eser es#设置密码passwd es#给新增用户sudo权限vi /etc/sudoers/#在/etc/sudoers文件中新增下面这行es ALL=(ALL) ALL三、下载解压es#切换用户su es#先从网上下载tar包,解压sudo tar -zxvf elasticsearch-7.2.1-linux-x86_64.tar.

2021-03-27 01:26:17 526 1

原创 Linux服务器下禁用root用户

一、创建新用户adduser adminpasswd adminvim /etc/sudoers #在root ALL=(ALL) ALL下添加admin ALL=(ALL) ALL二、禁止root账户ssh登录vi /etc/ssh/sshd_config#将 #PermitRootLogin yes的去掉#并改为no三、重启sshd服务service sshd restart...

2021-03-12 14:30:31 486

原创 linux下安装Storm集群

1.安装Storm1.1下载解压安装包cd /usr/localwget https://mirror.bit.edu.cn/apache/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gztar -zxvf apache-storm-2.2.0.tar.gz mv apache-storm-2.2.0 storm1.2配置环境变量vi /etc/profile#添加下面配置export STORM_HOME=/usr/local/sto

2020-09-25 18:00:08 328

原创 使用kafka定时获取接口的数据并存到mysql数据库

一、搭建kafka集群二、导入pom包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dependency> <

2020-08-21 16:20:51 2756 5

原创 利用kettle完成两个数据库的记录整合

一、流程图如下二、表删除三、表输入一四、表输入二五、记录合并六、字段选择七、表输出八、结果

2020-08-19 11:00:36 1759

原创 Linux下安装Mycat1.6

一、安装JDK二、下载安装包三、解压安装#先将安装包放到local文件夹下cd /usr/localtar -zxvf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gzvi /etc/profileexport MYCAT_HOME=/usr/local/mycatexport PATH=$PATH:$MYCAT_HOME/bin#使配置生效source /etc/profile四、修改配置vi /usr/local/

2020-08-14 11:47:35 291

原创 Kafka整合Avrot进行序列化和反序列化

一、在linux上安装confluent下载tar包cd /usr/localtar -zxvf confluent-5.0.0-2.11.tar.gzcd confluent-5.0.0bin/schema-registry-start etc/schema-registry/schema-registry.properties二、添加依赖<dependency> <groupId>org.apache.avro</groupId> &

2020-07-31 14:21:45 868

原创 利用Kafka-connect分布式模式实现mysql数据库存储到topic,并从topic取数据到mysql数据库

一、搭建kafka二、下载connect jar和mysql-connect包到kafka目录下的lib文件夹并配置connect-distributed.properties记得先关防火墙#建表CREATE TABLE `users_input` ( `uid` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) NOT NULL, `age` int(11) NOT NULL, PRIMARY KEY (`uid`)) E

2020-07-29 15:31:46 880 1

原创 利用Kafka-connect单机模式实现mysql数据库存储到topic,并从topic取数据到mysql数据库

一、搭建kafka二、下载connect jar包到kafka目录下的lib文件夹并配置connect-standalone.propertiescd /usr/local/kafka/configvi connect-standalone.properties#内容如下bootstrap.servers={ip}:9092key.converter=org.apache.kafka.connect.json.JsonConvertervalue.converter=org.apache.ka

2020-07-29 10:11:56 429

原创 搭建FastDFS(一台tracker server 两台storage server)

一、下载安装包并解压安装包可去网上找资料或者https://download.csdn.net/download/qq_38650808/12543469unzip libfastcommon-master.zip cd libfastcommon-master/./make.sh./make sh installtar -zxvf FastDFS_v5.08.tar.gzcd FastDFS/./make.sh ./make.sh install二、修改tracker配置文件(在

2020-06-23 18:04:53 1138

原创 centos7下安装OpenSSL

一、下载OpenSSLhttp://www.openssl.org/source/openssl-1.0.2j.tar.gz二、解压安装yum -y install gcccd /usr/localtar -xzf openssl-1.0.2j.tar.gzcd openssl-1.0.2j ./config --prefix=/usr/local/openssl ./config -t make make install cd /usr/local ldd /usr/local/o

2020-06-23 17:02:54 3420

原创 sqlserver在linux下的安装

一、设置镜像curl https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo > /etc/yum.repos.d/mssql-server.repo二、进行安装yum install -y mssql-server三、运行安装程序sudo /opt/mssql/bin/mssql-conf setup四、查看rpm -qa | grep mssql五、设置为开机自启systemctl enabl

2020-06-16 16:22:33 2109

原创 springboot整合druid和mybatis完成数据库主写从读功能

一、导入pom包 <!--阿里数据库连接池 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.14</version> &l

2020-06-09 20:16:27 800

原创 mysql5.7不能使用groupby

vi /etc/my.cnf#添加如下配置sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

2020-06-09 19:20:57 582

原创 mysql主从库同步设置

一、修改主库my.cnf文件vi /etc/my.cnf#在[mysqld]下添加如下配置log_bin=master-binlog_bin_index=master-bin.indexinnodb_file_per_table=ONbinlog_format=MIXEDserver_id=1sync_binlog=1二、添加一个从服务器创建复制数据的用户GRANT REPLICATION SLAVE ON *.* TO 'slave'@'从库的ip' IDENTIFIED BY '密

2020-06-08 20:09:10 192

原创 在linux下安装Maven

下载maven包wget https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz解压Maven包tar -zxvf apache-maven-3.6.3-bin.tar.gz 配置环境变量vim /etc/profile#添加如下环境变量export MAVEN_HOME=/usr/local/apache-maven-3.6.3export PATH=${PA

2020-06-05 16:45:18 163

原创 在linux下安装jdk1.8

一、利用yum查询可用jdk版本yum search java | grep -i --color JDK二、选择版本安装yum install java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment 8三、配置环境变量vi /etc/profile#插入如下配置export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86

2020-06-05 16:30:32 199

原创 在Linux下部署SpringBoot的jar包

在Linux下部署SpringBoot的jar包一、将项目打包成jar包利用mvn:clean package命令打包项目二、编写启动、停止、重启脚本start.sh(启动脚本)#nohup 命令#用途:不挂断地运行命令。#语法:nohup Command [ Arg … ][ & ]nohup java -jar XX.jar &stop.sh(关闭脚本)PID=`ps -ef | grep XX.jar | grep -v grep | awk '{print $

2020-05-09 15:19:11 427

原创 springboot整合AOP实现记录日志功能

springboot整合AOP实现记录日志功能一、导入pom包 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <...

2020-05-08 15:41:04 1392 3

原创 springboot整合geetest进行登陆验证

一、先下载geetest的SDK从Github: gt3-server-maven-sdk下载.zip文件二、将.zip文件解压并将里面的文件放在自己的项目下三、编写代码package com.test.common.utils.geetest;import org.springframework.stereotype.Controller;import org.springfr...

2020-05-03 16:30:08 524

原创 利用kettle完成mysql表的数据去重

利用kettle完成简单的mysql表到mysql表的数据传输完成效果如下表输入排序字段去除重复记录字段选择表输出完成效果如下表输入排序字段去除重复记录字段选择表输出...

2020-04-30 15:25:33 1286

原创 利用kettle完成简单的mysql表到mysql表的数据传输

利用kettle完成简单的mysql表到mysql表的数据传输完成效果如下表输入字段选择表输出完成效果如下表输入字段选择表输出

2020-04-29 14:37:41 767

原创 在Linux下搭建FTP服务器

1.安装ftpyum install vsftpd -y2.修改配置文件vi /etc/vsftpd/vsftpd.conf#关闭匿名访问将anonymous_enable参数将值设置为NO3.添加用户#/usr/local/ftptest 为用户的主目录 linyue为用户名mkdir /usr/local/ftptestuseradd -d /usr/local/ftp...

2020-03-04 16:47:54 199

原创 Linux下安装MySQL5.7

1.下载解压重命名Mysqlcd /usr/localwget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gztar -zxvf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gzmv mysql-5.7.22-linux-gl...

2020-01-13 16:53:46 236

原创 Linux下安装Python

1.安装编译器和依赖yum -y install gcc gcc-c++yum -y install zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-develyum -y install libffi-devel2.安装解压Pythoncd /usr/localw...

2020-01-13 14:27:00 120

原创 Linux下安装Spark集群

1.安装Scala2.下载解压安装包cd /usr/localwget http://mirror.bit.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgztar -zxvf spark-2.4.4-bin-hadoop2.7.tgzmv spark-2.4.4-bin-hadoop2.7 spark3.配置环...

2020-01-13 11:25:27 229

原创 CentOS下ping不通百度

我的解决方法:检查这四个服务是否启动了,如果没有就启动

2020-01-13 09:47:24 514

原创 Linux下安装Hive集群

1.安装Hadoop 2.安装MySQL3.安装HAProxy3.下载并解压Hivecd /usr/localwget http://mirror.bit.edu.cn/apache/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gztar -zxvf apache-hive-2.3.6-bin.tar.gz mv apache-hive-2.3...

2020-01-10 17:07:23 524

原创 Linux下安装HAProxy

1.编译安装#安装gcc组sudo yum -y install gcc*#安装opensslsudo yum -y install openssl-devel pcre-devel#下载并解压软件包cd /usr/localwget http://download.openpkg.org/components/cache/haproxy/haproxy-1.8.5.tar.gzt...

2020-01-10 11:53:36 707

原创 Linux下安装JDK

下载JDK1.81. 安装wgetyum -y install wget2. 64位下载wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://do...

2020-01-10 09:34:24 185

原创 Docker安装Python3.5

#拉取python3.5的镜像docker pull python:3.5#进入/usr/local/python下创建hello.py文件cd /usr/localmkdir pythonvi hello.py#在hello.py下编写下面代码print("Hello,World");#运行容器#-v $PWD/usr/local/python :将主机中当前目录挂载到容器的/...

2020-01-08 17:27:47 392

原创 Docker安装mysql5.7

#关闭防火墙systemctl stop firewalld#拉取mysql5.7的镜像docker pull mysql:5.7 #- p 代表端口映射,格式为 宿主机映射端口:容器运行端口#- e 代表添加环境变量, MYSQL_ROOT_PASSWORD 是 root 用户的登陆密码docker run -id --name=sun_mysql -p 3306:3306 -e M...

2020-01-08 17:05:09 134

原创 Linux下安装Redis

1、安装解压redis并重命名cd /usr/localwget http://download.redis.io/releases/redis-5.0.3.tar.gztar -zxvf redis-5.0.3.tar.gzmv redis-5.0.3 redis2、安装gcc依赖yum install gcc3、进入安装目录编译安装cd redismake MALLOC=...

2019-12-20 17:09:27 125

原创 Linux下安装Nginx

1、安装依赖包,并新建nginx目录yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-develcd /usr/localmkdir nginx2、下载解压压缩包,并重命名cd /usr/local/nginxyum -y install wgetwget http://nginx.org/download/...

2019-12-20 15:45:49 233

原创 从gitee上clone失败:Authentication failed for “http…“

clone中IDEA提示Clone failed:Authentication failed for “http…“在Git安装目录下打开git-cmd可执行程序,在命令行里输入 git config --system --unset credential.helper 回车。然后从新clone时输入git上账户和密码即可...

2019-12-18 15:25:51 1814

connect.zip

kafka connect jar包 kafka connect jar包 kafka connect jar包

2020-07-29

es+kibana+logstash

elasticsearch-7.2.1-linux-x86_64.tar+kibana-7.2.1-linux-x86_64.tar+logstash-7.2.1.tar

2020-06-29

fastdfs+master.zip

FastDFS_v5.08.tar+fastdfs-nginx-module_v1.16.tar+libfastcommon-master+openssl-1.0.2j.tar

2020-06-23

fastdfs+libfastcommon.zip

FastDFS_v5.08.tar+libfastcommon-master

2020-06-22

身份证号映射地区表sql

身份证号映射地区表sql

2020-04-30

hadoop2.7.1tar包.zip

hadoop2.7.1tar包.zip,下载后解压即可用hadoop2.7.1tar包.zip,下载后解压即可用

2020-01-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除