月承霜-CSDN博客

原创 Spark集群的搭建

Spark集群的搭建一.scala安装#下载scalawget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz#解压tar -zxvf scala-2.12.4.tgz -C /......#添加环境变量vim /etc/profileexport SCALA_HOME=/usr/local/scala-2...

2019-12-31 17:31:53 169

原创 Elasticsearch IK分词器安装

Elasticsearch IK分词器安装一.更新sudo yum update -ysudo rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpmsudo rpm -ivh https://kojipkgs.fedoraproject.org//packages/http-pars...

2019-12-20 10:37:46 169

原创 sharding-sphere实现JDBC的读写分割

Sharding-sphere实现JDBC的读写分割准备：在linux上准备两台虚拟机，配置Mysql,与Mysql的主从复制并在Mysql上新建对应的连接。Mysql主从复制的详解注：在Mysql上新建对应的连接时要关闭防火墙，并开启Mysql的远程连接#查询防火墙状态firewall-cmd --state#关闭防火墙systemctl stop firewalld.servic...

2019-11-27 16:29:02 252

原创 Nginx的负载均衡

Nginx的负载均衡准备：一台主机（配置nginx）三台副机（不配备nginx）1.修改nginx.conf配置#进入conf中更改配置cd /usr/local/nginx/conf/vim nginx.conf#####################配置文件################################nginx进程一般设置为cpu核数一样worker_...

2019-11-26 17:04:30 84

原创 Linux下搭建nginx

Linux下搭建nginx1.安装wget功能yum install -y lrzsz2.更新系统软件源yum update3.安装依赖包# yum -y install gcc gcc-c++ autoconf automake libtool make cmake# yum -y install zlib zlib-devel openssl openssl-devel pc...

2019-11-26 14:11:52 74

原创 Redis 的部署及设置开机自启

Redis 的部署及设置开机自启一.Redis 的部署1.解压压缩包到指定路径tar -zxvf ------------ -C /-------2.引入.cyum install gcc -y3.安装make && make test && make install二.设置开机自启1.复制redis_init_script 到/etc/in...

2019-11-09 14:35:49 82

原创 Flume 的部署及使用

Flume 的部署及使用一、Flume部署下载安装包并解压tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local更改flume-env.sh.template，防止不能识别mv flume-env.sh.template flume-env.sh更改flume-env.sh，添加JAVA环境export JAVA_HOME=/u...

2019-11-08 17:40:38 142

原创 Mysql 与HDFS,Hive 的导入与导出（sqoop）

Mysql 与HDFS,Hive 的导入与导出（sqoop）一、安装sqoop1、下载并解压tar -zxvf *********** - C /****2、修改配置文件进入sqoop的lib目录下,改名。mv sqoop-env-template.sh sqoop-env.sh修改配置export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6...

2019-11-07 18:13:16 149

转载 Hadoop HA分布式集群搭建

Hadoop HA分布式集群搭建一.准备准备七台虚拟机，分别命名为（worker ~ worker6）1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等二.安装配置zooekeeper集群（在weekend05上）2.1 解压tar -zxvf zookeeper-3.4.5.tar.gz -C /u...

2019-10-22 15:22:28 90

原创 Mybatis 的逆向工程

Mybatis 的逆向工程含义：简单来说就是自动生成Java代码，建立出业务层和接口层的信息。操作步骤：1.引包，引插件mybatis-generator-core包<dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-g...

2019-09-23 15:59:30 119

weixin_44299526的博客