weixin_51893925的博客

原创 hbase基础的优化

1.允许在HDFS的文件中追加内容 hdfs-site.xml、hbase-site.xml 属性：dfs.support.append 解释：开启HDFS追加同步，可以优秀的配合HBase的数据同步和持久化。默认值为true。 2.优化DataNode允许的最大文件打开数 hdfs-site.xml 属性：dfs.datanode.max.transfer.threads 解释：HBase一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为4096或者更高。默认值：4096 3.优化延

原创 Hbase搭建（单机和集群）Hmaster高可用

1.上传jdk，hadoop，zookeeper，hbase压缩包 2.解压到/usr/local目录下 3.配置jdk，hadoop，zookeeper，hbase环境变量 4.搭建hadoop集群 5.搭建zookeeper集群 6.更改Hbase配置 1.修改hbase-env.sh配置 cd /usr/local/hbase-2.0.5/conf vim hbase-env.sh 修改jdk路径 export JAVA_HOME=/usr/local/jdk1.8.0_201 是否运用hb

原创 Hive搭建

安装mysql（此处用docker，没用安装包），hadoop，hive，jdk，mysql驱动包 关闭防火墙 修改主机名和ip映射关系 生成密钥 ssh-keygen -t rsa 配置密钥 ssh-copy-id hive (单机发给自己) 上传压缩包 hive-1.1.0-cdh5.7.0.tar.gz hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u201-linux-x64.tar.gz mysql-connector-java-5.1.27-bin.ja

原创 hadoop HA分布式集群搭建

集群规划:# 说明：# 关闭防火墙 firewall-cmd --state systemctl stop firewalld.service systemctl disable firewalld.service 安装步骤： 1.依次修改七台主机Linux主机名 vim /etc/hostname weekend01 2.依次配置七台主机ip域名映射 vim /etc/hosts 192.168.88.51 weekend01 192.168.88.52 weekend02 192.168.88.53

原创 linux系统配置环境变量

原创 ES单机版安装

ES单机版安装 1.安装JDK（1.8） 2.上传解压Elasticsearch-5.4.3 3.创建一个普通用户，然后将对于的目录修改为普通用户的所属用户和所属组 #创建一个es用户 useradd es #es创建密码 echo 123456|passwd --stdin es #给es用户赋予root权限 echo “es ALL =(root) NOPASSWD:ALL” |tee /etc/sudoers.d/es #修改这个文件得所属组和所属者 chown -R es:es elasticsea

原创 解决Mysql版本和Navicat Premium版本不支持连接不上的问题

错误 使用Navicat Premium 连接MySQL时出现如下错误： 原因 mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password 更改加密规则： mysql -uroot -ppassword #登录 use mysql; #选择数据库 # 远程连接请将'localhost'换成'%' 解决 更改加密规则： mysql -uroot -ppassword #登录 use mysql; #选择数

原创 docker

Docker Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。 容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。 Docker 从 17.03 版本之后分为 CE（Community Edition: 社区版） 和 EE（Enterprise Edition

原创 虚拟机mysql离线安装

首先清除centos7 默认数据库 mariadb rpm -qa |grep mariadb |xargs yum remove -y 到opt文件夹下 上传mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar 解压mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar tar -xvf mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar mysql-community-client-8.0.15-1.el7.x8.

原创 mysql主从复制

修改主服务器master 开启bin-log 日志 vim /etc/my.cnf log-bin=mysql-bin // 必须 启用二进制日志 server-id=100 // 必须 服务器唯一id 一般取ip地址的最后一段 192.168.66.100 修改从节点 slave 开启bin-log 日志 vim /etc/my.cnf log-bin=mysql-bin // 必须 启用二进制日志 server-id=101 // 必须 服务器唯一id ..

原创 hadoop伪分布搭建 hadoop集群搭建

hadoop搭建 一、 配置jdk环境 tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local 配置环境变量 vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_201 export PATH=$PATH:$JAVA_HOME/bin 生效环境变量 source /etc/profile 测试jdk java -version 二、上传hadoop tar -zxvf hadoop-2.6.0-

原创 Java 开发环境配置

Java 开发环境配置 window系统安装java 1.下载JDK 首先我们需要下载java开发工具包JDK，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html，点击如下下载按钮： 下载后JDK的安装根据提示进行，还有安装JDK的时候也会安装JRE，一并安装就可以了。 安装JDK，安装过程中可以自定义安装目录等信息，例如我们选择安装目录为 C:\Program Files (x86)\Java\jdk1.8.0_9