- 博客(13)
- 收藏
- 关注
RSS订阅原创 Idea遇到This may be useful when development is performed under newer SDK version as the target platfor
This may be useful when development is performed under newer SDK version as the target platfor解决办法：首先检查File->Project Structure,保证SDK版本一致第二步第三步设置完成重新运行程序报错解决
2020-08-22 16:28:41
1073
原创 Sqoop导入Hive：ERROR tool.HiveImportTool:import failed:java.io.IoExeception:Hive exited with status 1
Sqoop导入Hive：ERROR tool.HiveImportTool:import failed:java.io.IoExeception:Hive exited with status 1解决方法：将hive或者hbase的安装目录下的lib/libthrift-0.9.3.jar拷贝到sqoop的lib目录下，重新启动服务，报错信息消失...
2020-07-29 15:26:04
817
原创 hive填坑之路
错误一：jar包版本太低解决方法：把hadoop文件下面\share\hadoop\common\lib\guava-27.0-jre.jar复制到hive的lib下面,删除老的,留下新的。错误二：缺少驱动包**解决方法：**将jdbc连接mysql的驱动包放到Hive的lib文件夹中mysql-connector-java-8.0.20.jar错误三：root（用户）权限问题解决办法：hadoop Core-site.xml文件中需要添加root（用户）权限<property>
2020-07-21 09:44:01
209
原创 Hive3.2.1多用户模式的安装配置
一、Hive官网http://hive.apache.org/下载:http://mirrors.ustc.edu.cn/apache/hive/hive-3.1.1/二、 Hive的三种模式本地模式单用户模式多用户模式（这里直接配置多用户模式）2.1 准备先启动hadoop,zookeeper随便选择一台虚拟机(node7-4)将hive的包传到虚拟机上;其中node7-4是服务端，node7-2，node7-3是客户端2.2解压压缩包tar -xzvf apache-hi
2020-07-12 20:55:51
381
原创 Centos6和Centos7对比
1.文件系统Centos6.x：EXT4（Ext4的单个文件系统容量可以达到1EB，单个文件的大小可以达到16TB）Centos7.x：XFS（XFS默认支持的系统容量大小8EB减去1个字节的容量，最大支持的文件大小是9EB，最大支持的文件系统尺寸是18EB）2 防火墙、默认的数据库Centos6.x防火墙：iptables，默认的数据库：MysqlCentos7.x防火墙：firewalld，默认安装的数据库：MariaDB3 时间同步命令、修改时区、修改语言Centos6.x时间同步nt
2020-07-12 20:19:54
328
原创 CentOS7搭建Hadoop3.2.1高可用
一、虚拟机环境准备安装一台虚拟机(oracle virtual box);centos7安装操作系统:建议把操作系统安装到固态盘(非系统盘)服务器做一些简单的配置:(关闭防火墙,配置IP,主机名,host文件)装3台虚拟机从配置好的虚拟机直接克隆（复制）安装jdk1.8免密钥配置**1.下载Oracle VM VirtualBox虚拟机 **在360软件管家或腾讯管家的软件管理中直接下载安装，完全免费（不用再去破解VMware）2.准备下载CentOs7下载地址 https://de
2020-07-12 20:09:58
282
原创 Zookeeper集群的配置
**1.1 概述**Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题，实现统一命名服务、分布式配置管理、负载均衡、分布式锁、分布式协调等功能。1.2 本地模式的安装部署1.2.1 准备工作（1）安装Jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录（tar -zxvf zookeeper-3.4.10.tar.gz -C /path）1.2.2 修改配置（1）进入Zookeeper的安装目录，将/opt/mod
2020-06-01 16:58:42
231
原创 Hadoop源码编译（linux）
1、前期CentOS准备工作配置CentOS能连接外网。Linux虚拟机连接外网是畅通的（最好使用root用户编译，减少文件夹权限出现问题）2、jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)（1）hadoop-2.9.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）apache-ant-1.9.14-bin.t...
2020-04-23 22:02:04
330
原创 集群的时间同步配置步骤
时间同步的方式：找一台机器作为时间服务器，将所有的机器与这台集群时间进行定时的同步，避免运行时间较长时或者部分机器断网情况下造成时间误差过大。配置时间同步具体步骤：1.1 选择时间服务器，在root用户下操作或者添加sudo权限1.2 检查ntp是否安装： rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-file...
2020-04-08 19:17:26
832
原创 搭建伪分布式hadoop集群操作步骤
搭建hadoop的伪分布式（hdfs，mapreduce，yarn配置在同一服务器上）（1）配置hdsf（a）配置：hadoop-env.sh修改JAVA_HOME 路径：export JAVA_HOME=jdk的路径（b）配置：core-site.xml fs.defaultFShdfs://hadoop201:9000 hadoop.tmp.dir/opt/mo...
2020-03-31 16:04:29
331
原创 VMware搭建hadoop集群本地模式及测试详细步骤
hadoop集群搭建@[TOC]1.准备1）安装好linux系统（模拟真实工作用的线上服务器）2）关闭防火墙service iptables stopchkconfig iptables off4）设置静态ip1. 查看虚拟网络配置（子网ip和网关ip）2.修改win上的vmnet8网络ipv4属性参数，改为手动设置IP地址IP地址、子网掩码、默认网关、DNS1、DNS23. vim /e...
2020-03-29 11:55:22
304
原创 Shell学习笔记
1、Shell的简介Shell是一个命令解析器，类似于DOS下的command。它接收用户命令，然后调用相应的应用程序。介于应用程序（用户）和操作系统之间的一个桥梁，负责命令的解释。常见的Shell解析器有：/bin/sh：是bash的一个快捷方式；/bin/bash（最多）：bash是大多数Linux默认的shell，包含的功能几乎可以涵盖shell所有的功能；/sbin/nologin：表示...
2020-02-16 23:50:15
814
原创 初学Linux笔记
1、学习LinuxLinux作为目前在服务器端应用最广泛的系统之一，学好它无疑是非常重要的。Linux作为一款字符串操作为主流的系统，学好它其实并不容易。刚接触Linux时，它琐碎的操作命令耗费了不少的精力，但是随着更进一步的了解，Linux的种种优点也会让你在学习的过程中获得不小的成就感。2、Linux的了解Linux分为内核版和发行版，Linux 内核版本又分为 稳定版 和 开发版，两种...
2020-02-16 22:24:16
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人