Michael1995null-CSDN博客

原创 Hive的内置函数

今天来说一点常用的Hive的内置函数 ** 字符函数 ** concat（字符串拼接）: 对二进制字节码或字符串按次序进行拼接 instr：查找字符串str中子字符串substr出现的位置 length（字符串长度，字符数）: 返回字符串的长度 locate: 查找字符串str中的pos位置后字符串substr第一次出现的位置 regexp_replace: 按正则表达式PATTERN将字符串中符合条件的部分替换成REPLACEMENT所指定的字符串 split: 按照正则表达式pat来分割字符

2020-06-16 20:14:23 375

原创 Hadoop 配置Hive以及zookeeper

Hive是基于Hadoop的数据仓库解决方案，可以将结构化的数据文件映射为数据库表，用类sql的查询语句HQL进行操作。简单说说Hive的优势和特点：提供了一个简单的优化模型 HQL类SQL语法，简化MR开发支持在不同的计算框架上运行支持在HDFS和HBase上临时查询数据支持用户自定义函数、格式成熟的JDBC和ODBC驱动程序，用于ETL和BI 稳定可靠（真实生产环境）的批处理有庞大活跃的社区安装配置Hive之前，最好先配置好zookeeper，我们先从zoo开始解压。 tar -zxf

2020-06-09 19:59:47 539

原创 Hadoop HDFS分布式系统环境搭建

今天来说一下Hadoop以及hdfs环境配置和搭建。首先说一下Hadoop大数据的的4V特征： Volume : （大数据量）90%的数据是过去两年产生 Velocity: (速度快) 数据增长速度快，时效性高 Variety: (多样化) 数据种类和来源多样化结构化数据，半结构化数据，非结构化数据 Value： (价值密度低)需挖掘获取数据价值 Hadopp的三大核心 Hadoop是一个开源分布式系统架构分布式文件系统HDFS——解决大数据储存分布式计算框架MapRedu

2020-06-01 20:00:38 284

原创 Linux安装，配置MySQL

CentOS 安装 MySQL 的方式主要有两种，一种是yum（在线）安装，一种是（离线）rpm安装，两者各有优缺，看个人需要选择安装方法。但你无论采用哪种方式安装 mysql，必须先检查系统中是否留有老版本或其他冲突版本，首先mariadb就是与mysql冲突的一个文件，安装mysql之前我们需要将它删除。要先查看虚拟机中有没有这个文件 rpm -qa | grep mariadb 查到的话就用命令将它删除删除命令,后面直接复制上面的查询结果就可以。 rpm -e --nodeps +mari

2020-05-19 11:17:16 211 1

原创 Linux安装JDK

export JAVA_HOME=/usr/local/java/jdk1.8.0_251 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

2020-05-19 09:23:11 148

原创 VBOX虚拟机配置

今天说一下VirtualBox 简称VBOX怎么配置虚拟机以及配置成功。首先需要安装VirtualBox，网上都能下到，我用的是6.0.14版本，还要配置好CentOS7的版本。启动VBOX，点击新建，进入设置页面文件位置最好放在空间足够的盘，类型要选Linux，版本是64位的Red Hat,虚拟电脑和虚拟硬盘的内存最好给大一点，我准备换内存条，原来电脑是8g的，这里建议是虚拟电脑给4G，硬盘给50G，其他无脑下一步就阔以啦。然后会看到我们的虚拟机已经创建成功了接着要给虚拟机进行设置，

2020-05-18 16:45:33 1813

原创 Linux虚拟机配置maven

今天跟随老师学习了在Linux虚拟机上配置maven以及多虚拟机一起运行，记录一下学习过程首先打开VBOX跑起虚拟机，登录进去安装文件都拉在opt文件夹里面，ls可以看到，然后创建soft新文件夹，maven361就是，和在window配置maven一样，打开settings.xml 指令vi settings.xml 找到localRepository，YY复制路径，然后光标拉到下面，p复制一下，改成自己设置的路径接着就是找到mirrors标签，在标签外复制阿里云的maven镜像仓库标签外是

2020-05-13 20:45:40 743

Michael1995null的博客