Michael1995null-CSDN博客

原创 Hive的内置函数

今天来说一点常用的Hive的内置函数**字符函数**concat（字符串拼接）:对二进制字节码或字符串按次序进行拼接instr：查找字符串str中子字符串substr出现的位置length（字符串长度，字符数）:返回字符串的长度locate:查找字符串str中的pos位置后字符串substr第一次出现的位置regexp_replace:按正则表达式PATTERN将字符串中符合条件的部分替换成REPLACEMENT所指定的字符串split:按照正则表达式pat来分割字符

2020-06-16 20:14:23 360

原创 Hadoop 配置Hive以及zookeeper

Hive是基于Hadoop的数据仓库解决方案，可以将结构化的数据文件映射为数据库表，用类sql的查询语句HQL进行操作。简单说说Hive的优势和特点：提供了一个简单的优化模型HQL类SQL语法，简化MR开发支持在不同的计算框架上运行支持在HDFS和HBase上临时查询数据支持用户自定义函数、格式成熟的JDBC和ODBC驱动程序，用于ETL和BI稳定可靠（真实生产环境）的批处理有庞大活跃的社区安装配置Hive之前，最好先配置好zookeeper，我们先从zoo开始解压。tar -zxf

2020-06-09 19:59:47 521

原创 Hadoop HDFS分布式系统环境搭建

今天来说一下Hadoop以及hdfs环境配置和搭建。首先说一下Hadoop大数据的的4V特征：Volume : （大数据量）90%的数据是过去两年产生Velocity: (速度快) 数据增长速度快，时效性高Variety: (多样化) 数据种类和来源多样化结构化数据，半结构化数据，非结构化数据Value： (价值密度低)需挖掘获取数据价值Hadopp的三大核心Hadoop是一个开源分布式系统架构分布式文件系统HDFS——解决大数据储存分布式计算框架MapRedu

2020-06-01 20:00:38 270

原创 Linux安装，配置MySQL

CentOS 安装 MySQL 的方式主要有两种，一种是yum（在线）安装，一种是（离线）rpm安装，两者各有优缺，看个人需要选择安装方法。但你无论采用哪种方式安装 mysql，必须先检查系统中是否留有老版本或其他冲突版本，首先mariadb就是与mysql冲突的一个文件，安装mysql之前我们需要将它删除。要先查看虚拟机中有没有这个文件rpm -qa | grep mariadb查到的话就用命令将它删除删除命令,后面直接复制上面的查询结果就可以。rpm -e --nodeps +mari

2020-05-19 11:17:16 199 1

原创 Linux安装JDK

export JAVA_HOME=/usr/local/java/jdk1.8.0_251export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin

2020-05-19 09:23:11 140

原创 VBOX虚拟机配置

今天说一下VirtualBox 简称VBOX怎么配置虚拟机以及配置成功。首先需要安装VirtualBox，网上都能下到，我用的是6.0.14版本，还要配置好CentOS7的版本。启动VBOX，点击新建，进入设置页面文件位置最好放在空间足够的盘，类型要选Linux，版本是64位的Red Hat,虚拟电脑和虚拟硬盘的内存最好给大一点，我准备换内存条，原来电脑是8g的，这里建议是虚拟电脑给4G，硬盘给50G，其他无脑下一步就阔以啦。然后会看到我们的虚拟机已经创建成功了接着要给虚拟机进行设置，

2020-05-18 16:45:33 1771

原创 Linux虚拟机配置maven

今天跟随老师学习了在Linux虚拟机上配置maven以及多虚拟机一起运行，记录一下学习过程首先打开VBOX跑起虚拟机，登录进去安装文件都拉在opt文件夹里面，ls可以看到，然后创建soft新文件夹，maven361就是，和在window配置maven一样，打开settings.xml指令vi settings.xml找到localRepository，YY复制路径，然后光标拉到下面，p复制一下，改成自己设置的路径接着就是找到mirrors标签，在标签外复制阿里云的maven镜像仓库标签外是

2020-05-13 20:45:40 732

Michael1995null的博客