- 博客(54)
- 收藏
- 关注
RSS订阅原创 史上第二全的Mysql函数汇总
一.字符串函数序号函数描述示例1ASCII(s)返回字符串s的第一个字符的ASCII码select ASCII(sname) from student where sid=1;2CHAR_LENGTH(s)返回字符串s的字符数select char_length(sname) from student where sid=1;3CHARACTER(s)返回字符串s的字符数select character_length(sname) from stude
2020-09-27 08:52:05
1984
原创 使用Sqoop进行数据迁移(一)
数据迁移一.Sqoop安装二.从RDB导入数据到HDFS<1> 表中数据全部导入:<2> 通过where语句过滤导入表<3> 通过columns过滤导入表<4> 使用query方式导入数据一.Sqoop安装安装教程见博客:Sqoop安装二.从RDB导入数据到HDFS<1> 表中数据全部导入:在mysql中创建 sq 库, 进入sq 数据,创建student表,插入数据create database sq;use sq;crea
2020-09-26 16:32:16
476
原创 Sqoop安装配置
一.Sqoop安装前提条件安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境.二.Sqoop安装下载安装包安装包下载链接:https://pan.baidu.com/s/1pJO_8qzHq_ta8NDJlFr5mw提取码：1234将安装包上传至Linux系统 /opt目录下解压并改名tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gzmv sqoop-1.4.6-cdh5.14.2
2020-09-26 14:17:52
194
原创 Phoenix安装配置
一.下载安装包phoenix安装包下载地址:链接：https://pan.baidu.com/s/1rS1-2IVxRCujD1O8Vn_oAQ提取码：1234二.安装配置将安装包上传到Linux系统/opt目录下解压并改名tar -zxvf apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gzmv apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz phoenix拷贝 phoenix-4.14.0-cdh5.13.
2020-09-25 17:38:32
298
原创 Phoenix概述以及使用Phoenix操作Hbase
Phoenix一.Phoenix概述二.Phoenix的应用场景三.Phoenix架构四.Phoenix SQL语法五. Phoenix操作Hbase一.Phoenix概述Phoenix简介构建在Hbase上的SQL层使用标准SQL在Hbase中管理数据使用JDBC来创建表,插入数据,对Hbase数据进行查询Phoenix JDBC Driver容易嵌入到支持JDBC的程序中Phoenix无法代替RDBMS缺乏完整约束,很多领域尚不成熟Phoenix使Hbase更易用
2020-09-25 17:11:37
253
原创 Hbase概述及Hbase shell 操作
Hbase一.Hbase概述二.Hbase发展史三.Hbase应用场景四.Apache HBase生态圈五.HBase物理架构六.HBase数据管理七.HBase架构特点八.HBase Shell九.HBase操作十.示例一.Hbase概述1.Hbase是一个领先的NoSQL数据库* 是一个面向列的数据库* 是一个分布式hash map* 基于Google Big Table论文* 使用HDFS作为存储并利用其可靠性2.Hbase特点* 数据访问速度快,响应时间约2-20毫秒* 支持随机读
2020-09-24 20:14:27
405
原创 NoSQL综述
NoSQL综述一.什么是NoSQL二.为什么使用NoSQL三.NoSQL和关系型数据库的对比四.NoSQL的特点五.NoSQL三大基石:CAP,BASE,最终一致性六.索引和查询七.NoSQL分类一.什么是NoSQL1.NoSQL: not only SQL ,非关系型数据库2.NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的,且不适用SQL作为只要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题二.为什么使用NoSQL互联网的发展,传统关系型数
2020-09-24 16:23:12
187
原创 使用java实现Hive UDF
案例要求:打印直角三角形1.使用idea创建maven工程,对应的pom.xml配置如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
2020-09-22 20:19:30
528
原创 Hive高级查询(二)
Hive高级查询二一.Hive聚合运算--group by二.聚合函数-having三.Hive聚合运算-基础聚合四.Hive聚合运算:高级聚合-1五.Hive聚合运算-高级聚合-2六.示例:一.Hive聚合运算–group bygroup by 用于分组Hive基本内置聚合函数与group by一起使用如果没有指定group by字句,默认聚合整个表除聚合函数外,所选的其他列也必须包含在group by中group by支持使用case when或表达式支持按位编号分组set hive
2020-09-22 18:53:46
116
原创 Zeppelin安装配置
Zeppelin安装配置一级目录二级目录三级目录一 下载安装包二. 上传并解压并配置文件三.配置Hive解释器四.在web界面配置集成hive五. 使用Zepplin的hive解释器一级目录二级目录三级目录一 下载安装包安装包链接链接: https://pan.baidu.com/s/1vUvWKPRFlUNz3Txs2TwpWQ 提取码: 8c63二. 上传并解压并配置文件上传到Linux /opt目录下解压tar -zxvf zeppelin-0.8.1-bin-all.tgz
2020-09-19 15:21:12
249
原创 Hive高级查询(一)
1.select 基础select 用于映射符合指定查询条件的行Hive select是数据库标准SQL子集使用方法类似于Mysqlselect 1;select [distinct] column_name list from table_name;select * from table_name;select * from employee where name!='Lily' limit 5;2.CTE和嵌套查询CTE语法with t1 as (select ...) s
2020-09-19 07:09:19
213
原创 MapReduce实现Wordcount
package cn.kgc.kb09.mr;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WCMapper extends Mapper<Lo.
2020-09-18 11:14:02
93
原创 MapReduce 过程详解
MapReduce 过程详解一.Map端:二.Reduce端:一.Map端:Map节点运行map task任务生成map的输出结果1.Shuffer的工作内容从运算效率的出发点,map的输出结果有限存储在map节点的内存中.每个map task都有一个内存缓冲区,存储着map的输出结果,当缓冲快满时,需要将缓冲区的数据以一个临时文件的形式存储到磁盘中,当整个map task结束后,在对磁盘中的这个临时文件做合并,生成最终的输出文件, 最后等待reduce task来拉取数据.当然当map t
2020-09-18 10:19:30
477
原创 Hive中对库和表的操作
Hive中对库和表的操作一级目录二级目录三级目录一.前提条件二.对库的操作三.对表的操作四.Hive分区(Partitions)一级目录二级目录三级目录一.前提条件hive安装配置完成hive安装教程链接 Hive单机版安装二.对库的操作建库 (库名hivetest)create database hivetest删库drop database hivetest进入库use hivetesthive对库的操作和mysql相同三.对表的操作建表语句
2020-09-16 16:20:02
179
原创 分布式文件系统HDFS
分布式文件系统HDFS一.Hadoop架构二.HDFS架构三.HDFS组成角色及其功能四.HDFS副本机制五.HDFS优缺点六.HDfS Cli(shell 命令行)七.HDFS读写文件一.Hadoop架构HDFS(Hadoop Distributed File System)分布式文件系统,解决分布式存储MapReduce分布式计算框架YARN分布式资源管理系统Hadoop2.x中引入Common支持所有其他模块的公共工具程序二.HDFS架构三.HDFS组成角色及其功能
2020-09-15 19:22:55
133
原创 ZooKeeper安装配置
一.解压Zookeeper安装包链接:链接：https://pan.baidu.com/s/1Aofh_Jcrw1d8GogQUoE2kA提取码：12341.将安装包上传到opt目录下,解压tar -zxvf zookeeper-3.4.6.tar.gz2.输入命令改名mv zookeeper-3.4.6 zkpr3.在/opt/zkpr/这个目录下创建zkdata、zkdatalogs文件夹mkdir zkdatamkdir zkdatalogs4.重命名/opt/zkpr/co
2020-09-15 18:53:12
143
原创 分布式应用协调服务ZooKeeper
分布式应用协调服务ZooKeeper一.ZooKeeper简介二.ZooKeeper的数据结构三.ZooKeeper客户端命令四.ZooKeeper角色五.ZooKeeper选举机制六.Hadoop高可用集群的搭建一.ZooKeeper简介ZooKeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目ZooKeeper=文件系统+通知机制ZooKeeper从设计模式上来看是一个基于观察者模式设计的分布式鼓舞管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册一旦数
2020-09-15 16:05:28
116
原创 分布式资源调度框架YARN
分布式资源调度框架YARN一.YARN概述二.YARN的基本构架核心组件三.ResourceManager四.Nodemanager五.ApplicationMaster六.Container七.YARN的工作机制八.YARN上提交MapReduce程序九.YARN组员调度器十.YARN常用命令一.YARN概述yarn的核心思想是将资源管理和任务的监控和调度分离通过的资源管理系统,可为不同的应用(MapReduce.Spark,Flink等)提供统一的资源管理和调度它的引入为集群在利用率.资源统一
2020-09-15 15:21:09
227
原创 Hive(单机版)安装配置教程
Hive安装一.需前置安装好hadoop及mysql二.Hive安装步骤一.需前置安装好hadoop及mysqlhadoop安装链接:Hadoop安装mysql安装链接:Linux系统mysql安装二.Hive安装步骤1.将hive压缩文件上传至software文件夹中hive压缩文件获取链接链接：https://pan.baidu.com/s/1Et-NjtFrxXd5jAF6PI2kOQ提取码：12342.将hive压缩文件解压至opt目录下输入tar -zxvf hive-1.1
2020-09-13 10:38:10
690
原创 Hbase安装教程(单机版)
一.Hbase安装前提条件a) 前置条件最少安装了Hadoop（如果只是安装单机版hbase，zookeeper使用hbase内置的即可）如果需要安装伪分布式或完整分布式则需要先安装zookeeperb) 下载hbase并解压链接: https://pan.baidu.com/s/18yS4V33qeKgCHely0It4Lw提取码: q2vu二.文件配置1.将Hbase他所报文件上传至Moba的根目录下的software文件夹中(直接拖进去)2.解压Hbase并移动到/opt目录下tar
2020-09-13 07:21:06
999
1
原创 MapReduce原理及编程
MapReduce原理及编程一.什么是MapReduce1.MapReduce是一个分布式计算框架2.MapReduce的设计思想3,MapReduce的特点二.常用数据序列化类型三.MapReduce编程规范1.Mapper阶段2.Reducer阶段3.Driver阶段四.MapReduce核心编程思想五.MapReduce执行过程一.什么是MapReduce1.MapReduce是一个分布式计算框架将大型数据操作分解成可以跨服务器集群并行执行的单个任务起源于Google适用于大规模数据处理场
2020-09-11 06:22:17
196
原创 大数据概况及Hadoop生态系统
大数据概况及Hadoop生态系统一级目录二级目录三级目录一.什么是大数据二.大数据特征(4V)三.Hadoop四.Zookeeper五.Hadoop架构六.HDFS特点七.HDFS命令行八.HDFS角色九.HDFS构架十.HDFS副本机制十一.HDFS高可用十二.HDFS读文件十三.HDFS写文件十四.HDFS文件格式一级目录二级目录三级目录一.什么是大数据大数据是指无法在一定时间内使用常规软件工具对其进行内容的抓取,管理和处理的数据集合二.大数据特征(4V)(1)大数据量:90%的数据是过去
2020-09-10 07:26:48
112
原创 Hadoop集群设置时区同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。1.输入 rpm -q ntp 查询 ntp是否安装2.安装ntp时区同步服务输入 :yum install -y ntp3.修改ntp配置输入：vi /etc/ntp.conf主节点副节点4.输入 service ntpd start5.输入ntpstat出现这个界面表示成功出现这个界面需要等待(时间可能较长)...
2020-09-08 20:15:35
324
原创 Hadoop集群搭建
一.克隆两台虚拟机(共三台虚拟机)二.3台主机添加互信2.1 3台同时输入vi /etc/hosts 主机列表设置如下2.2 3台同时数ssh-keygen 连续回车至结束 输入cat .ssh/id_rsa.pub > .ssh/authorized_keys2.3 然后输入(以第一台主机为例,与其他两台添加互信)ssh-copy-id -i.ssh/id_rsa.pub -p22 root@hadoop02ssh-copy-id -i.ssh/id_rsa.pu
2020-09-08 18:48:59
102
原创 Linux系统mysql安装
1.将mysql安装包拖入 /opt/目录下2.安装依赖包安装依赖包(3个)输入:yum install -y perlyum install -y net-toolsyum install -y autoconf3.卸载冲突宝卸载冲突包rpm -qa | grep mariadb(查询冲突的包)rpm -e 冲突的包 --nodeps4.安装mysql先安装客户端rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm再安装服务端rpm -
2020-09-07 09:54:29
257
原创 Linux虚拟机安装java环境变量配置
一.虚拟机安装件博客:虚拟机安装二.java环境变量配置1.将jdk安装包拖入 /opt/目录下2.解压jdk: 输入 tar -zxvf jdk-8u221-linux-x64.tar.gz3,输入 mv jdk1.8.0_221/ jdk8 将jdk重命名为jdk84.输入 vi /etc/profile 进行环境变量设置5.输入 source /etc/profile 让配置修改后立即生效6.输入 java -version 查看版本...
2020-09-07 09:09:54
340
原创 hadoop安装
1.将hadoop安装包拖入software文件夹中2.输入tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz 解压文件3.输入mv hadoop-2.6.0-cdh5.14.2 /opt/hadoop 将文件移动到opt目录下并改名hadoop4.输入 vi /etc/profile 添加下图中的配置5.输入source /etc/profile6.输入hadoop version7.输入 cd etc/hadoop 然后输入vi core-site.xml
2020-09-05 08:01:53
310
原创 Elk安装配置
一.ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备(elk安装包版本要求一致)下载：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gz
2020-09-02 15:19:07
176
原创 Linux常用命令2
Linux常用命令1.echo命令2.printenv命令3.more命令4.less命令5.wc命令6.(|) 管道命令7.grep命令8.file命令9.which命令10.ln命令11.find命令12.date命令13.cut命令14.tr命令15.ping命令1.echo命令打印变量的值2.printenv命令打印环境变量3.more命令语法:more [-dlfpcsu] [-num] [+/pattern] [+linenum] [fileNames…]more 命令类似
2020-08-27 20:12:12
146
原创 Linux 常用命令
一.目录命令1.增加目录mkdir [/路径/]目录名mkdir -p [/路径/]目录名 //递归增加 2.删除目录rmdir [/路径/]目录名3 .改变目录3.1 cp 原路径 新路径 复制文件夹时用cp -r 原路径 新路径3.2 mv 文件名 原路径 新路径 4.查看目录4.1查看当前路径:pwd4.2切换到路径:cd 4.3查看目录内容:ls4.3.1展示所有文件(包括隐藏文件) ls-a4.3.2展示所有文件(不包括当前目录和父目录)ls-A
2020-08-25 19:44:00
108
原创 MySQL触发器
Mysql中触发器用来在某些操作时,自动执行一些操作当insert update delete 设置触发器之后,执行insert,update,delete操作时就会自动触发设置的内容一张表最大能有6个触发器(3中操作*两种时间)定义触发器的语法:create trigger 触发器名 before|after 事件 on 表名 for each row 触发器语句;*触发器名 建议为trigger_xxx,便于区分,触发器名不能重复*事件就是 insert,update,delete其中一种
2020-08-20 12:25:42
151
原创 MySQL中的 IFNULL()函数
IFNULL()函数的表达式: IFNULL(a,b),表示a不为空(null)返回a的值,如果a为空,则返回b的值示例说明:select IFNULL(10,20) #返回10select IFNULL('',20) #返回'' 注意空字符串和null的区别select IFNULL(0,20) #返回0select IFNULL(1/0,20) #返回20select IFNULL(null,20) #返回20...
2020-08-20 11:56:51
479
原创 MySql 常用函数
MySQL 常用函数1.数学函数select abs(); #绝对值select ceiling(); #大于等于该数的最小整数select floor(); #小于等于该数的最大整数select rand(); #0~1之间的随机数2.字符串函数select char_length(); #返回字符串中包含的字符数select concat(); #合并字符串 select insert('好好学习'1,2,'努力'); #替换字符串 好好学习 替换成 努力学习sel
2020-08-14 12:11:10
105
原创 MySQL数据的基本操作(增,删,改)
一.插入数据1.插入单行数据语法格式如下:insert into 表名[(字段名列表)] values(值列表);其中:1)表的字段是可选的,如果省略,则依次插入所有字段2)多个列表和多个值之间用逗号隔开3)值列表必须与字段列表数量相同且数据类型相同4)如果插入的是表中部分列的数据,字段名列表必须填写例如:向student表中插入一条记录insert into student(name,age,gender,phone) values('小明',22,'男','13999998888')
2020-08-12 23:01:16
299
原创 VMware虚拟机安装
一.虚拟机安装1.打开VMware,选择创建新的虚拟机2.选择自定义,点击下一步3.点击下一步4.选择稍后安装操作系统,点击下一步5.选择Linux系统,版本选择CentOS 7 64位,完成后点击下一步6.自定义虚拟机名称,安装位置(建议不要放在C盘),完成后点击下一步7.处理器数量根据个人需求设置,完成后点击下一步8.虚拟机内存根据个人需求进行配置,完成后点击下一步9.选择使用仅主机模式网络,点击下一步10.选择推荐LSI Logic(L),点击下一步11.选择
2020-08-11 00:57:34
851
原创 java I/O
一.File类1.File对象既可以表示文件,也可以表示文件目录File类创建对象 File file=new File(String pathname); pathname表示路径二.流通过流来读写数据;流是一组有序的数据序列;以先进先出的方式发送信息的通道;站在程序的角度来看,读数据为输入流(InputStream),写数据为输出流(OutputStream).流的分类1.InputStream与FileInputStream 两个字节输入流InputStream字节输入
2020-08-04 00:49:55
85
原创 java实用类(枚举,包装)
一.枚举概述枚举是由一组固定的常量组成的类型,使用关键字enum定义.示例://关键代码:public enum Week{ MON,TUE,WED,THU,FRI,SAT,SUN}public void doWhat(Week day){ switch(day){ case MON: case TUE: case WED: case THU: case FRI; System.out.pringln("工作日,努力写代码!"); break; case SAT: case
2020-08-03 20:04:42
203
原创 Collections类
一.概述Collections是java提供的一种集合操作的工具类,它包含了大量的静态方法,用于实现对集合元素的排序,查找和替换等操作.1.对集合元素排序和查找Comparable接口自然比较方法:compareTo()方法,此方法用于比较此对象与指定对象的顺序,如果该对象小于,等于或大于指定对象,则分别返回负整数,零和正整数示例:学生类实现的Comparable接口,重写了compareTo()方法,通过比较学号实现对象之间的大小比较public class Students implemen
2020-08-03 19:07:12
200
原创 Iterator接口和Map接口详解
一.Iterator接口1.概念:Iterator接口表示对集合进行迭代的迭代器,专为集合而生,专门实现集合的遍历,此接口主要有两个方法:1)hasNext():判断是否存在下一个值可访问的元素,如果仍有元素可以访问,则返回true;2)next():返回要访问的下一个元素凡是由Collection接口派生而来的接口或者类,都实现了Iterator()方法,Iterator()方法返回一个Irerator对象2.使用Iterator遍历集合的步骤:1)导入Iterator接口2)使用集合的it
2020-07-30 20:09:39
754
原创 集合框架概述
一、集合java集合框架提供了一套性能优良，使用方便的接口和类，可以大大提高开发效率，并且不同的集合可以适用于不同的场合，他们都委会java.util包中，其主要内容及彼此间的关系如下图所示：图中虚线框表示接口或者抽象类，实线框表示实现类1.List接口：存储不唯一，有序的对象1.1. 使用ArrayList类动态存储数据1.2.使用LinkedList类动态存储数据示例：使用ArrayList集合存储新闻信息（Id，新闻内容，作者）,输出新闻的总数量以及每条新闻的标题2.Set接口:
2020-07-29 00:49:03
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人