- 博客(33)
- 收藏
- 关注
RSS订阅原创 使用正则表达式，表达数字的比较运算符
需求：使用正则表达式去匹配数字的比较运算符例：过滤出所有小于18的数字字符串：正则表达式为：^18\.\d*[1-9]+\d*$|^[1-9]\d{2,}(?:|\.\d+)$|^[2-9]\d{1}(?:|\.\d+)$|^1[9-9](?:|\.\d+)$import cn.hutool.core.util.NumberUtil;import cn.hutool.core.u...
2019-10-23 13:23:15
2189
原创 Hbase查询条件，sql where条件转换为FilterList
需求：将sql表达式的where条件转换为FilterList，简化开发代码量。例：( 3014 > 10 or 2205 > 100 ) and 3001 = 1转换结果为：FilterList AND (2/2): [SingleColumnValueFilter (can, 3001, EQUAL, 1), FilterList OR (2/2): [SingleColu...
2019-10-21 10:10:40
576
原创 LeetCode 406. 重建高度队列
406. 重建高度队列原题连接：https://leetcode.com/articles/queue-reconstruction-by-height/题目：假设你有一个随机的人员列表。每个人都用一对整数来描述(h, k)，其中h 是人的身高，k 是这个人前面身高大于或等于h的人数。注：人数最大不超过1100。例：输入：[[7,0]，[4,4]，[7,1]，[5,0]，[6,1]，[...
2019-08-08 13:58:37
247
原创 LeetCode 495. Teemo 攻击
495. Teemo 攻击在LOL中，英雄Teemo 他的攻击能够是对方中毒。那么现在给出Teemo 攻击Ashe的时间序列和中毒时间，计算出Ashe整体的中毒时间。你可以假设Teemo 在特定时间点开始进行攻击，并使Ashe立即处于中毒状态。例1：输入：[1,4],2输出：4说明：在时间点1，Teemo开始攻击Ashe并使其立即中毒，其中毒状态持续2秒，到时间点2结束。 在时间点...
2019-08-07 14:50:54
180
原创 scala json4s使用
使用最多的就是Map和Json字符串转换导入maven依赖 <dependency> <groupId>org.json4s</groupId> <artifactId>json4s-jackson_2.10</artifactId> <ver...
2019-03-13 22:46:37
1248
原创 SparkStreaming 之整合kafka0.10以上版本
直接贴代码，注释内都有详细解释：pom依赖： <!--SparkStreaming 整合kafka0.10版本--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-...
2019-02-17 20:43:20
1383
原创 SparkStreaming 之整合kafka0.8
直接贴代码，注释内都有详细解释：pom依赖：<!--SparkStreaming 整合kafka0.8版本--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-ka...
2019-02-17 20:39:26
615
原创 SparkSQL 之处理Float Double浮点数据类型
数据源信息样例： GCSL00000673,0,JL225390810101,1,286.5,286.5 GCSL00000673,1,84126312010104,1,329.7,329.7 GCSL00000673,2,24126312011502,1,412.2,412.2 GCSL00000673,3,84126388563204,1,372.9,372.9 GCSL0...
2019-02-17 17:08:49
4951
转载 SparkSQL 之rank() over, dense_rank(), row_number() 的区别
假设现在有一张学生表student，学生表中有姓名、分数、课程编号，现在我需要按照课程对学生的成绩进行排序。 select * from studentrank over ()可以实现对学生排名，特点是成绩相同的两名是并列，如下1 2 2 4 5 select name, course, rank() over(partition by course or...
2019-02-16 20:52:35
6170
1
转载 SparkSQL 之内置函数之时间日期类
一、获取当前时间current_date获取当前日期2018-04-09current_timestamp/now()获取当前时间2018-04-09 15:20:49.247二、从日期时间中提取字段year,month,day/dayofmonth,hour,minute,secondExamples: > SELECT day('2009-07-30');...
2019-02-16 20:45:27
5388
转载 SparkSQL 之3种join
转载自：http://hbasefly.com/2017/03/19/sparksql-basic-join/Join常见分类以及基本实现机制当前SparkSQL支持三种Join算法－shuffle hash join、broadcast hash join以及sort merge join。其中前两者归根到底都属于hash join，只不过在hash join之前需要先shuffle还是先b...
2019-02-10 21:32:46
401
原创 SparkSQL 之自定义函数UDAF
需求：计算1-10的几何平均数需要继承UserDefinedAggregateFunction 并重写方法 含义见注释package cn.UDAFimport java.langimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import o...
2019-02-08 16:48:25
644
原创 flume 总结：日常数据采集中配置文件
文章目录1. flume简介1.1 工作流程1.2 核心概念1.3 数据类型2. flume下载安装2.1 下载2.2 安装3. 配置文件3.1 常见的source3.1.1 avro source3.1.2 exec source3.1.3 spooling-directory source3.2 常见的channel3.2.1 memory channel3.3 常见的sink3.3.1 l...
2019-01-14 15:11:11
1132
原创 Hive 总结（二）：数据类型
主要介绍Hive中的支持的数据类型：文章目录1.常用的简单数据类型1.1 数字类型1.2 日期时间类型1.3 字符串类型1.4 其他数据类型2.复合数据类型2.1 Array数组2.2 Map集合2.3 struct1.常用的简单数据类型1.1 数字类型TINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte s...
2019-01-11 15:24:02
269
原创 Hive 总结（一）：基本操作
文章目录建库建表1. 基本建表语句2. 删除表3. 内部表与外部表4. 分区表修改表定义1. 修改表名2. 修改分区定义3. 修改列名定义4. 增加/替换列查询语法1. 基本查询2. 条件查询3. join关联查询4. 分组聚合建库建表建库--查看现有的所有库show databases;--创建一个数据库，存放日常练习、测试数据---默认的存放位置为：hdfs://master:...
2019-01-11 13:21:51
287
原创 HDFS读写数据流程
HDFS写流程客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本。写详细步骤：根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在 。n...
2019-01-10 16:44:04
518
原创 CenOS7 Hadoop集群搭建（四）：Hive安装
接上篇：CenOS7 Hadoop集群搭建（三）：Zookeeper集群搭建文章目录1.下载并上传安装包2.安装Hive之前要先安装mysql3.解压Hive并配置环境变量4.修改Hive的配置文件5.上传mysql驱动包6.启动Hive7.使用beeline连接8.异常信息1.下载并上传安装包先下载安装包：hive-1.2.2 点击下载上传安装包至需要安装的节点：alt+P直接上传至...
2019-01-10 14:15:13
297
原创 CenOS7 Hadoop集群搭建（三）：Zookeeper集群搭建
接上篇：CenOS7 Hadoop集群搭建（二）：Hadoop集群搭建本篇主要介绍Zookeeper集群安装部署。文章目录1.下载安装包并上传2.解压安装包3.修改配置文件4.将安装文件夹复制到其他节点5.启动zookeeper集群6.zookeeper集群启动脚本1.下载安装包并上传先下载安装包：zookeeper-3.4.12alt+P打开SFTP，上传安装包：2.解压安装包...
2019-01-10 13:21:05
272
原创 linux CentOS7安装mysql5.7
系统环境：CentOS7 mysql5.7.24 mysql下载地址注：centos7就下载el7， centos6就要下载el6版本。1.将安装包上传至虚拟机解压alt+P 直接将下载好的文件拖到窗口，即上传至用户~目录：tar -xvf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar注意是没有z，文件格式不是.tar.gz2.卸载冲突的组件2...
2019-01-09 23:31:36
247
原创 CenOS7 Hadoop集群搭建（二）：Hadoop集群搭建
接上篇：CenOS7 Hadoop集群搭建（一）：CentOS7虚拟机的创建环境介绍：Hadoop2.7.7下载地址，点击下载 JDK1.8 jdk-8u191-linux-x64.tar.gz，点击下载文章目录1. 先克隆两台节点机2，配置SSH免密登陆1. 先克隆两台节点机在关机状态下，右键master选择管理 --&amp;amp;gt;克隆：点击下一步：点击下一步：选择完整版克隆...
2019-01-09 21:20:04
718
原创 Linux操作系统vim的安装和配置
1.vim安装CentOS系统：yum -y install vim*Ubuntu系统：sudo apt-get install vim-gtk以CentOS系统为例：出现上图的页面，说明安装完成，同时会显示安装的版本号。2.vim配置输入vim /etc/vimrc 命令移动光标到最后，输入一下内容：set nu // 在左侧...
2019-01-09 19:36:33
717
原创 linux SSH免密登陆 附带免密登陆脚本
1.首先修改集群内的映射文件vi /etc/hosts 在里面最后添加集群内的映射192.168.43.120 master192.168.43.121 slave1192.168.43.122 slave22.分别在每个节点上执行下面的命令ssh-keygen -t rsa期间会敲三次回车3.进入用户的~目录下面cd ~ 里面有一个.ssh文件夹cd .ssh 文件夹里面就...
2019-01-09 18:55:23
2300
原创 CenOS7 Hadoop集群搭建（一）：CentOS7虚拟机的创建
根据自己的学习工作进行总结： 搭建环境介绍： VMware 12.5.2 下载地址及激活码： CentOS-7-x86_64-Minimal-181 下载地址:清华大学开源软件镜像站文章目录1.安装VMware2.安装虚拟机3.使用SecureCRT连接虚拟机修改配置先修改网卡配置，修改为静态IP：4.规划集群，配置SSH免密登陆1.安装VMware还是相对来说非常简单的，在这里...
2019-01-09 14:03:32
629
原创 IDEA 创建Maven项目整合 springMVC+spring+Mybatis
项目所依赖的环境： IDEA 2018.3 spring 4.3.21.RELEASE mybatis 3.4.6 mysql 8.0.13文章目录1.创建一个Maven项目2.这时项目并不完整，需要自己整合3.在java下面创建相应的包4.填写配置文件5.创建各层内接口以及映射文件、实现类5.启动项目用postman进行测试1.创建一个Maven项目FIle --&...
2018-12-26 22:39:17
470
原创 springMVC 创建Maven项目实现文件上传
主要内容：以实现文件的上传和下载为目的，进行项目搭建。 IDEA 2018.3；SpringMVC 4.3.21.RELEASE使用springMVC框架要实现文件的上传下载要额外添加commons-fileupload-1.3.3.jar1.创建一个Maven项目在pom.xml文件中添加commons-fileupload-1.3.3.jar&amp;lt;!-- commons-f...
2018-12-26 21:24:09
2234
2
原创 springMVC自定义拦截器
1.常见应用场景日志记录：记录请求信息的日志，以便进行信息监控、信息统计、计算PV（Page View）等。权限检查：如登录检测，进入处理器检测检测是否登录，如果没有直接返回到登录页面。性能监控：有时候系统在某段时间莫名其妙的慢，可以通过拦截器在进入处理器之前记录开始时间，在处理完后记录结束时间，从而得到该请求的处理时间（如果有反向代理，如apache 可以自动记录）。通用行为：读取co...
2018-12-24 22:42:42
182
原创 springMVC重定向跳转
springMVC默认情况下是服务器端跳转，向jsp页面中跳转。一般情况下，控制器方法返回字符串类型的值会被当成逻辑视图名处理。如果返回的字符串中带 forward: 或 redirect:前缀时，SpringMVC 会对他们进行特殊处理：将 forward: 和redirect: 当成指示符，其后的字符串作为 URL 来处理。redirect:success.jsp：会完成一个到 succe...
2018-12-24 21:46:49
366
原创 springMVC@RequestMapping注解详解
开发环境：idea 2018.3；springMVC 4.3.21.RELEASE首先要使用@RequestMapping注解需要配置文件web.xml&amp;lt;!-- 配置前端控制器 --&amp;gt; &amp;lt;servlet&amp;gt; &amp;lt;servlet-name&amp;gt;SpringMVC&amp;lt;/servlet-
2018-12-24 21:36:47
947
原创 springMVC参数绑定
接上篇，@RequestMapping注解详解处理方法支持的参数类型列举一些常用类型ServletRequest/HttpServletRequest 和ServletResponse/HttpServletResponseInputStream/OutputStream 和Reader/WriterWebRequest/NativeWebRequestHttpSession命令/...
2018-12-24 21:34:25
223
原创 IDEA spring整合mybatis入门（下）
继上一篇博客，添加事务管理1.在maven工程中添加所需jar包pom.xml<!--使用AspectJ方式注解需要相应的包--> <dependency> <groupId>org.aspectj</groupId> <artifactId>aspectjrt<...
2018-12-21 11:57:07
672
原创 IDEA spring整合mybatis入门（上）
0.项目环境：使用maven导入工程所需jar包Spring 4.3.21.RELEASEMybatis 3.4.6MySQL 8.0.13druid 1.1.12项目的整体结构如下1.创建一个maven java项目，根据需求填写pom.xml配置文件，以及jdbc.properties和log4j.propertiespom.xml&amp;lt;?xml version=&quot;1.0...
2018-12-19 22:58:20
2171
原创 IDEA创建maven+mybatis项目
初学IDEA使用，调试一晚上，终于能够正常运行。idea 2018.2.4mysql 8.0.13mybatis 3.4.61.新建一个maven项目新建一个mybatisTest项目，pom.xml文件内根据 https://search.maven.org/ 搜索填写即可&amp;amp;lt;?xml version=&amp;quot;1.0&amp;quot; encoding=&amp;quot;UTF-8&am
2018-12-15 14:10:23
1453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人