2020年05月_遥遥晚风点点

原创 HIVE内部函数

Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。数学函数 Return Type Name (Signature) Description DOUBLE round(DOUBLE a) Returns the roundedBIGINTvalue ofa. 返回对a...

2020-05-24 23:52:03 199

1，内部表和外部表内部表：hive（HDFS系统中）中的表：create table t_2(id int,name string,salary bigint,add string)row format delimitedfields terminated by ',';外部表：系统磁盘中文件映射表create table t_2(id int,name string,salary bigint,add string)row format delimitedfields ter

2020-05-21 00:06:43 204

原创 HIVE基础

1，HIVE是什么？HIVE是一个可以将sql翻译为MR程序的工具HIVE支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析HIVE将用户定义的库、表结构等信息存储hive的元数据库（可以是本地derby，也可以是远程mysql）中2， HIVE的用途？解放大数据分析程序员，不用自己写大量的mr程序来分析数据，只需要写sql脚本即可HIVE可用于构建大数据体系下的数据仓库3，HIVE的使用方式？方式1：可以交互式查询： ** b..

2020-05-20 00:08:57 95

原创 zookeeper基础java的API与监听节点数据变化案例

java使用AP：import java.io.UnsupportedEncodingException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.ZooDefs.Ids;import org.apache.zookeeper.ZooKeeper;import org

2020-05-17 01:10:31 503

原创 Mybatis解决In查询条件过长的问题

方法1：分次查询，将参数且分割成多个短的查询后合并代码： int splitNum =(int) Math.ceil( (float) ids.length/999); //切片数量 List<String> itemIdList = new ArrayList<>(Arrays.asList(ids)); List<List<String>> splitList = averageAssign(itemIdList

2020-05-13 17:28:57 3175

原创 zookeeper基本概念，应用场景与安装

1，功能：1）为客户端管理少量的数据（kv形式）2）为客户端监听指定数据节点的状态，并在数据节点发生变化时，通知客户端（监听数据，数据变化时通知客户端）2，搭建1，上传安装包，解压2，修改conf/zoo.cfg（数据存放位置与各个节点ip与端口）# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phas

2020-05-09 00:36:15 118

原创 MapReduce程序在yarn上启动运行过程

客户端提交mr程序job的流程：1，客户端提交job后（job.submit()），Yarn的ResourceManager会返回本次所提交的job的提交路径（hdfs://xxx../staging）和jobid，然后拼接为一个job的资源提交路径（hdfs://…./staging/jobid）2，然后会将1）job的切片规划（调用FileInputFormat.getSpl...

2020-05-08 00:18:28 517

原创 maptask端数据倾斜

数据：a a a a a a b b b a a a a a a a c c b c a a a ca b b c a a d d e e f ff g a a a b a b h h g j需求：wordcount问题：a特别多，负责处理a这个单词数据的reduce worker就会很累（负载不均衡，过大）解决方法1：MapTask端每次处理完数据后做一次局部聚合（每次切...

2020-05-05 23:32:40 230

原创 hibernate时间查询

SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Calendar cal = Calendar.getInstance(); cal.add(Calendar.DATE, -5); String beginTime = sdf.format(cal.getTime()); Str...

2020-05-05 10:19:58 368

mrye的博客