- 博客(46)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Redis 利用Hash存储节约内存
redis系列文章目录Redis 利用Hash存储节约内存 使用spring-data-redis实现incr自增 Redis学习笔记（九）redis实现时时直播列表缓存,支持分页[热点数据存储] Redis学习笔记（八）redis之lua脚本学习 Redis学习笔记（七）jedis超时重试机制注意事项 Redis学习笔记（六）redis实现分布式锁 Redis学习笔记（五）jedis(JedisCluster)操作Redis集群 redis-cluster redis学习笔记（四）...
2020-09-27 15:10:52
814
转载 Maven打包时引入本地jar包
背景开发的时用到的jar包可能在私服中找不到，需在下载到本地，然后在编译器Eclipse或者IDEA中引入本地jar包，这样在本地开发是OK的，但是linux服务器通过Maven打包的时候会提示异常找不到对应的类。这是需要在我们的pom.xml文件添加点配置了。落地开发支付宝沙箱支付时，需要引入本地jar包，我把jar存放的项目中的/src/main/resources/lib 下1.打成war包引入本地jar在build节点添加配置如下<plugin> <...
2020-09-27 14:40:21
1960
转载 LeetCode 最长连续递增序列（图解）
给定一个未经排序的整数数组，找到最长且连续的的递增序列。示例 1:输入: [1,3,5,4,7]输出: 3解释: 最长连续递增序列是 [1,3,5], 长度为3。尽管 [1,3,5,7] 也是升序的子序列, 但它不是连续的，因为5和7在原数组里被4隔开。 示例 2:输入: [2,2,2,2,2]输出: 1解释: 最长连续递增序列是 [2], 长度为1。注意：数组长度不会超过10000。思路分析：我想大家对于“最长递增子序列”并不陌生，“最长递增子序列”这道题是利...
2020-09-25 09:54:24
574
转载 最长上升子序列——O (nlogn)算法原因解析！为什么这样可以求出来！（附带动态规划dp + 二分查找讲解）
什么是最长上升子序列网上流传着一个O (nlogn)算法，大体是这样的。模拟一个栈，如果当前的数比栈顶元素大，就要入栈，如果比栈顶元素小，就二分查找到刚好比当前数大的数，然后进行替换。本例的流程是这样的。2 入栈当前栈：25 比2大 入栈当前栈：2 53 比5小 替换5 当前栈：2 34 比3大 入栈 当前栈： 2 3 41比2小 替换2 当前栈：1 3 47比4大 入栈 当前栈：1 3 4 76比7小 替换7 当前栈：1 3 4 6为...
2020-09-25 09:18:33
2091
转载 最长上升子序列——回溯法
什么是最长上升子序列回溯法其实算是一种暴力法，但是我们必须先学会暴力法再去考虑更优化的算法，不然真的会。。。boom不能交叉，所以你从一边开始遍历的时候，另一边被匹配的点只会一次比一次高。所以只需要记录下被匹配那一边的index就好了。(我们这题是修路的例子，也是一样的)回溯法思路如果这个位置接下去搜索不到弃掉如果这个位置接下去搜索得到可以选择匹配也可以不匹配先判断回溯条件if (b == n || a == n) { m...
2020-09-25 09:17:04
353
转载 Hive库更新UDF步骤说明
Hive 2.1.1 +cdh6.2.0 库更新UDF步骤说明共有三种更新UDF的方式，整理如下： 名称 是否需要重启hive服务 Jar保存位置 是否支持 Sentry 适用场景 直接JAR配置 需要 Hdfs 不支持 开发场景 辅助JARs目录配置 ...
2020-09-23 18:52:30
2152
转载 Hive UDF使用资源文件及动态更新方案
目录Hive UDF使用资源文件及动态更新方案 背景 资源文件动态更新 Hive UDF Jar 动态更新 结束语 Hive UDF使用资源文件及动态更新方案背景注：本文中的“函数”等同于UDF，默认情况下特指永久函数。Hive 0.13版本开始支持自定义永久函数（Permanent Function）,可以将函数注册到Hive Metastore，通过Hive/Beeline/Spark SQL可以直接引用，不需要类似于临时函数（Temporary Func...
2020-09-23 11:58:19
797
转载 杭电ACM OJ 1025 Constructing Roads In JGShining‘s Kingdom 最长上升子序列 O（nlogn）算法详解+回溯暴力解决+动态规划dp优雅解决
Constructing Roads In JGShining's KingdomTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 26933Accepted Submission(s): 7655Problem DescriptionJGShining's kingdom consists of 2n(n is no ...
2020-09-23 10:03:44
317
转载 Hbase中checkAndPut操作
Hbase中Insert和Update操作没有明显的差别。如果误操作，是否可以恢复数据？方法：通过timeStamp找回数据。但是，如果我们可以在源头实现，是否更好呢？问题：客户端1：row1： family 1 ： qulifier1(1) qulifier2(2)客户端2：row1： family 1 ： qulifier1(-1) qulifier2(-2)我们想要的结果是：要么是客户端2的结果，要么是客户端1的结果。如果在高并发的情况下，会出现中间态，q...
2020-09-21 19:15:16
624
转载 hive执行报错：Both left and right aliases encountered in JOIN
原因：两个表join的时候，不支持两个表的字段 非相等 操作。可以把不相等条件拿到 where语句中。SELECT * FROM T1LEFT JOIN T2 on T1.id=T2.id and T1.name != T2.name改写成SELECT * FROM T1LEFT JOIN T2 ...
2020-09-21 18:19:09
1406
转载 hive数据类型转换、字符串函数、条件判断
http://blog.csdn.net/yimingsilence/article/details/70057638数据类型转换同Java语言一样，Hive也包括 隐式转换（implicit conversions）和显式转换（explicitly conversions）。 Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数据类型是INT型，另一个 是SMALLINT类型，那么SMALLINT类型的数据将会被隐式转...
2020-09-18 17:22:34
2722
转载 hive SQL COALESCE 函数
COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。比如我们要登记用户的电话，数据库中包含他的person_tel,home_tel,office_tel,我们只要取一个非空的就可以，则我们可以写查询语句select COALESCE(person_tel,home_tel,office_tel) as contact...
2020-09-18 14:01:50
17432
转载 hive 空值、NULL判断
QQ交流群：335671559,欢迎交流hive中空值判断基本分两种（1）NULL 与 \Nhive在底层数据中如何保存和标识NULL，是由alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的比如：1.设置 alter tablenameSET SERDEPROPERTIES('serialization.null.format' = '\N');则：底层数...
2020-09-18 13:47:12
1596
转载 Hive实现自增列的两种方法
多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列，但它也有一些对自增序列的支持，通常有两种方法生成代理键：使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数（UDF）。 假设有维度表tbl_dim和过渡表tbl_stg，现在要将tbl_stg的数据装载到tbl_dim，装载的同时生成维度表的代理键。用row_number()函数生成代理键insert...
2020-09-18 11:07:23
1018
转载 Java 中 HashMap 初始化时赋值
1、HashMap 初始化的文艺写法HashMap 是一种常用的数据结构，一般用来做数据字典或者 Hash 查找的容器。普通青年一般会这么初始化：HashMap<String, String> map = new HashMap<String, String>();map.put("name", "test"); map.put("age", "20");看完这段代码，很多人都会觉得这么写太啰嗦了，文艺青年一般这么来了：HashMap<String, String.
2020-09-17 17:37:56
6521
转载 在Spark中使用xgboost训练模型
spark上运行xgboost模型，具有内存运行，速度更快，减少数据传输的优势。1、交互模式测试使用spark运行xgboost首先需要下载依赖的jar包，下载地址https://github.com/criteo-forks/xgboost-jars/releases，主要需要xgboost4j-0.72-criteo-20180518_2.10-linux.jar在堡垒机中使用命令 spark-shell --jars xgboost*.jar，进入交互模式，可以编写代码进行测试。...
2020-09-17 10:38:03
2663
转载 Hive计算引擎切换
Hive计算引擎切换1、mapreduce计算引擎(默认)set hive.execution.engine=mr;2、spark计算引擎set hive.execution.engine=spark;
2020-09-16 23:17:03
576
转载 hive 删除udf函数
https://community.cloudera.com/t5/Support-Questions/DROP-FUNCTION-IF-EXISTS-udf-fails-with-quot-function-udf/td-p/92001https://docs.cloudera.com/documentation/enterprise/5-9-x/topics/impala_drop_function.htmlhttps://community.cloudera.com/t5/Support-Q...
2020-09-16 15:40:29
3399
1
转载 关于maven打包时的报错： Return code is: 501 , ReasonPhrase:HTTPS Required.
今天使用jenkins构建时，报以下错误 [ERROR] Failed to execute goal on project saas20: Could not resolve dependencies for project com.ipower365.saas:saas20:war:0.0.1-SNAPSHOT: Failed to collect dependencies at com.ipower365.saas:messageserviceimpl:jar:0.0.1-SNAPSHOT...
2020-09-15 18:04:17
533
转载 hive中导入json格式的数据（hive分区表）
hive中建立外部分区表，外部数据格式是json的如何导入呢？json格式的数据表不必含有分区字段，只需要在hdfs目录结构中体现出分区就可以了This is all according to this guide: http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/1 hive> ADD JAR /home/hadoop/hive-serdes-1.0-SNAPSHOT.jar;2 A...
2020-09-15 14:24:18
873
转载 hive基于json格式创建hive表
由于前段的数据是json格式的，因此想基于json建表。导入json解析包首先需要引入json的hive解析包。我使用的是cdh5.13.3，在这里下载了hive-hcatalog-core的包hive-hcatalog-core下载地址hive里是使用命令添加jar包add jar hdfs:///user/hive/jars/hive-hcatalog-core-1.1.0-cdh5.13.3.jar;添加了之后便可根据json的内容建表了##基于sjon文件建表##单条j.
2020-09-15 11:47:08
322
转载 hive中split(),explode()和lateral row
split()函数是用于切分数据，也就是将一串字符串切割成了一个数组，标准格式为split(str,regex),支持正则切分不过有点奇怪的是，对于 “.”,"|“这样的特殊字符，不加”\“的时候是特殊字符，加了以后才是普通字符，而对于”\d"的字符，需要加"\“后才是特殊字符，就是是说”\\d"才是匹配数字。假设我有一张表(demo)如下：用split()函数对name字段切分select split(name,',') as name,age from demo;结果如下，返回值是...
2020-09-14 18:30:55
735
转载 hive 字符串拼接函数
字符串拼接函数CONCAT()语法:CONCAT(string A, string B…)返回值: string说明：返回输入字符串连接后的结果，支持任意个输入字符串举例：Hive> select concat(‘abc’,'def’,'gh’) from lxw_dual;abcdefgh延伸：指定分割字符的拼接函数CONCAT_WS()语法 :CONCAT_WS(separator, str1, str2,...)说明：它是一个特殊形...
2020-09-14 17:51:41
3142
转载 hive使用spark引擎的几种情况
使用spark引擎查询hive有以下几种方式：1>使用spark-sql(spark sql cli)2>使用spark-thrift提交查询sql3>使用hive on spark(即hive本身设置执行引擎为spark)针对第一种情况：1>ambari 已经支持，不需要特殊配置；2>cdh不支持spark sql cli,原因是cdh自带的spark,spark-sql和spark-R是阉割版本的，如果需要使用spark sql cli，需要下载原生的编...
2020-09-14 16:27:39
3328
转载 java -cp & java jar的区别
java -cpjava -cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库和jar包，需要全路径到jar包，多个jar包之间连接符：window上分号“;”.Linux下使用“:”。windows环境：java -cp .;d:\work\other.jar;d:\work\my.jar packname.mainclassname linux环境：java -cp .:/hone/myuser/work/other.jar:/hone/myu...
2020-09-11 17:29:14
127
转载 Invalid signature file digest for Manifest main attributes
Invalid signature file digest for Manifest main attributes--文件签名不合法在运行spark程序的时候报下面的异常：18/03/06 09:21:28 ERROR yarn.ApplicationMaster: Uncaught exception:java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at ...
2020-09-11 11:58:54
876
转载 cassandra表重命名方案
cql3.0中并没有给出重命名表的方式，所以需要从cassandra启动读取数据库文件、快照备份和还原的原理来入手cassandra启动时会加载system_schema中的表的元信息然后根据这些元信息去定位数据文件位置而cassandra快照的原理又是如下1.将原有表目录下的文件做硬链接至./snapshots/目录下（元信息等一些比较小的文件采用直接写入的方式，data文件采用硬链接的方式）2.保留原本的文件，新建sstable，之后的数据全部往新的sstable中写入...
2020-09-11 11:46:44
622
转载 Hive和MySQL分组排序取前n条记录
实例需求有一张职员信息表test（id，姓名，部门，入职时间），要求：查询出各部门最早入职的职员信息，表数据如下图：Hive实现语法：row_number() over (partition BY 字段A order by 字段B desc)partition by：类似hive的建表，分区的意思；order by ：排序，默认是升序，加desc降序；这里按字段A分区，对字段B进行降序排序引用上面语法（按部门分组，按时间正序排序）查询row_num，查询语句：SE...
2020-09-10 19:15:13
2447
转载 漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表(因为现在Hive的大规模使用，我们会以Hive场景下的设计为例)。 分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说明，比如说拉链表和流水表的区别...
2020-09-10 17:55:11
372
转载 如何退出SCALA命令界面
看到有人问scala的退出命令是什么，不由想起自己刚学习scala的时候，常常因为找不到退出命令，只能按ctrl+z来退出，感觉很尴尬，当时网上没有这方面的资料（可能是太基础了吧~害羞~）。于是乎就找了官方文档，找到了解决办法，下面分享出来给同样需要的朋友一个参考:[hadoop@master conf]$ scalaWelcome to Scala 2.11.8 (Java HotSpot(TM) Client VM, Java 1.8.0_40).Type in expressio...
2020-09-09 13:55:54
5829
转载 技本功丨用短平快的方式告诉你：Flink-SQL的扩展实现
2019年1月28日，阿里云宣布开源“计算王牌”实时计算平台Blink回馈给ApacheFlink社区。官方称，计算延迟已经降到毫秒级，也就是你在浏览网页的时候，眨了一下眼睛，淘宝、天猫处理的信息已经刷新了17亿次。作为一家对技术有追求、有渴望的公司，怎么少得了为Flink社区做些贡献呢？夫子说首先，本文所述均基于flink 1.5.4。我们为什么扩展Flink-SQL?由于Flink 本身SQL语法并不提供在对接输入源和输出目的的SQL语法。数据开发在使用的过程中需要根...
2020-09-08 17:54:22
164
转载 程序中调用cmd命令时，参数带有空格的解决方法
比如在程序中调用cmd命令打开一个文件，而文件路径带有空格，如果直接把路径传给cmd,那么cmd就会把路径空格前面的部分当做是一个参数，空格后当做另一个参数，导致程序出错，解决方法是把传入的参数前后添加双引号。以java为例：解决方法：p = Runtime.getRuntime().exec("cmd /c start "+"\""+"\" "+"\"" +"%cd%/tool/ba t/Start DB.bat"+ "\""); public...
2020-09-08 17:14:23
2397
转载 Flink1.10升级1.11报No ExecutorFactory found to execute the application
在flink1.10升级1.11时遇到了No ExecutorFactory found to execute the application错误：经过搜索，在Flink中文邮件列表里找到答案。根据链接在Flink的Release Note中找到从Flink1.11开始，移除了flink-streaming-java对flink-clients的依赖，所以加上这个依赖就好了。...
2020-09-08 10:49:20
553
转载 Java “\”与“\\“的替换
Java replaceAll方法中，必须用“\\\\”表达一个"\",因为Java中“\”是转义字符，通常会误以为“\\”就能表示"\",实际上，replaceAll算法的实现运用了正则表达式，所以这里经历了两次转化，即是replaceAll("\\\\")转化出“\\”提交给正则表达式，正则表达式再转化一次获得“\”,同理，用8个反斜杠表示“\\”...
2020-09-07 13:37:13
8121
转载 flink 本机运行指定用户
好久没写东西了 ~~~代码中加个参数就行了System.setProperty("HADOOP_USER_NAME", "hadoop")
2020-09-07 11:22:08
1083
转载 动态规划——硬币找零问题（附Java代码）
问题描述现在有3种硬币分别为：1元，5元，10元，现在给你63元，让你全部换成硬币，求出最小硬币数量，也就是说，怎么用最少的硬币数凑成63元。分析问题解决这个问题，我们可以将这个大问题分成若干个小问题，自下而上解决问题。1元对应的最小硬币数是12元对应的最小硬币数是23元对应的最小硬币数是34元对应的最小硬币数是4……63元对应的最小硬币数是XXX假设我们将前边计算出的金额对应的最小硬币数像备忘录一样记录下来，那么后边金额对应的最小硬币数的就好说了，为什么...
2020-09-06 10:42:47
556
1
转载 自动构建SB项目，pom.xml报错Failure to transfer org.springframework.boot:spring-boot-starter-parent:pom:2.2.6.
使用idea自动构建springboot项目，出现Failure to transfer org.springframework.boot:spring-boot-starter-parent:pom:2.2.6.RELEASE from https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval...
2020-09-04 21:41:17
1496
转载 windows命令行长度的限制
http://support.microsoft.com/kb/830473 此文大致内容如下： 在windows XP或更高版本，命令行的最大长度为8191 个字符 在windows2000或windows NT4.0，命令行的最大长度为2047个字符这个限制对于环境变量同样有效，例如 windows XP下，PATH不能超过8191个字符如果使用cmd运行批处理文件(即.bat)，这个限制同样有效。 解决方法如下： 将程序的命令行放在一个文本中，程序从这个文本中读取命...
2020-09-04 18:25:52
5085
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人