weixin_46602525的博客

原创 动态规划-最长公共子序列（POJ1458) 10行代码求解（python）

最长公共子序列（POJ1458)给出两个字符串，求出这样的一个最长的公共子序列的长度：子序列中的每个字符都能在两个原串中找到， 而且每个字符的先后顺序和原串中的先后顺序一致。Sample Inputabcfbc abfcabprogramming contestabcd mnpSample Output420str1 = "abcfbc"str2 = "abfcab"l1 = [-1]for s in str1: if s in str2:

原创 数字三角形(POJ1163)-动态规划-python4行核心代码

动态规划问题-数字三角形

原创 如何用sqoop将hive中分区表的分区字段导入到MySQL中

如何用sqoop将hive中分区表的分区字段导入到MySQL中因为hive分区表的字段不存在分区表的文件中，所以在sqoop的时候会导入不进去解决办法：很简单，就是把分区的字段也在分区表里写一份就ok

原创 sqoop 数据导入HDFS

Sqoopsqoop是把关系型数据库数据和HDFS互导的工具,以HDFS为中心，导入到HDFS用import，从HDFS导出用export实例分析Sqoop数据导入到HDFS查看所有库的命令sqoop list-databases --connect jdbc:mysql://dt100:3306 -username root -password 123123查看某个库的表的命令sqoop list-tables --connect jdbc:mysql://dt100:3306/b

原创 Hive（行转列 列转行）

Hive（行转列 列转行）行转列行专列常用的几种方式有concatconcat_wscollect_listcollect_set举例说明白羊座SELECT concat_ws("|",collect_set(name)),concat(xz,",",xx) FROM db2.xyjGROUP BY concat(xz,",",xx)列转行explode常与split连用语法格式lateral view explode(array) tmp(临时表名) as colna

原创 Spark运行流程

原创 ln -s 软连接报红解决

报错如图原因是因为软连接的时候路径必须是绝对路径，否则就会报红异常改正后

原创 深度优先实列

深度优先实列：import java.util.Scanner;public class deepinTest3 { public static int min=999999; static int pt; static int TArr[][]; static int book[]; public static void main(String[] args) { Scanner scanner = new Scanner(System.in

原创 面试题总结

hive 面试考点分桶表和分区表的区别内部表和外部表的区别hive和RDBMS区别HIVE自定义UDF函数的流程Hive架构分桶表和分区表的区别（bucket）桶分区表可以通过load data into table 导入数据，分区表分区后根据分区字段作为where 条件查询效率会提高，分区表是多个文件夹构成，每个文件夹代表一个分区分桶表通过创建一个与其相似的临时表，将数据导入临时表后，再通过insert into 分桶表 select * from 临时表将数据装载到分桶表内部表和外部表的区别

原创 spark算子总结

spark算子总结spark的算子分为行动算子和转换算子rdd是调用转换算子是逻辑上的传递，并没有真正运算，实际数据并没有变化，调用行动算子后，才会发给执行器，才会实际在在执行器中执行运算。...

原创 hive调优

HIVE调优1，解决数据倾斜1，解决数据倾斜hive数据倾斜基本发生在group by,join,distinct等需要数据shuffle的操作中，这些过程都会根据key值汇集数据，由于key值过于集中，使得某一个reduce任务要进行大量数据汇集，这就会导致数据倾斜，结果会出现map100%，reduce长时间99%的现象1，Group by 产生数据倾斜解决方法这个配置代表开启map端聚合，相当于使用combinerset hive.map.aggr=true 这个选项设定为ture

原创 乐观锁与悲观锁

什么是锁，为什么要用锁？别着急，我们先看看下面的代码的执行结果:这段代码的要求是输出0-999的数package demo.test;public class Test1 { static Integer num=0; public static void main(String[] args) { for (int i = 0; i < 2; i++) { Thread thread = new Thread(new Runnable(

原创 ACID四大特性

A 原子性指的是一个事务是一个独立的整体，要么完全操作成功，要么完全失败I 隔离性指的是并发控制的时候，事务与事务之间相互不影响，防止并发导致数据不一致，一般通过通过乐观锁和悲观锁实现D 持久性指的是数据一档提交，将永久改变数据库中的数据C 一致性事务和系统处于一致的状态其中一致性最不好理解，举个例子来说：一致性就是我给我同学转账100元，他如果接受到这个钱，我账户里就少了100元，而他的账户则必须要多100块，符合”守恒“，-100+100=0结果和原来没转帐之前是一样的...

原创 java多线程

java多线程实现java多线程的三种方式实现java多线程的三种方式第一种继承Thread类实现多线程备注：启动线程调用start()方法而不是调用run()方法，且每个对象只能调用一次start方法，否则会报错IllegalThreadStateExceptionpackage demo.test;public class demo1 { public static void main(String[] args) { Student s1 = new Student

原创 java原生序列化与反序列化

序列化与反序列化序列化与反序列化的三种实现方式序列化与反序列化的三种实现方式student类实现serializable接口，ObjectOutputSteam和ObjectInputSteam采用默认的序列化和反序列化（writeObject,readObject）方法实现对Student对象的实列变量进行序列化和反序列化//mainimport java.io.*;public class Demo { public static void main(String[] args)

原创 有关蚂蚁森林植物申领统计题目(Hive 实例)

蚂蚁森林植物申领统计创建两个表user_low_carbon：记录了用户每天的蚂蚁森林低碳生活领取的记录流水plant_carbon：蚂蚁森林植物换购表，用于记录申领环保植物所需要减少的碳排放量表结构表一table_name：user_low_carbonuser_id data_dt low_carbon用户 日期 领取碳排放（g）表二table_name: plant_carbonplant_id plant_name low_carbon植

原创 HIVE开窗函数

ETL,SQL面试高频考点——HIVE开窗函数目录标题ETL,SQL面试高频考点——HIVE开窗函数一，窗口函数介绍二，开窗函数三，开窗函数分类排序开窗函数：实列解析:后续更新中~一，窗口函数介绍窗口函数，也叫OLAP函数（Online Anallytical Processing,联机分析处理），可以对数据库数据进行实时分析处理。二，开窗函数开创函数就是定义一个行为列，简单讲，就是你查询的结果上，多出一列值（可以是聚合值或者排序号，所以开窗函数可以分为两类：聚合开窗函数和排序开窗函数，特征就是