- 博客(30)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Java 剑指Offer 题目分类汇总
文章目录1、数组01 二维数组中的查找2、字符串02 替换空格3、链表03 从尾到头打印链表4、树04 重建二叉树05 栈和队列05 用两个栈实现队列02 替换空格1、数组01 二维数组中的查找标签查找、数组、字符串要求在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判...
2020-02-10 23:00:24
1831
原创 Flink处理watermark未来时间问题
出现原因通常这种时间超前的数据是由于机器的时间有问题，如机器时间不同/埋点的日志时间错误，然后采集上来的数据使用的那个时间可能就会比当前时间超前了【举例：处理机器时间戳100s，上报的日志写了2000s】网上解决方法1、从kafka读取出来之前先做过滤在 Flink 从 Kafka 中消费数据后就进行 filter部分这种数据（可以获取到时间后和当前时间相比一下，如果超前或者超前多久就把这条数据丢掉，设置的超前 5分钟以上的数据就丢失），就不让进入后面生成水印，这样就不会导致因为水印过大而导致你后
2021-12-18 21:52:24
1653
1
原创 Hive insert select导入报错 HiveException: Hive Runtime Error while processing row{#数据内容}
文章目录运行环境执行脚本错误如下解决过程总结运行环境hadoop 2.7.2电脑虚拟机 hadoop102 hadoop103 hadoop104执行脚本sql="set hive.exec.dynamic.partition =true;set hive.exec.dynamic.partition.mode=nonstrict;use $APP;insert overwrite table t_dwd_edata_day partition(pt_day)select
2021-04-12 11:22:31
1845
转载 mysql性能优化
文章目录MySQL性能最大数据量最大并发数查询耗时0.5秒实施原则数据表设计数据类型避免空值text类型优化索引优化索引分类索引优化SQL优化分批处理操作符<>优化IN优化不做列运算避免Select allLike优化Join优化MySQL性能最大数据量抛开数据量和并发数，谈性能都是耍流氓 。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。文件系统单文件大小限制FAT32最大4GNTFS最大64GBNTFS5.0最大2TBE
2021-02-08 22:19:39
225
原创 快速开发代码
文章目录1、Mysql1.列操作2.sql2、Hive1.修改表结构1、Mysql1.列操作增加列ALTER TABLE testalter_tbl ADD i INT AFTER c;修改列属性ALTER TABLE testalter_tbl MODIFY c CHAR(10);修改列默认值ALTER TABLE testalter_tbl ALTER i SET DEFAULT 1000;ALTER TABLE testalter_tbl ALTER i DROP DEFAULT
2020-11-08 15:34:10
321
原创 Hive Sql 优化——谓词下推
Sql 优化：谓词下推（PPD）1 定义谓词下推的概念其实出现在sql中，在关联查询时(join，left join ,right join),因为涉及两个大表之间的关联(特别是在hive)造成资源消耗会比较大，因为建议在join之前先将两个表进行过滤(hive 里指的是在map端进行过滤)，系统会进行部分优化，但sql需要遵守PPD规则，所谓下推可以理解成优化（只有满足才能进行优化）。一句话说完：不影响结果的情况下，尽量将过滤条件提前执行。（记得小表join大表）2 PPD规则（谓词下推规则）2
2020-08-09 20:58:14
2634
原创 大数据量处理方法大总结
一、Bloom filter适用范围： 可以用来实现数据字典，进行数据的判重，或者集合求交集原理： 位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。确定参数： 如何根据输入元素个数n...
2020-04-08 15:18:36
1431
原创 大数据场景经典问题
1、海量ip数据，取频率最高(种类有限)具体问题： 从海量日志中提取出某日访问次数最多的那个IP。取模（可选）+hash。因为IP的数目是有限的，最多2^32个，可以考虑使用hash将ip直接存入内存，然后进行统计。方案： IP逐个写入到一个大文件中。IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出...
2020-04-08 11:47:50
887
原创 大数据学习之问题解决+经验+调优方法整理(持续更新)
文章目录1 Hadoop1.1 MapReduce执行速度过慢1.2 Yarn节点负载不均衡1.3 Yarn节点上任务数太多，资源利用率太高1.4 Hdfs参数调优1.5 目录配置1.6 Hadoop宕机（项目遇到）2 HBase2.1 优化方法3 Hive3.1 Hive数据倾斜3.2 Tez引擎4 Mysql4.1mysql utf-8 超过字节数5 Redis5.1 缓存穿透、缓存雪崩、缓存...
2020-03-20 16:58:34
955
原创 shell脚本中，单引号双引号的区别
（1）单引号不取变量值（2）双引号取变量值（3）反引号`，执行引号中命令（4）双引号内部嵌套单引号，取出变量值（5）单引号内部嵌套双引号，不取出变量值测试#!/bin/bashdo_date=$1echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`结果$do_date...
2020-03-06 16:01:44
152
原创 Hive使用Tez引擎时被NodeManager杀死进程问题
运行Tez时检查到用过多内存而被NodeManager杀死进程问题：Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container ...
2020-03-06 15:39:43
664
转载 跳表介绍 + Redis为什么用跳表而不用平衡树
https://mp.weixin.qq.com/s?__biz=MzA4NTg1MjM0Mg==&mid=2657261425&idx=1&sn=d840079ea35875a8c8e02d9b3e44cf95&scene=0#wechat_redirect
2020-02-25 10:05:32
786
原创 Mysql优化、调优详解
有用麻烦点个赞哦1、mysql优化分析流程1、慢查询的开启并捕获运行一段时间（至少一天），查看生产慢sql的情况，开启慢查询日志，设置阈值，例如超过5秒就是慢日志，抓去出来分析2、explain + 慢sql进行分析（基本完成大多分析）3、show profile（更猛）查询sql在mysql服务器里面执行的细节和声明周期4、SQL数据库服务器的参数调优（DBA或运维）2、关于索引...
2020-02-05 12:02:42
204
原创 牛客网常见算法思路 (十二)动态规划
有用麻烦点个赞哦如何理解动态规划经典题：给定一个数组arr，arr中所有的值都为正数且不重复。每个值代表着一种面值的货币，每种面值的货币可以使用任意张，在给定一个整数aim代表要找的钱数，求换钱有多少种哦方式本题可以体现暴力搜索方法->记忆搜索方法->动态规划方法->状态继续化简后的动态规划方法暴力搜索arr={5、10、25、1},aim=10001、用0张5...
2020-02-04 23:57:46
282
原创 牛客网常见算法思路 (十一)大数据处理
有用麻烦点个赞哦解题关键1、分而治之，通过hash将大任务分流到机器2、常用的hashMap或bitMap难点：通讯、时间、空间的估算这类型的题目适合面试不适合笔试案例一请对10亿个ipv4地址进行排序，每个ip只会出现一次ipv4约等于42亿普通方法ip地址转化无符号整数，排序后再转化为ip地址一个ip地址大约4字节，10亿个整数约4G更优解1、申请一个长度为2^3...
2020-01-26 23:09:49
408
原创 牛客网常见算法思路 (十)概率
有用麻烦点个赞哦笔试选择题，计算期望等案例一8支球队，三个强队，5个弱队，随机分为四组，强队相遇的概率思路1、算出总分组情况第一个队有7种选择，第三个队有5种选择，第五个队有3种，第七个队1种总方法数7531=1052、求无两强相遇的方法数（三个强队各选一个弱队）54*3=603、相减案例二三只蚂蚁从正三角形的三个顶点沿着边移动，速度相同情况下，碰头概率思路一只蚂蚁...
2020-01-26 22:15:43
668
原创 牛客网常见算法思路 (八)位运算
有用麻烦点个赞哦案例一不安全网页的黑名单包含100亿个黑名单网页，每个网页的url最多占用64字节。现在想要实现一种网页过滤器，可以根据2网页的URL判断该网页是否在黑名单上，请设计该系统。（要求：允许有万分之一一下的判断失误率，额外空间不超过30g）普通方法黑名单存入hash表或者数据库（640G空间）布隆过滤器用于网页黑名单系统、爬虫的网址判断重复系统、容忍一定程度失误率、对空...
2020-01-25 21:35:34
795
原创 牛客网常见算法思路 (七)二叉树
案例一有用麻烦点个赞哦递归和非递归方式实现前中后序遍历递归：比较简单不说了非递归：先序申请一个栈stack，头结点压入stack中，弹出时若右子节点不为空则将右子节点压入栈，再若左子节点不为空则将左子节点压入栈中，不断弹出压入直到结束中序遍历申请一个栈stack，申请一个变量cur=head，2、先将cur压入栈中，然后依次将左边界压入栈中，重复2，直到cur为null；3...
2020-01-23 15:50:57
264
转载 JVM、JRE、JDK的区别
其实很多 Java 程序员在写了很多代码后，你问他 jre 和 jdk 之间有什么关系，jvm 又是什么东西，很多人不知所云。本篇不会讲述 jvm 底层是如何与不同的系统进行交互的，而主要理清楚三者之间的区别，搞清楚我们写的 xxx.java 文件是被谁编译，又被谁执行，为什么能够跨平台运行。首先，我们分别对这三者进行阐述。JVM ：英文名称（Java Virtual Machine），就是我...
2020-01-22 00:20:59
104
原创 牛客网常见算法思路 (六)二分搜索
常见应用场景有序序列查找一个数并不一定要在有用部分才得到应用(题目课件)考察点：对边界条件的考察有无重复值的条件是不同的提醒：mid=(left+right)/2 有可能在left+right时溢出，最好改成mid=left+(right-left)/2案例一给定无序数组arr，已知任意相邻的两个元素，值不重复，返回任意一个局部最小的值局部最小: 若arr[0]<arr...
2020-01-19 21:32:43
247
原创 Sqoop使用简要介绍
简介关键词 sqoop = sql to hadoopSqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 Sqoop2 的最...
2020-01-19 00:15:20
1719
原创 zk集群不能通过ssh脚本群起问题
linux群起群闭脚本没用 ssh没用感觉是公钥私钥出了问题，创建完不xsync就还好，分配之后就没用了我也不晓得为什么但是不分配就好
2020-01-18 23:56:04
203
原创 Azkaban简要总结
1、定义关键词：可定时，监控并执行任务调度，设置依赖关系决定顺序Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系，并提供一个易于使用的 ...
2020-01-18 23:34:36
264
原创 牛客网常见算法思路 (四)栈和队列
案例一实现一个特殊的栈，增加一个需求，可以返回栈中最小元素操作方法一：弄两个栈一个栈放正常的 第二个放最小的 只有当前数字小于等于stackMin栈顶时才压入方法二：弄两个栈一个栈放正常的 第二个放最小的，当前数字大于stackMin时也压入不过压入荡秋千前stackMin栈顶（相当于重复一次），记录了每一步的最小值方法一二：前者省空间花时间案例二编写一个类，只能用两个栈结构实现队...
2020-01-16 14:29:57
259
原创 牛客网常见算法思路 (三)字符串
字符串面试题特点1、广泛性可以看作字符类型的数组与数组排序查找有关2、很多类型面试题可以看作字符串类型面试题JAVA实现时需要掌握StringBuffer,StringBuilder和toCharArray算法了解概念1.回文2.子串（连续）3.子序列（不连续）4.前缀树(Trie树)5.后缀树和后缀树组6.匹配7.字典序列常见题目1.规则判断字符符串是否符合整数字...
2020-01-15 08:18:00
322
原创 牛客网常见算法思路(一)二叉树打印
1、二叉树按层遍历给二叉树头结点head，打印如下格式12 34 5 67 8思路：生成两个变量last和nlast指向节点last：正在打印的当前行最右节点nlast：下一行的最右节点每层做宽度有限遍历，遍历到last表示换行，此时将last=nlast**问题转化：**如何正确更新last和nlast思路nlast=最新加入的宽度优先节点，因为最新加入的队列节点一...
2020-01-04 23:04:18
139
原创 大数据学习之Hive框架整理
1、基本概念1.1 定义Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在YARN上1.2 优缺点1.2.1优点...
2019-11-29 09:59:13
368
原创 hadoop集群 hive安装&配置&可能遇到的问题
Hive 安装部署、启动方式、安装 mysql 、MySql 中 user 表中主机配置 [mysql-libs 里]、Hive 元数据配置到 MySql、Hive 常见属性配置、常见错误 & 解决方法
2019-11-24 11:16:55
724
转载 Python字符串的函数功能
#Python 字符串 函数功能函数功能 capitalize() 把字符串的第一个字符改为大写 casefold() 把整个字符串的所有字符改为小写 center(width) 将字符串居中，并使用空格填充至长度 width 的新字符串 count(sub[, start[, end]]) 返回 sub 在字符串里边出现的次数，start 和 e...
2019-01-31 11:45:46
209
广工信息安全试验.zip
2020-08-06
广工 数字逻辑课程设计 五路呼叫器
2020-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人