yisuoyanyv的博客

原创 linux 常用脚本样例-自定义启停应用脚本

shell 脚本书写样例； 自定义启停应用脚本

原创 Apache Iceberg Research

Apache iceberg 的感性认知，架构，业务，特性，优点

原创 java常用编程示例汇总

java常用编程示例汇总

原创 school.sql Mysql学习

CREATE DATABASE IF NOT EXISTS `school`;-- 创建一个school数据库USE `school`;-- 创建学生表DROP TABLE IF EXISTS `student`;CREATE TABLE `student`( `studentno` INT(4) NOT NULL COMMENT '学号', `loginpwd` VARCHAR(20) DEFAULT NULL, `studentname` VARCHAR(20) DEFAULT .

原创 开发排障-mysql spring boot 用户名密码错误

错误代码java.sql.SQLException: Access denied for user ‘root’@‘localhost’ (using password: YES)2021-09-06 22:26:07.484 ERROR 7396 — [eate-1714539364] com.alibaba.druid.pool.DruidDataSource : create connection SQLException, url: jdbc:mysql://localhost:3306/m

原创 Flink 错误记录解决

背景<flink.version>1.10.1</flink.version>在测试Table API和Flink SQL时出现如下错误错误日志Exception in thread "main" org.apache.flink.table.api.TableException: Could not instantiate the executor. Make sure a planner module is on the classpath at org.apache.

原创 Hadoop 企业级优化

Hadoop 企业级优化1 MapReduce 跑的慢的原因2 MapReduce优化方法数据输入Map阶段Reduce阶段IO传输数据倾斜问题常用的调优参数3 Hadoop 小文件优化方法Hadoop小文件弊端Hadoop小文件解决方案小文件优化的方向：Hadoop ArchiveSequenceFileCombineTextInputFormat开启uber模式，实现jvm重用配置mapreduce.job.jvm.numtasks 参数实现在一个Jvm中运行多个Task1 MapReduce 跑的慢

原创 大数据技术生态体系图

大数据技术生态体系图名词解释1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySql）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；3）Kafka：Kafka是一种高吞吐量的分布式发布订

原创 Hive SQL 面试题及解析过程

问题问题：查询user_low_carbon表中每日流水记录，条件为：用户在2017年，连续三天（或以上）的天数里，每天减少碳排放（low_carbon）都超过100g的用户低碳流水。需要查询返回满足以上条件的user_low_carbon表中的记录流水。例如用户u_002符合条件的记录如下，因为2017/1/2~2017/1/5连续四天的碳排放量之和都大于等于100g：seq（key） user_id data_dt low_carbonxxxxx10 u_002 2017/1/2

原创 Hive 实战

目录数据准备-表结构gulivideo_orcgulivideo_user_orc需求一：统计视频观看数最高的 top10需求二：统计视频类别热度Top10需求三：统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数需求四： 统计视频观看数Top50所关联视频的所属类别Rank需求五：统计每个类别中的视频热度Top10,以Music为例需求五扩展： 统计每个类别中的视频热度Top10需求六：统计每个类别视频观看数Top10 参考需求五拓展需求七：统计上传视频最多的用户Top10以及他

原创 Hive UDF函数与UDTF函数

目录UDF（User-Defined-Function)UDAF（User-Defined-Aggregation Function)UDTF(User-Defined Table-Generating Functions)UDF（User-Defined-Function)一进一出开发示例：1.创建maven项目， 引入依赖 <dependencies> <dependency> <groupId>org.apache

原创 Hive 常用函数实例

常用日期函数实例hive (default)> select unix_timestamp();unix_timestamp(void) is deprecated. Use current_timestamp instead.OK_c01607595857Time taken: 0.026 seconds, Fetched: 1 row(s)hive (default)> select unix_timestamp('2018-08-08 08:08:08');OK_c0

原创 Hive 学习笔记 排序-分区-分桶-函数

1. 排序1.1 Order By 全局排序关注点： 只有一个reducer ,也就是只有一个分区。1.2 Sort By Reducer内部排序，分区内排序关注点： 有多个reducer，也就是有多个分区注意点： 有多个reducer，单独使用sort by ,数据会被随机分到每个reducer中，在每个reducer中，sort by 将数据排序。set mapreduce.job.reduces; select * from epm order by detp desc;in

原创 CentOS 6.10 执行yum命令报错，尝试各种办法未解决

在CentOS 6.10 执行yum命令报错，尝试各种办法未解决错误如下：[zjl@hadoop102 ~]$ sudo yum update已加载插件：fastestmirror, refresh-packagekit, security设置更新进程Loading mirror speeds from cached hostfileYumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. Invalid re

原创 win10 Oracle VirtualBox 启动虚拟机报错，问题解决

错误描述win10电脑，Oracle VirtualBox 当启动虚拟机时，报如下错误：virtualbox error in suplibosinit 3738; found evil handle to buddingFound evil handle to budding VM process:rc=-3738with too broad access rights.不能为虚机电脑xx打开一个新任务返回代码： E_FALL (0x80004005)解决方法VM processwi

原创 Springboot之3.整合Web开发

3.整合Web开发3.1 aop添加pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></dependency>编写aop...

原创 Springboot之 2.整合视图层技术

本材料整理自github https://github.com/lenve/javaboy-video-samples中的代码2.整合视图层技术2.1 freemarker添加pom依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>...

原创 SpringBoot之1.基础配置

banner，profiles，web容器，yaml，

原创 JAVA类加载及初始化过程面试题

JAVA类加载及初始化过程面试题，只看这一道就够了知识点总结，

原创 一道简单的JAVA面试题

来看一道简单的java面试题：public static void main(String[] args) { int i=1; i=i++; int j=i++; int k=i+ ++i *i++; System.out.println("i="+i); System.out.print...

原创 8种方式实现单例模式

请仔细看代码中的注释。1.饿汉式package mutithread.concurrent.chapter14;/** * 饿汉式 * @author zhangjinglong * @date 2020-02-19-17:13 * * 如果一个类中的成员属性比较少，且占用的内存资源不多，饿汉的方式未尝不可，相反，如果一个类中的成员都是比较重 * 的资源，那么这种方式就会有些不...

原创 volatile和synchronized关键字比较总结

本文整理自《JAVA高并发编程详解》，汪文君 著1. 使用上的区别volatile关键字只能用于修饰实例变量或者类变量，不能用于修饰方法以及方法参数和局部变量、常量等。synchronized关键字不能用于对变量的修饰，只能用于修饰方法或者语句块。volatile修饰的变量可以为null，synchronized关键字同步愉快的monitor对象不能为null。2.对原子性的保证...

原创 JVM虚拟机 内存模型 图示

原创 JVM调优案例：-Xmn参数设置，减少Full GC

原创 Spark 键值对操作

Spark 键值对操作2019年11月22日简介键值对RDD通常用来进行聚合计算键值对RDD在各节点上分布情况的高级特性：分区使用可控的分区方式把常被一起访问的数据放到同一个节点上，可以大大减少应用的同学开销，带来明显的性能提升。为分布式数据集选取正确的分区方式。pair RDD提供 reduceByKey()方法，可以分别规约每个键对应的数据。Join()方法，可以把两个RDD中...

原创 Spark RDD总结

Spark RDD 总结2019年11月21日16:58RDD两种操作RDD 支持两种类型的操作：转化操作（transformation）和行动操作（action)转化操作会由一个RDD生产一个新的RDD。 如fliter，map行动操作会对RDD计算出一个结果。如first，count两种操作区别在于Spark计算RDD的方式不同。Spark惰性计算，只有第一次在一个行动操作中用到...

原创 碰到的问题记录，并解决---软件类 ---持续更新

Q：Office for Mac 反复请求密钥链访问 提示登录过期重新认证A：https://support.office.com/zh-cn/article/office-for-mac-%E5%8F%8D%E5%A4%8D%E8%AF%B7%E6%B1%82%E5%AF%86%E9%92%A5%E9%93%BE%E8%AE%BF%E9%97%AE-ced5a09c-3099-47cb-91...

原创 设计模式之 装饰者模式（Decorator Pattern）

装饰者模式（Decorator Pattern）关于装饰者模式，举个简单的例子来说明它的实现方式。需求大家在购买咖啡的时候，往往会依据自己的口味要求店员在咖啡中添加各种调料，例如：豆浆（Soy）、摩卡（Mocha，也就是巧克力风味）、奶泡（Whip）等。店员会根据所加入的调料而收取不同的费用。那么，使用装面向对象编程，如何让这种需求变得可拓展呢？问题难点在于：由于各种调料和各种咖啡的搭配不...

原创 设计模式之 策略模式（Strategy Pattern）

策略模式（Strategy Pattern）策略模式定义了算法族，分别封装起来，让它们之间可以相互替换，此模式让算法的变化独立与使用算法的客户。从一个简单的应用说起。背景假如我们要设计一款鸭子模拟器。有绿头鸭，红头鸭，玩具鸭，橡皮鸭等。鸭子的行为有呱呱叫，游泳，飞翔等。根据简单的面向对象设计思路。我们先拿出第一版设计图。第一版第一版，我们抽象了一个鸭子超类。其他所有类型鸭子从超类...

原创 Python正则表达式

Python正则表达式正则表达式验证网站,强烈推荐！！！https://regexr.com/练习题网站 https://alf.nu/RegexGolf，闯关练习，十分有意思。简单例子# encoding:UTF-8import re#将正则表达式编译成Pattern对象pattern=re.compile(r'hello.*\!')#使用python匹配文本，获得匹配结果，...

原创 NLP自然语言处理 之 jieba中文处理

教程参考来源视频：https://www.bilibili.com/video/av21452290/?p=1jieba中文处理与拉丁语系不同，亚洲语言不是以空格分隔词的。因此需要专门的工具将完整的文本分解成粒度更细的词。jieba就是一个十分好用的中文工具。它以分词起家，但功能比分词强大很多。1.基本分词函数与用法jieba.cut及jieba.cut_for_search 返回的结构...

翻译 NLP 自然语言初体验

本资料整理自 Kaggle上的Spooky NLP and Topic Modelling tutorialimport base64import numpy as npimport pandas as pd#Plotly imports 一种可视化工具import plotly.offline as pypy.init_notebook_mode(connected=True)...

原创 Socket网络编程 2 之UDP协议

Socket网络编程 2Socket-UDP 快速入门UDP是什么？英文名：User Datagram Protocol，缩写为UDP一种用户数据报协议，又称用户数据报文协议。是一个简单的面向数据报的传输层协议，正式规范为RFC 768用户数据协议、非连接协议为什么说UDP不可靠？它一旦把应用程序发送给网络层的数据发送出去，就不保留数据备份UDP在IP数据报的头部仅仅加入了...

原创 Socket网络编程 1

Socket网络编程什么是网络编程网络，计算机网络的构成？在计算机领域中，网络是信息传输、接收、共享的虚拟平台。局域网、互联网什么是网络编程？对信息的发送和接收。通过操作相关Api调度计算机硬件资源，并利用传输管道（网线）进行数据交换的过程。网络模型、套接字、数据包7层网络模型-OSISending ComputerReveiving ComputerApp...

原创 快速排序

快速排序前情回顾前面介绍了几种简单的排序方法选择排序插入排序希尔排序归并排序今天介绍经典的快速排序，与归并排序一样，快速排序也是一种分治的排序方法。快速排序特点1.实现简单2.适用于各种不同的输入数据3.比其他排序算法快得多4.原地排序（只需要一个很小的辅助栈）5.所需时间和NlgN成正比。算法思想将一个数组分成两个子数组，左子数组和右子数组。当两个子数组分别有序...

原创 归并排序-大事化小

归并排序前情回顾前面介绍了几种简单的排序方法选择排序插入排序希尔排序今天的主角是叫做归并排序的一种方法，归并排序最吸引人的性质是它能保证将任意长度为N的数组排序所需时间和 NlogN成正比，而这是其他排序算法复杂度的上限；而它的主要缺点是它所需的额外空间和N成正比。算法动图算法思想简单来说，归并排序就是将一个数组排序的问题，可以先（递归得）将它分成两半分别排序，然后将结果归...

原创 希尔排序

截至目前，我们分别介绍了两种基础的排序算法。选择排序插入排序在介绍插入排序时讲到，插入排序的原理是依次交换相邻的元素，适用于元素数量少的情况和数组已经部分有序的情况，而面对大规模乱序数组时，显得力不从心，插入排序会很慢。针对插入排序的缺点，出现了一种 称为希尔排序的改进算法。算法定义希尔排序是为了加快速度简单地改进了插入排序，交换不相邻的元素以对数组的局部进行排序，并最终用插入排序...

原创 插入排序

上文中介绍了排序算的基本原理和一些概念和约定API，参见选择排序，本节介绍另一种简单的排序算法：插入排序。插入排序场景：我们在玩扑克牌的时候，总是一边揭牌，一边将到手的牌插入到之前已经排好序的手牌中。这是插入排序最生活化的应用。与选择排序一样，当前索引左边的所有元素都是有序的，但注意，它们但最终位置还不确定，为了给更小的元素腾出空间，它们可能会被向右移动。当索引到达数据右端时，数组排序就完...

原创 选择排序

选择排序今天，我们来聊聊排序算法，话说，杂乱无章的事物总是让人感觉困惑，而喜欢秩序的人总是能将事物整理的井井有条。我们以重新排列数组元素作为目标进行说明。排序算法的模型研究排序算法时，我们要计算比较和交换的数量。对于不交换元素的算法，我们会计算其访问数组的次数。排序算法API在讨论排序算法之前，先约定一些通用的API说明。sort() 各种排序算法的实现less() 比较两个元...

原创 基于链表结构实现先进先出 队列

基于链表结构实现先进先出 队列上文中讲到了如何基于链表结构实现一个栈的数据结构，参考:下压堆栈（链表实现）,本篇介绍如何如何实现队列结构。队列应用：生活中各种排队场景：食堂排队，银行排队。。。排队意味着公平。VIP除外常言道：先来后到，先到先得。都是一种队列思想实现思路：定义两个实例变量，first和last，分别指向链表的表头和表尾，同时代表队列的队头和队尾。队列规定，队尾只...