wz_TXWY-CSDN博客

转载 hive函数全(已翻译)

函数名含义及实例 ABS abs（x） - 返回x的绝对值示例： > SELECT abs（0）FROM src LIMIT 1; 0 > SELECT abs（-5）FROM src LIMIT 1; 五 ACOS acos（x） - 如果-1 <= x <= 1则返回x的反余弦值，否则返回NULL 例如： > SELECT acos（

2020-07-22 15:17:27 1370

原创 win换行符转linux 与 linux换行符转win

1.一些概念windows换行符\r\n，也是CRLF linux换行符\n，也是LF2.windows上使用Notepad++查看换行符视图-》显示符号-》显示行尾符3.使用sed将win换行符转linux换行符sed -i 's/\r//' filename命令的意思是将\r去掉-i直接修改filename文件s是替换的意思，例如：s/旧字符串/新字符串/4.使用sed将linux换行符转windows换行符sed -i ':label;N;s/...

2020-05-29 19:41:45 688

原创 hive函数 -- split 字符串分割函数(基本用法,特殊字符处理,注意项)

hive字符串分割函数split(str, regex) - Splits str around occurances that match regexTime taken: 0.769 seconds, Fetched: 1 row(s)返回值为一个数组a.基本用法：例1：split('a,b,c,d',',')得到的结果：["a","b","c","d"]...

2020-03-24 12:18:34 7044

原创 win10拨号上网不能开启移动热点解决方案

一般情况下 win10有热点，但拨号上网模式下开启不了。错误提示为：我们无法设置移动热点，因为你的电脑未建立以太网，WIFI或手机网络连接。这个问题可能出现在拨号上网连接的设备上. 下面解决win10下无法建立移动热点，具体步骤如下： 1. 首先用手机或其他设备开个无线热点。 2. 电脑连接步骤1中的开的热点. 电脑端打开移动热点,网络连接中会有一个本地连接*12之类的网络 ...

2020-03-04 10:32:15 19588 5

原创统计每个用户一小时内最大的登录数

package com.wz.udfimport java.util.Dateimport org.apache.commons.lang3.time.FastDateFormatimport org.apache.spark.sql.SparkSession//登录时间登录账号//10:31:11 aa//10:31:20 aa//10:31:33 aa//10...

2019-10-11 21:11:58 539

原创 Structured Streaming

Structured StreamingStructured StreamingTable of Contents1. 回顾和展望1.1. Spark 编程模型的进化过程1.2. Spark 的序列化的进化过程1.3. Spark Streaming 和 Structured Streaming2. Structured Streaming 入门案...

2019-09-27 17:42:48 1181

原创 Spark Streaming

Spark StreamingCreate Repository 导读介绍入门原理操作Table of Contents1. Spark Streaming 介绍2. Spark Streaming 入门2. 原理3. 操作1. Spark Streaming 介绍导读流式...

2019-09-27 17:41:33 371

原创 SparkSQL 练习项目 - 出租车利用率分析

SparkSQL 练习项目 - 出租车利用率分析SparkSQL 练习项目 - 出租车利用率分析Table of Contents1. 业务2. 流程分析3. 数据读取5. 数据清洗6. 行政区信息6.1. 需求介绍6.2. 工具介绍6.3. 具体实现7. 会话统计导读本项目是 SparkSQL 阶段的练习项目, 主要目的...

2019-09-27 17:39:52 1699 1

原创 SparkSQL

SparkSQLSparkSQLTable of Contents1. SparkSQL 是什么1.1. SparkSQL 的出现契机1.2. SparkSQL 的适用场景2. SparkSQL 初体验2.3. RDD 版本的 WordCount2.2. 命令式 API 的入门案例2.2. SQL 版本 WordCount3. [扩展] C...

2019-09-27 17:38:48 723

原创 Spark core Insight

Spark core InsightCreate Repository 目标深入理解 RDD 的内在逻辑能够使用 RDD 的算子理解 RDD 算子的 Shuffle 和缓存理解 RDD 整体的使用流程理解 RDD 的调度原理理解 Spark 中常见的分布式变量共享方式Table of Conten...

2019-09-27 17:34:17 640

原创 Spark Core

Spark CoreCreate Repository 全阶段目标理解 Spark 的特点和作用能够完成 Spark 的集群搭建和安装通过入门案例理解 Spark 的编程模型 RDD了解 RDD 的常见使用Table of Contents1. Spark 概述1.1. Spark是什么...

2019-09-26 19:08:11 548

原创 java.lang.NoClassDefFoundError: akka/serialization/BaseSerializer$class

Exception in thread "main" java.lang.NoClassDefFoundError: akka/serialization/BaseSerializer$class at akka.persistence.serialization.SnapshotSerializer.<init>(SnapshotSerializer.scala:31) at ...

2019-09-24 17:39:07 1338

转载知道这20个正则表达式，能让你少写1,000行代码

由于编辑器的原因，有些 \被自动转义成\\了 ,使用前先进行测试下目录常使用到的20个正则表达式。1 . 校验密码强度2. 校验中文3. 由数字、26个英文字母或下划线组成的字符串4. 校验E-Mail 地址5. 校验身份证号码6. 校验日期7. 校验金额8. 校验手机号9. 判断IE的版本10. 校验IP-v4地址11. 校验IP-v6地址...

2019-09-21 09:18:08 636

原创 scala 查找隐式参数时和进行隐式转换时的查找顺序

scala 查找隐式参数时和进行隐式转换时的查找顺序 (看的一些视频上老师说的) 当前作用域-->自身作用域伴生对象--> 相关的类和接口的伴生对象(如继承的类,trait) -->import上下文的隐式转换开发时业界主流一般建议直接在自身伴生对象中写隐式的, 不建议import,随着版本的迭代什么的,某些开发者容易搞混在哪查找隐式参数时和进行隐式转换:...

2019-09-18 20:47:35 488

原创 scala 构造器详解 (反编译java)

目录一.主构造器1.主构造器中的参数带有var,【反编译成Java查看】,会生成对应的成员变量及get/set方法,在scala中可使用对象.成员变量进行修改,获取值.主构造器中的参数带有val,会生成对应的 final成员变量,及get方法,没有set方法,final不允许修改的2.主构造器不带var/val,不会生成对应的成员变量,只是个单纯的形参二.辅助构造器参数不...

2019-09-18 14:53:35 446

原创 scala 补充知识

目录1. var temp = List("Hello",1) 可以保存了不同类型的原因 : 类型推断 List[Any] = List(Hello,1)2. 使用Nil 创建空列表List3.可变集合（mutable ）和不可变集合（immutable）4.函数的参数列表可以省略的情况: 参数只使用一次,且没嵌套使用 .如 x=>print(x) 省略为pri...

2019-09-17 18:27:59 278

原创 idea plugins 插件安装位置

idea用户安装(非自带)的插件默认在用户的C:\Users\TXWY\.IntelliJIdea2019.1\config\plugins 目录下idea自带的插件在idea安装(解压zip)目录的plugins目录中

2019-09-17 17:49:24 43653 1

原创 scala 免安装和 idea配置

1.idea下载scala插件https://blog.csdn.net/wz_TXWY/article/details/1008965692.创建project ,选择scala-->idea ,配置scala sdk,之后就可以在idea中开发scala项目了3.进入官网https://www.scala-lang.org/download/,下载zip 包. .m...

2019-09-17 17:38:35 450

原创快速找出并解决 idea 中maven版本冲突

1. 安装idea插件 :Maven Helper,安装完插件重启ideaidea插件安装:https://blog.csdn.net/wz_TXWY/article/details/1008965692.在你项目的pom文件会出现Dependency Analyzer 选项,点击会看到所有版本冲突的依赖列表3.找到你需要的版本(一般情况都是需要高版本的),把其他不...

2019-09-16 18:36:59 4222

原创 idea插件安装:

一. 在线安装,安装完后重启idea1.打开plugins插件界面: File ===> settings ===> plugins二. 离线安装1.进入官网:https://plugins.jetbrains.com/ ,在搜索框输入插件关键字2,在搜索结果中找到需要的插件点击进去3.点击 gethelp =...

2019-09-16 18:35:52 747

原创 scala 函数式编程 foreach, map , flatmap , filter , exists ,sorted ,groupBy ,reduce ,fold

函数式编程我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。遍历（foreach）映射（map）映射扁平化（flatmap）过滤（filter）是否存在（exists）排序（sorted、sortBy、sortWith）分组（groupBy）聚合计算（reduce）折叠（fold）遍历 | foreach之前，学习过...

2019-09-16 14:58:29 1126

原创 scala 列表List常用操作

列表常用操作以下是列表常用的操作判断列表是否为空（isEmpty）拼接两个列表（++ :: ::: ）获取列表的首个元素（head）和剩余部分(tail)反转列表（reverse）获取前缀（take）、获取后缀（drop）扁平化（flaten）拉链（zip）和拉开（unzip）转换字符串（toString）生成字符串（mkString）并集（union）(合并,跟++...

2019-09-16 11:38:30 1570

原创 Scala 数据类型与操作符

数据类型与操作符scala中的类型以及操作符绝大多数和Java一样，我们主要来学习与Java不一样的一些用法scala类型的继承体系数据类型基础类型类型说明Byte8位带符号整数Short16位带符号整数Int32位带符号整数Long64位带符号整数Char16位无符号Unicode字符StringChar类型的序列（字...

2019-09-16 10:19:36 521 1

原创 2019新版CSDN 转载技巧

1.右键点击文章,选择检查---> 选择class 为markdown_views的div ---> 右键选择copy element2.打开notepad++ 粘贴copy 的 , 查找<ul class="pre-numbering" style="">.*?</li></ul> (此正则使用的是懒加载) ,选择正则表达式 ,...

2019-09-15 22:19:39 185

转载 Scala for循环原理探寻

Scala for循环基本使用增强型for循环scala基本for循环如下，代码将names遍历并打印包含的名字。val n...

2019-09-15 22:08:45 320

原创 scala for循环的几种方式

for循环的几种方式第一种(生成器表达式)i 表示循环的变量， <- 规定好 to 规定i 将会从 1-3 循环，前后闭合for(i <- 1 to 3){ print(i + " ")} 第二种这种方式和前面的区别在于 i 是从1 到 3-1前闭合后开的范围,和java的arr.length() 类似for(i <- 1 until 3) ...

2019-09-15 22:01:58 1157

原创 Scala 方法和函数的区别

方法和函数的区别方法是隶属于类或者对象的，在运行时，它是加载到JVM的方法区中可以将函数对象赋值给一个变量，在运行时，它是加载到JVM的堆内存中函数是一个对象，继承自FunctionN，函数对象有apply，curried，toString，tupled这些方法。方法则没有示例方法无法赋值给变量scala> def add(x:Int,y:Int)=x+yadd: (x: ...

2019-09-15 19:09:22 433

原创 scala方法调用方式-总结

方法调用方式在scala中，有以下几种方法调用方式，后缀调用法中缀调用法花括号调用法无括号调用法在后续编写spark、flink程序时，会使用到这些方法调用方式。后缀调用法这种方法与Java没有区别。语法对象名.方法名(参数)示例使用后缀法Math.abs求绝对值参考代码scala> Math.abs(-1)res3: Int = 1中缀调用法语法...

2019-09-15 18:56:51 1365

原创 Scala 实现java break和continue单独出现,break和continue一同出现

break和continue单独出现,break和continue一同出现在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。实现break用法导入Breaks包import scala.util.control.B...

2019-09-15 17:42:11 528

原创 Cannot access: /. The HDFS REST service is not available. " ""

1.Cannot access: /user/admin. The HDFS REST service is not available. " "" 注：您是 Hue 管理员，但不是 HDFS 超级用户（即 ""hdfs""）。"""一般是Httpfs没有启动在有nameNodede 机器上启动httpfs服务在hadoop家目录()安装目录) sbin/httpfs.sh star...

2019-09-04 22:52:04 3866

原创 hue 集成高可靠yarn

[[[default]]] 和 [[ha]]中各配置一个RM，logical_name名字就是yarn-site.xml中配置的

2019-09-04 22:44:35 391

原创 hue 安装编译报错 raise EnvironmentError("%s not found" % (mysql_config.path,))

File "/export/servers/hue-3.9.0-cdh5.14.0/desktop/core/ext-py/MySQL-python-1.2.5/setup_posix.py", line 25, in mysql_config raise EnvironmentError("%s not found" % (mysql_config.path,))Environmen...

2019-09-04 18:52:51 2371

原创 ZKFC 详解

基本概念zkfc是什么？ZooKeeperFailoverController它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息,主备NN的切换谁会用它？每个运行NN的节点必须要运行一个zkfc有啥功能？1.Health monitoring (健康监测) 对NN的健康监测zkfc定期对本地的NN发起heal...

2019-08-20 21:50:42 5316

原创 org.apache.jasper.JasperException: java.lang.ClassNotFoundException: org.apache.jsp.index_jsp

在我这边的解决方案:方案一:在jsp中删了 <%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %> , 可行,不报错了方案二:maven依赖再添加个 taglibs->>standard...

2019-08-12 20:30:44 5913 3

原创 java.sql.SQLException: Cannot create com.wz.domain.Account: com.wz.domain.Account

不能创建创建实体类实体类没有提供无参构造

2019-08-03 16:39:43 413 1

原创 python super详解 (二)

super并不是一个函数，是一个类名，形如super(B, self)事实上调用了super类的初始化函数，产生了一个super对象；1、super([type[,object-or-type]])super() 在使用时至少传递一个参数，且这个参数必须是一个类。通过super()获取到的是一个代理对象，通过这个对象去查找父类或者兄弟类的方法。2、super()不...

2019-08-02 22:46:07 323

原创 python super详解(一)

一题:继承关系打印结果:如果你认为super代表『调用父类的方法』，那你很可能会疑惑为什么 enter A 的下一句不是 enter Base 而是 enter B。原因是，super和父类没有实质性的关联，现在让我们搞清super是怎么运作的。事实上，对于你定义的每一个类，Python 会计算出一个方法解析顺序（Method Resolu...

2019-08-02 22:32:17 274

原创 centos7 安装 mysql8

Mysql8 安装0.卸载默认数据库mariadb查找安装包rpm -qa | grep mariadb卸载yum -y remove 安装包(mariadb-libs-5.5.44-2.el7.centos.x86_64)1.获取yum安装源 http://repo.mysql.com/找到自己需要安装,这里选择mysql-community-release-el...

2019-07-26 22:09:00 146

原创过滤器Filter

一.过滤器Filter的使用第一步：编写一个类实现Filter接口public class FilterTest implements Filter第二步: 对过滤器在web.xml中进行配置注册<!-- <description>用于添加描述信息，该元素的内容可为空，<description&gt...

2019-07-15 20:47:32 333

原创 Servlet中的监听器(8个)

Servlet中的监听器(8个)一类：监听三个域对象的创建和销毁的监听器（三个） ServletContextListener HttpSessionListener ServletRequestListener二类：监听三个域对象的属性变更（属性添加、移除、...

2019-07-15 20:03:48 319

NavicatPremium12.1.19软件及破解软件及破解教程.rar

压缩包包含 Navicat Premium 12.1.19 软件，破解工具，破解过程 Navicat Premium 12.1.19 2019.06.25亲测使用里面的软件成功破解

2019-06-25

apk反编译工具wz.rar

apk反编译工具,用来反编译apk

2019-05-31

DiskLrucache 源码及jar包.rar

磁盘缓存 DiskLrucache 源码及jar包，有需要的自行进行下载。

2019-03-07

音视频开发进阶指南：基于Android与iOS平台的实践

音视频开发进阶指南：基于Android与iOS平台的实践（展晓凯魏晓红著）【ps：书籍内容代码量较少，过多的是用文字描述。按需下载】目录推荐序一推荐序二前言第1章音视频基础概念1.1 声音的物理性质1.1.1 声音是波1.1.2 声波的三要素1.1.3 声音的传播介质1.1.4 回声1.1.5 共鸣1.2 数字音频1.3 音频编码1.4 图像的物理现象1.5 图像的数值表示1.5.1 RGB表示方式1.5.2 YUV表示方式1.5.3 YUV和RGB的转化1.6 视频的编码方式1.6.1 视频编码1.6.2 编码概念1.7 本章小结第2章移动端环境搭建2.1 在iOS上如何搭建一个基础项目2.2 在Android上如何搭建一个基础项目2.3 交叉编译的原理与实践2.3.1 交叉编译的原理2.3.2 iOS平台交叉编译的实践2.3.3 Android平台交叉编译的实践2.3.4 使用LAME编码MP3文件2.4 本章小结第3章 FFmpeg的介绍与使用3.1 FFmpeg的编译与命令行工具的使用3.1.1 FFmpeg的编译3.1.2 FFmpeg命令行工具的使用3.2 FFmpeg API的介绍与使用3.3 FFmpeg源码结构3.3.1 libavformat与libavcodec介绍3.3.2 FFmpeg通用API分析3.3.3 调用FFmpeg解码时用到的函数分析3.3.4 调用FFmpeg编码时用到的函数分析3.3.5 面向对象的C语言设计3.4 本章小结第4章移动平台下的音视频渲染4.1 AudioUnit介绍与实践4.2 Android平台的音频渲染4.2.1 AudioTrack的使用4.2.2 OpenSL ES的使用4.3 视频渲染4.3.1 OpenGL ES介绍4.3.2 OpenGL ES的实践4.3.3 上下文环境搭建4.3.4 OpenGL ES中的纹理4.4 本章小结第5章实现一款视频播放器5.1 架构设计5.2 解码模块的实现5.3 音频播放模块的实现5.3.1 Android平台的音频渲染5.3.2 iOS平台的音频渲染5.4 画面播放模块的实现5.4.1 Android平台的视频渲染5.4.2 iOS平台的视频渲染5.5 AVSync模块的实现5.5.1 维护解码线程5.5.2 音视频同步5.6 中控系统串联起各个模块5.6.1 初始化阶段5.6.2 运行阶段5.6.3 销毁阶段5.7 本章小结第6章音视频的采集与编码6.1 音频的采集6.1.1 Android平台的音频采集6.1.2 iOS平台的音频采集6.2 视频画面的采6.2.1 Android平台的视频画面采集6.2.2 iOS平台的视频画面采集6.3 音频的编码6.3.1 libfdk_aac编码AAC6.3.2 Android平台的硬件编码器MediaCodec6.3.3 iOS平台的硬件编码器AudioToolbox6.4 视频画面的编6.4.1 libx264编码H266.4.2 Android平台的硬件编码器MediaCodec6.4.3 iOS平台的硬件编码器6.5 本章小结第7章实现一款视频录制应用7.1 视频录制的架构设7.2 音频模块的实7.2.1 音频队列的实7.2.2 Android平台的实现7.2.3 iOS平台的实7.3 音频编码模块的实7.3.1 改造编码器7.3.2 编码器适配7.4 画面采集与编码模块的实现7.4.1 视频队列的实7.4.2 Android平台画面编码后入队7.4.3 iOS平台画面编码后入队7.5 Mux模块7.5.1 初始化7.5.2 封装和输出7.5.3 销毁资源7.6 中控系统串联起各个模块7.7 本章小结第8章音频效果器的介绍与实践8.1 数字音频基础8.1.1 波形图8.1.2 频谱图8.1.3 语谱图8.1.4 深入理解时域与频域8.2 数字音频处理：快速傅里叶变换8.3 基本乐理知识8.3.1 乐谱8.3.2 音符的音高与十二平均律8.3.3 音符的时值8.3.4 节拍8.3.5 MIDI格式8.4 混音效果器8.4.1 均衡效果器8.4.2 压缩效果器8.4.3 混响效果器8.5 效果器实现8.5.1 Android平台实现效果器8.5.2 iOS平台实现效果器8.6 本章小结第9章视频效果器的介绍与实践9.1 图像处理的基本原理9.1.1 亮度调节9.1.2 对比度调节9.1.3 饱和度调节9.2 图像处理进阶9.2.1 图像的卷积过程9.2.2 锐化效果器9.2.3 高斯模糊算法9.2.4 双边滤波算法9.2.5 图层混合介绍9.3 使用FFmpeg内部的视频滤镜9.3.1 FFmpeg视频滤镜介绍9.3.2 滤镜图的构建9.3.3 使用与销毁滤镜图9.3.4 常用滤镜介绍9.4 使用OpenGL ES实现视频滤镜9.4.1 加水印9.4.2 添加自定义文字9.4.3 美颜效果器9.4.4 动图贴纸效果器9.4.5 主题效果器9.5 本章小结第10章专业的视频录制应用实践10.1 视频硬件解码器的使用10.1.1 初始化信息准备10.1.2 VideoToolbox解码H26410.1.3 MediaCodec解码H26410.2 音频效果器的集成10.2.1 Android音效处理系统的实现10.2.2 iOS音效处理系统的实现10.3 一套跨平台的视频效果器的设计与实现10.4 将特效处理库集成到视频录制项目中10.4.1 Android平台特效集成10.4.2 iOS平台特效集成10.5 本章小结第11章直播应用的构建11.1 直播场景分析11.2 拉流播放器的构建11.2.1 Android平台播放器增加后处理过程11.2.2 iOS平台播放器增加后处理过程11.3 推流器的构建11.4 第三方云服务介绍11.5 礼物系统的实现11.5.1 Cocos2dX项目的运行原理11.5.2 关键API详解11.5.3 实现一款动画11.6 聊天系统的实现11.6.1 Android客户端的WebSocket实现11.6.2 iOS客户端的WebSocket实现11.7 本章小结第12章直播应用中的关键处理12.1 直播应用的细节分析12.1.1 推流端细节分析12.1.2 拉流端细节分析12.2 推流端的关键处理12.2.1 自适应码率的实践12.2.2 统计数据保证后续的应对策略12.3 拉流端的关键处理12.3.1 重试机制的实践12.3.2 首屏时间的保证12.3.3 统计数据保证后续的应对策略12.4 本章小结第13章工欲善其事，必先利其器13.1 Android平台工具详解13.1.1 ADB工具的熟练使用13.1.2 MAT工具检测Java端的内存泄漏13.1.3 NDK工具详解13.1.4 Native层的内存泄漏检测13.1.5 breakpad收集线上Crash13.2 iOS使用Instruments诊断应用13.2.1 Debug Navigator13.2.2 Time Profiler13.2.3 Allocations13.2.4 Leaks13.3 本章小结附录A 通过Ne10的交叉编译输入理解ndk-build附录B 编码器的使用细节附录C 视频的表示与

2019-02-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

NavicatPremium12.1.19软件及破解软件及破解教程.rar

apk反编译工具wz.rar

DiskLrucache 源码 及jar包.rar

音视频开发进阶指南：基于Android与iOS平台的实践

silidity 官方文档中文版PDF

gradle-4.5.1-all.rar

jackson-2.8.0-all.jar

vm 14 MAC 补丁.rar

WEB前端助手(FeHelper)_v10.0

gradle-4.3.1.rar

gradle-4.1.rar

gradle-2.14.1-all.rar

gradle-3.3-all

ArcGIS+for+Android 开发教程基础版

ArcGIS API for Javascript 开发基础教程中文版

springmvc+mybatis全套视频详解及源码

空空如也

DiskLrucache 源码及jar包.rar