Flink学习笔记汇总 之前的一些Flink笔记，在这里与大家分享。1.savepoint checkpoint savepoint是checkpoint的一种特殊方式，手动保存,其实就是指针。savepoint不会过期，不会覆盖，除非手动删除。2.jobmanager相当于resource manager 一般生产会有2个 做ha3.OperatorChain的优点：（1）减少线程切换（2）减少序列化与反序列化（3）减少数据在缓冲区的交换（4）减少延迟并且提高吞吐能力 Operator...
使用zipwithindex 算子给dataframe增加自增列 row_number函数实现自增，udf函数实现自增 DataFrame df = ...StructType schema = df.schema().add(DataTypes.createStructField("id", DataTypes.LongType, false));使用RDD的zipWithIndex得到索引，作为ID值：JavaRDD<Row> rdd = df.javaRDD() // 转为JavaRDD...
nginx中的root与alias的差别 格式nginx指定文件路径有两种方式root和alias，指令的使用方法和作用域：[root]语法：root path默认值：root html配置段：http、server、location、if[alias]语法：alias path配置段：locationroot与alias主要区别在于nginx如何解释location后面的uri，这会使两者分别以不同的方式将请求映射...
报错：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column 'NaN' in 'field list' 今天只是在计算留存率的代码中添加了一个条件，结果报错如下：Log Type: stderrLog Upload Time: 6-Dec-2019 13:18:45Log Length: 12549SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/data6/yar...
indexOf 与 lastIndexOf indexOf 和 lastIndexOf 是什么？ indexOf 和 lastIndexOf 都是索引文件 indexOf是查某个指定的字符串在字符串首次出现的位置（索引值）（也就是从前往后查） lastIndexOf是从右向左查某个指定的字符串在字符串中最后一次出现的位置（也就是从后往前查） eg： 注意： 那么问题...
sqlContext.udf.register( ) 的作用 SparkSQL UDF两种注册方式：udf() 和 register()调用sqlContext.udf.register()此时注册的方法 只能在sql()中可见，对DataFrame API不可见用法：sqlContext.udf.register("makeDt", makeDT(_:String,_:String,_:String))例如：def make...
zeppelin重启 zeppelin重启注意：在zeppelin重启之前，最好和其他同事确认下是否有人正在使用，或者在YARN上查看相关Spark任务是否有active stage。重启步骤：首先进入bigdata-appsvr-xxx-x主机，切换至hadoop用户1.停止zeppelin servercd /opt/zeppelinbin/zeppelin-daemon.sh sto...
在hive中创建表时报错： Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExcept 重看笔记时发现以前记录的报错在hive中创建表时报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectException Call From Spark11/192.168.59.1...
random.nextInt()与Math.random()基础用法 1、来源random.nextInt() 为 java.util.Random类中的方法；Random类中还提供各种类型随机数的方法：nextInt()：返回一个随机整数(int)nextInt(intn)：返回大于等于0、小于n的随机整数(int)nextLong()：返回一个随机长整型值(long)nextBoolean()：返回一个随机布尔型值(bo...
报错信息：java.sql.SQLException: Field 'id' doesn't have a default value 今天写的程序报了一个错误，报错代码如下：ERROR 2019-10-16 15:14:47,797 Logging$class:logError - User class threw exception: java.sql.SQLException: Field 'id' doesn't have a default valuejava.sql.SQLException: Field 'i...
coursera视频无法播放 视频加载不出来 Coursera是国外的一款非常有名的公开课网站，今天在coursera上看个课程，发现看不了，特意在网上搜集了解决方案，亲测有效，记录下来。首先，在文件夹地址栏中输入C:\Windows\System32\drivers\etc，找到hosts文件。用管理员权限记事本打开hosts文件（以文本格式打开hosts就好）将如下内容复制到文件末尾：52.84.246.90 ...
Idea--Webstorm报错java.io.IOException: Couldn't create PTY解决方案 Webstorm的Terminal无法使用，一打开就报错java.io.IOException: Couldn't create PTY，一般这种情况，如果cmd没有问题，那就是webstorm问题，就像一般资料所说，将webstorm使用管理员权限打开即可，如下图所示：然后打开webstorm，一般来说，如此webstorm的Terminal控制台就能使用了。但是如果这样还是然并...
Nexus Repository Manager 3 私服搭建 —— windows版 -------------------------------------------------Started Sonatype Nexus OSS 3.13.0-01-------------------------------------------------
SQL在线练习 工具 一：地址是：http://sqlfiddle.com/二：http://zh.sqlzoo.net/wiki/SELECT_basics/zh三：http://www.w3school.com.cn/sql/速查基础SQL命令，快速理解SQL命令的含义和使用方法。最后做一下SQL测试，看看是否建立了基本的SQL概念。无需注册。四：https://sqlbolt.com/...
调度系统对比 azkaban&airFlow&Oozie&zeus&rundeck azkaban airFlow Oozie zeus rundeck 背景 Azkaban是由Linkedin开源的一个批量工作流任务调度器。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界...
MYSQL round()函数 在mysql中，round函数用于数据的四舍五入，它有两种形式：1、round(x,d) ，x指要处理的数，d是指保留几位小数这里有个值得注意的地方是，d可以是负数，这时是指定小数点左边的d位整数位为0,同时小数位均为0；2、round(x) ,其实就是round(x,0),也就是默认d为0；下面是几个实例1、查询:select round(1123.26723,2);...
git 换行符LF与CRLF转换问题 IDE的默认换行符设置为LF 在各操作系统下，文本文件所使用的换行符是不一样的。UNIX/Linux 使用的是 0x0A（LF），早期的 Mac OS 使用的是0x0D（CR），后来的 OS X 在更换内核后与 UNIX 保持一致了。但 DOS/Windows 一直使用 0x0D0A（CRLF）作为换行符。Git提供了一个“换行符自动转换”功能。这个功能默认处于“自动模式”，当你在签出文件时，它试图将 UNIX 换行符（LF）...
Hadoop中的ProxyUser PROXYUSER介绍和应用场景Hadoop2.0版本开始支持ProxyUser的机制。含义是使用User A的用户认证信息，以User B的名义去访问hadoop集群。对于服务端来说就认为此时是User B在访问集群，相应对访问请求的鉴权（包括HDFS文件系统的权限，YARN提交任务队列的权限）都以用户User B来进行。User A被认为是superuser（这里super user并不等...
请问在mysql中int和bigint差别有多大？在什么情况下需要用到bigint？ 请问在mysql中int和bigint差别有多大？在什么情况下需要用到bigint？bigint带符号的范围是-9223372036854775808到9223372036854775807。无符号的范围是0到18446744073709551615。int普通大小的整数。带符号的范围是-2147483648到2147483647。无符号的范围是0到4294967295。就是值得范围...
mysql中bigint、int、mediumint、smallint与tinyint的取值范围 下面对bigint、int、mediumint、smallint与tinyint的取值范围作简单总结，以备查看。1、bigint从 -2^63 (-9223372036854775808) 到 2^63-1 (9223372036854775807) 的整型数据（所有数字），无符号的范围是0到18446744073709551615。一位为 8 个字节。2、int一个正常大小整数。有符...
parquet简单介绍与总结 ==>什么是parquetParquet是列式存储的一种文件类型==>官网描述：Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice ...
什么是 openAPI ? OpenAPI 是什么?Open API 即开放 API，也称开放平台。 所谓的开放 API（OpenAPI）是服务型网站常见的一种应用，网站的服务商将自己的网站服务封装成一系列API（Application Programming Interface，应用编程接口）开放出去，供第三方开发者使用，这种行为就叫做开放网站的 API，所开放的 API 就被称作 OpenAPI（开放 API ）。...
【CDN学习笔记4】CDN缓存刷新与预热的区别 http://doc.moretv.com.cn/pages/viewpage.action?pageId=31263133刷新：淘汰旧文件，重新获取文件的新版本当文件有跟新时，需要手动执行刷新操作，将CDN中缓存的历史版本设置为超时，并从源站获取最新的版本。刷新操作相对于一个触发更新的动作。如果不刷会有啥问题呢? 用户在访问URL时，命中的是CDN中的旧数据。因为CDN在全国的节点是...
连接MYSQL时，主机名为 localhost 和 127.0.0.1 的区别 连接MYSQL时，主机名为 localhost 和 127.0.0.1 的区别1、localhost也叫local ，正确的解释是:本地服务器，localhot(local)是不经网卡传输！这点很重要，它不受网络防火墙和网卡相关的的限制。2、127.0.0.1在windows等系统的正确解释是:本机地址(本机服务器)，127.0.0.1是通过网卡传输，依赖网卡，并受到网络防火墙和网卡相关的限制...
Hive UDAF和UDTF实现group by后获取top值 先自定义一个UDAF,由于udaf是多输入一条输出的聚合，所以结果拼成字符串输出，代码如下：public class Top4GroupBy extends UDAF { //定义一个对象用于存储数据 public static class State { private Map<Text, IntWritable> counts; ...
Hive-UDF&GenericUDF&Hive-UDTF&Hive-UDAF hive udf简介在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。UDF分为两大类：UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数）。在介绍UDAF和UDTF实现之前，我们先在本章介绍简单点的UDF实现——UDF和GenericUDF，然后以此为基础在下一章介绍UDAF和UDTF的实现。Hive有两个不同的接口编写...
HIVE_UDF函数小例子 UDTF: 一进多出即一个输入，多个输出。UDTF(User-Defined Table-Generating Function)支持一个输入多个输出,一般用于解析工作,比如说解析url,然后获取url中的信息编码:继承GenericUDTF,实现方法:initializa(返回返回值的参数类型)、process具体的处理方法,一般在这个方法中会调用父类的forward方法进行数据...
HIVE_UDF函数小例子 UDTF: 一进多出即一个输入，多个输出。UDTF(User-Defined Table-Generating Function)支持一个输入多个输出,一般用于解析工作,比如说解析url,然后获取url中的信息编码:继承GenericUDTF,实现方法:initializa(返回返回值的参数类型)、process具体的处理方法,一般在这个方法中会调用父类的forward方法进行数据...
Hive collect、explode函数详解（包括concat、Lateral View） 转自https://blog.csdn.net/Abysscarry/article/details/81505953背景： 最近需要对业务系统数据进行ETL，供机器学习训练，我们需要对数据进行关联聚合，多行或多列数据转换为单行单列这种操作很常见；正好hive提供collect函数可以实现这种格式需求，我们在这整理下用法，顺便扩展一下~一、collect_set 和 collect_li...
题目：使用UDF函数统计出flow.dat日志文件当中每个网站的浏览次数 一：编写MapReduce程序清洗数据 我们需要的是统计日志文件中每个网站的浏览次数，为了方便起见，我们只取网站这一列数据。取出网站数据的这一操作就在map中进行，在reduce中无需对数据做处理。源码：MyMapper类package com.WebsiteCount;import java.io.IOException;import org.apache...
Maven命令行使用：mvn clean package（打包） 转自：https://www.cnblogs.com/frankyou/p/6062179.html先把命令行切换到Maven项目的根目录，比如：/d/xxxwork/java/maven-test，然后执行命令： mvn clean package执行结果如下：[INFO] Scanning for projects...[INFO][INFO] -----------...
使用mapreduce 将hdfs中的数据导入到到hbase 中 package hbase;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.mapre...
Hadoop集群和Hbabse与Zookeeper 启动与关闭需要注意的问题 1：hadoop、ZooKeeper和HBase之间应该按照顺序启动和关闭：启动Hadoop—>启动ZooKeeper集群 —>启动HBase—>停止HBase—>停止ZooKeeper集群—>停止Hadoop。2：怎么启动zookeeper:启动zookeeper在每台机器上运行 bin/zkServer.sh start查看运行状态:bin...
crontab命令使用文档 基本格式 :* * * * * command分 时 日 月 周 命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令crontab文件的一些例子：30 21 * * * /usr/local/etc/rc.d/...
solr 初步学习代码笔记 FILTER QUERY（fq）:过滤查询,查询的内容会被缓存。sort：排序fl:字段列表df:默认查询字段(text)只要在text这个查询字段中,都可以查询出来相关的字段。copyfile:若直接写字段而不加字段类型的话，默认从text中取相关的字段。indent ：是否格式化debugQuery:调试查询hl:高亮facet：分组统计类似于sql中的...
zookeeper和kafka的启动和关闭顺序 一定要先启动ZooKeeper 再启动Kafka 顺序不可以改变。先关闭kafka ，再关闭zookeeper。 zookeeper启动：分别在三台机器上执行：zkServer.sh start检查ZooKeeper状态：zkServer.sh status关闭：zkServer.sh stop kafka启动（注意必须在kafka的安装主目录下面执行该命令）...
二叉树按层遍历 基于图的宽度优先搜索的应用 二叉树的序列化和反序列化 ：这其实是图的宽度优先搜索的应用。比如这棵树按层遍历的结果为：1 2 3 4 5 6 7 8 也就是一层一层按从左到右的顺序打印，这种遍历的方式是用我们熟悉的队列来实现的，但是在面试中，往往要求面试者在按层打印的时候连同行号相关的信息也打印出来。案例二：这道题的难点是如何该换行？其实只需要2个变量，last和nlast,就可以解决这个问题。假设每一层都做从左到右的...
hive 报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me 创建hive表时报如下错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectException Call From Spark11/192.168.xx.xxxto Spark1:9000 ...
使用hive 的时候 显示拒绝连接？？？ 使用hive 的时候 显示拒绝连接？？？解决方法：其实就是mysql远程访问权限问题，也可以赋予远程访问权限[sql] view plain copyhadoop@ubuntu:~$ mysql -uroot -pmysql mysql> CREATE USER 'hive' IDENTIFIED BY 'mysql'; mysql> GRANT ALL PRIVILE...
java代码的MapReduce打包成jar 报错： JAVA程序运行时出现：Exception in thread "main" java.lang.ArrayIndexOutOfBoundsEx 以前的学习笔记，整理一下：java代码的MapReduce打包成jar报错：JAVA程序运行时出现：Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 0 at PrintWhat.main(PrintWhat.java:14)？改正：命令行输入时没有输入参数。命令行输入时没有输入参数。----...
MySQL中文乱码问题的完整解决方法 转载于https://www.cnblogs.com/nista/archive/2013/04/16/3023279.html本文描述了在基于JSP +MySQL构建网站时，发生网页中文显示为乱码情况的解决办法。最终希望使用的编码是：统一的UTF-8编码。试验网站的开发运行环境：OS: Ubuntu 12.04 及 Windows 7IDE: eclipse, Juno Service Rele...
数据库如何修改编码格式？ 转载于https://blog.csdn.net/hai_chao/article/details/79209408最近经常在群里碰到问数据库编码格式怎么修改的同学，这类的问题是老生常谈的问题，也是在编程过程中经常让人避之不及的问题。之前也被编码格式问题搞过很多次，为了防止遇到同样问题的人踩坑，故写下这篇文章。 声明：数据库版本：MySQL5.6 开发软件eclipse 语言：Java 首先要说的...
SSH三大框架的整合（实例） 搭建项目：搭建一个实际的项目，为了避免影响到你之前已经搭建过的项目，可以先新建一个工作空间，指定一个新的空间来做这一次的项目，不会和其他的项目冲突，尤其是在编码这一部分。指定新工作空间的目录：一个新的空间：新建一个项目：点击next:点击next:点击next:指定空间编码，空间编码如果修改的话，整个workspace的编码就都被修改了。指定为UTF-8：也可以只指定这个项目的编码(这样其他的项目...
9内部类的访问规则异常 内部类的访问规则1内部类可以直接访问外部类的成员，包括私有之所以可以直接访问外部类中的成员，是因为内部类中持有了一个外部类的引用，格式是外部类.this.对象2外部类要访问内部类，必须建立内部类对象。 class Outer{ int x =3; void method() { System.out.println("Outer"+x);//内部类...
JAVA处理异常try catch 的快捷键 1.首先，选中你需要加的代码块，后右键，出现surroud with，之后选择try catch即可。2.当然你可以按ctrl+shift+z，出来后在选择。3.在myeclipse里Alt+/是代码提示功能，你就写个try然后左手按下alt键不要放开右手按下/键，当myeclpse出现提示后松开双手，按下enter（回车键）即可...
Myeclipse中左边的项目目录调没了，怎么显示出来？？？ 对Perspective, java, resource切换一下，里面都有项目的窗口。方法一：具体操作：Window->Open Perspective如果项目窗口被关了的话，通过：windows->show view->navigator即打开项目窗口方法二：直接重置布局格式 即恢复eclipse默认的布局格式 ，window -> reset perspect...
报错：org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean nam 报错：org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean nam报最上面的错，一直说找不到bean Name,在网上找了很久的解决方法，像是否缺少jar包，service的名字是否写错,配置文件是否写错之类的，结果最后发现竟然是spring.xml的名字写错了，应该把test.spring.xml改成t...
MyEclipse快捷键 MyEclipse快捷键：编辑Ctrl+1 快速修复（最经典的快捷键,就不用多说了，可以解决很多问题，比如import类、try catch包围等）Ctrl+Shift+F 格式化当前代码Ctrl+Shift+M 添加类的import导入Ctrl+Shift+O 组织类的import导入（既有Ctrl+Shift+M的作用，又可以帮你去除没用的导入，很有用）Ctrl+Y 重做（与撤销Ctrl+Z相...
Spring注解详解 概述注释配置相对于 XML 配置具有很多的优势：· 它可以充分利用 Java 的反射机制获取类结构信息，这些信息可以有效减少配置的工作。如使用 JPA 注释配置 ORM 映射时，我们就不需要指定 PO 的属性名、类型等信息，如果关系表字段和 PO 属性名、类型都一致，您甚至无需编写任务属性映射信息——因为这些信息都可以通过 Java 反射机制获取。· 注释和 Java 代码位于一个文件中，而 XM...
Spring注解知识点 Spring注解知识点传统的Spring做法是使用.xml文件来对bean进行注入或者是配置aop、事物，这么做有两个缺点：1、如果所有的内容都配置在.xml文件中，那么.xml文件将会十分庞大；如果按需求分开.xml文件，那么.xml文件又会非常多。总之这将导致配置文件的可读性与可维护性变得很低。2、在开发中在.java文件和.xml文件之间不断切换，是一件麻烦的事，同时这种思维上的不连贯也会降...
报错：The attribute value is undefined for the annotation type WebServlet解决方案 加上：import org.springframework.stereotype.Service即可。
找不到 org.springframework.web.context.ContextLoaderListener的解决方法 找不到 org.springframework.web.context.ContextLoaderListener 环境：MyEclipse 错误：在web.xml配置spring中没有找到 org.springframework.web.context.ContextLoaderListener 原因：导入相关的jar包 解决方法：将spring所需要的jar包导入到项目下面的WebRoot/W...
Git2.16.2Windows版本安装教程 最早Git是在Linux上开发的，很长一段时间内，Git也只是能在Linux和Unix系统上跑。后来，慢慢地有人把它移植到了Windows上。现在，Git可以在Linux、Unix、Mac和Windows这几大平台上正常运行了。下载地址：https://gitforwindows.org/【官网】首先根据自己的电脑下载对应的版本接下来进行安装1.点击git2.16.2.exe安装程序点击next2...
55阅读
0评论
0点赞
