漱冰濯雪-CSDN博客

原创 Spark2.x 如何实现自定义排序（利用元组，类--隐式转换Ordering,Ordered等实现）

需求：对于有复杂排序条件的需求，可以利用自定义排序来实现，同时可以使用多种方案实现自定义排序需求。对指定的数据（字段分别为：名称年龄颜值，数据以空格分割），按照指定的要求排序，排序要求为：根据颜值降序，如果颜值相同，再按照年龄升序排序。示例数据："pp 30 85", "dd 18 100", "taoge 35 100", "laozhao 30 120", "huge 2...

2019-01-10 14:52:06 913

转载 Hystrix Feign 父子线程数据传递、Feign Header的添加

https://shanhy.blog.csdn.net/article/details/108668952问题场景微服务A通过feign调用微服务B 使用了Hystrix并开启了线程隔离模式（默认模式），所以A调用B的请求会单独起一个子线程的方式去调用现在需要将微服务A中ThreadLocal里的数据，放入feign请求B时的http header中（这里的http请求会在子线程中）要解决如上问题，需要做两件事情找到可以给feign调用添加header的切入点，在这里获取主..

2020-11-20 19:12:31 805

转载彻底明白VUE修饰符sync

https://www.jianshu.com/p/d42c508ea9de官方推荐使用一种update:my-prop-name 的模式来替代事件触发，目的是为了优雅而不粗鲁的实现父子组件间的双向绑定！先来完成一个小功能：通过父组件按钮将子组件显示出来，如图：父组件代码：<template> <div> <input type="button" value="我是父组件中的按钮" ...

2020-07-25 10:28:37 811

原创 PLSQL字符集问题

select *from GGAQ_HJ_SYZHCX twhere wpmc = '苯乙酸'条件中有中文无法查询1、查询oracle server端的字符集。打开PLSQL的查询窗口中输入下面SQL查询语句。select userenv('language') from dual;得到的服务器字符集为：SIMPLIFIED CHINESE_CHINA.AL3...

2019-08-27 14:34:08 954

原创 rank() over,dense_rank() over,row_number() over的区别

row_number() over() 1 2 3 4 5 6rank() over() 1 2 3 3 5 6dense_rank() over() 1 2 3 3 4 51.rank() over：查出指定条件后的进行排名。特点是，加入是对学生排名，使用这个函数，成绩相同的两名是并列，下一位同学空出所占的名次。select name,subject,score,rank()...

2019-07-17 17:22:56 552

原创 ssh 如何方便的切换到其他节点？？

免密登录在第一台机器上生成一对钥匙，公钥和私钥当前用户的宿主目录下的.ssh目录多了两个文件将公钥拷贝给要免密码登录的机器注意：主机名和ip都可以（确保配置了主机名 ip的映射）还需要输入密码拷贝完成之后，会在要免密登录的机器上生成授权密码文件验证免密码登录注意：免密码登录是单向的ssh免密登录原理：1. node1 使用 ssh-...

2019-06-28 16:08:54 14419

原创 Git常用命令

1.新建、增加文件到本地库、提交初始化一个Git仓库，使用git init命令。添加文件到Git仓库，分两步：使用命令git add <file>，注意，可反复多次使用，添加多个文件；使用命令git commit -m <message>，完成。2.查看状态、差异要随时掌握工作区的状态，使用git status命令。如果git status...

2019-06-28 15:57:13 183

原创使用kafkachannel 启动flume报错

在使用kafkachannel时，启动flume报错 org.apache.flume.conf.ConfigurationException: Broker List must be specified 原因是我使用的flume的版本是1.6.0的，kafka是kafka_2.11-0.10.2.1， kafka使用的是新版，而flume使用的比较老，在定...

2019-02-21 14:27:56 777

转载 Spark配置参数

http://blog.javachen.com/2015/06/07/spark-configuration.html以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的 conf/...

2019-01-14 17:06:31 876

转载 Spark自定义排序

排序规则：先按照年龄排序，年龄小的往前排，年龄如果相同，按照按照作品次数排序方式一import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object CustomSortDemo1 { def main(args: Array[String]): Unit = { ...

2019-01-10 14:35:33 298

转载 spark中算子详解：aggregateByKey

https://blog.csdn.net/jiaotongqu6470/article/details/78457966 通过scala集合以并行化方式创建一个RDDscala> val pairRdd = sc.parallelize(List(("cat",2),("cat",5),("mouse",4),("cat",12),("dog",12),("mouse&

2019-01-04 16:36:36 1284 3

转载 Spark RDD API

https://blog.csdn.net/liam08/article/details/79711565 RDD是啥Resilient Distributed Dataset (RDD)，弹性分布式数据集，是对不可修改，分区的数据集合的抽象。RDD is characterized by five main properties: A list of partition...

2019-01-04 14:37:47 283

原创 scala中的函数组合器map,foreach,flatmap,flatten，filter，zip等用法

1、mapmap方法可以将某个函数应用到集合中的每个元素并产出其结果的集合，比如val names=List("a","b","c")可以用names.map(_.toUpperCase)得到List("A","B","C")2、foreachforeach和map相似，只不过它没有返回值，foreach只要是为了对参数进行作用。比如 names.fore

2018-12-28 14:52:31 859

转载 hive lateral view语句

原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#lateral view用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。一个简单的例子，假设我们有一张表pageAds，它有两列数据，第一列是pageid ...

2018-12-11 15:44:24 603

转载 CentOS下MySQL的彻底卸载

https://blog.csdn.net/typa01_kk/article/details/49057073#################CentOS7下MySQL的卸载####################1：查看MySQL是否安装: 方式1:[root@localhost usr]# yum list installed mysql*Loaded plugins: ...

2018-12-06 15:28:22 236

转载 CentOS7安装MySQL冲突和问题解决小结

https://blog.csdn.net/typa01_kk/article/details/49059729 问题1：[root@localhost install-files]# rpm -ivh MySQL-server-5.6.27-1.el6.x86_64.rpmPreparing... ##################...

2018-12-06 15:24:48 474

原创 IntelliJ IDEA 快捷键说明大全（中英对照、带图示详解）

https://blog.csdn.net/deniro_li/article/details/72902621

2018-11-28 14:23:45 831

原创 centOS7永久关闭防火墙(防火墙的基本使用)

查看防火墙状态： systemctl status firewalld.service绿的running表示防火墙开启执行关闭命令： systemctl stop firewalld.service再次执行查看防火墙命令：systemctl status firewalld.service执行开机禁用防火墙自启命令： systemctl disable firewalld.se...

2018-11-28 09:31:17 87478

原创 ==和equals的区别和联系

1）对于==，比较的是值是否相等如果作用于基本数据类型的变量，则直接比较其存储的 “值”是否相等；如果作用于引用类型的变量，则比较的是所指向的对象的地址2）对于equals方法，注意：equals方法不能作用于基本数据类型的变量，equals继承Object类，比较的是是否是同一个对象如果没有对equals方法进行重写，则比较的是引用类型的变量所指向的对象的地址；诸如S...

2018-10-20 00:05:09 456

转载 String类中的equals方法总结

https://blog.csdn.net/qq_25827845/article/details/53868815?utm_source=blogxgwz14String类的定义：java.lang类 Stringjava.lang.Objectjava.lang.String所有已实现的接口：Serializable, CharSequence, Comparablepubli...

2018-10-19 23:51:45 5222

转载 hashcode详解

https://www.cnblogs.com/whgk/p/6071617.html 一、hashcode是什么？1、hash和hash表是什么？　　　想要知道这个hashcode，首先得知道hash，通过百度百科看一下　　　　　　　　　　　　　　　hash是一个函数，该函数中的实现就是一种算法，就是通过一系列的算法来得到一个hash值，这个时候，我们就需要知道另一个...

2018-10-19 23:37:08 345

转载 Linux查看端口占用情况,并强制释放占用的端口

https://blog.csdn.net/tjcyjd/article/details/536694561.查找被占用的端口netstat -tln netstat -tln | grep 8080 netstat -tln 查看端口使用情况，而netstat -tln | grep 8080则是只查看端口8080的使用情况2.查看端口属于哪个程序？端口被哪个进程占用...

2018-09-29 17:30:45 726

转载 OpenJDK 64-Bit Server VM warning

https://blog.csdn.net/xin93/article/details/80753677【故障描述】　　OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of ...

2018-09-27 16:56:33 27469

原创安装kafka_2.12-2.0.0

参考：https://blog.csdn.net/tangdong3415/article/details/53432166Step 1: 下载Kafka点击下载最新的版本并解压. > tar -xzf kafka_2.12-2.0.0.tgz> cd kafka_2.12-2.0.0.tgz> mv kafka_2.12-2.0.0.tgz kafka...

2018-09-27 16:28:44 6176 3

转载 IDEA中Git的使用

转载：https://www.cnblogs.com/javabg/p/8567790.html工作中多人使用版本控制软件协作开发，常见的应用场景归纳如下：假设小组中有两个人，组长小张，组员小袁场景一：小张创建项目并提交到远程Git仓库场景二：小袁从远程Git仓库上获取项目源码场景三：小袁修改了部分源码，提交到远程仓库场景四：小张从远程仓库获取小袁的提交场景五：小袁接受...

2018-09-21 11:10:56 212

原创 rediscluster报错：Node is not empty

参考：https://blog.csdn.net/wudalang_gd/article/details/52153571 当用客户端JedisCluster简单测试一下集群啦，这样就要将redis.conf里bind 127.0.0.1改成bind +真机ip(我的192.168.11.66),下面简单地将测试中遇到的问题及解决办法记录在本篇。遇到的问题及解决办法在redis.c...

2018-09-19 15:12:37 1878

转载 Redis集群与插槽分配(动态新增或删除结点)

https://blog.csdn.net/IT_hejinrong/article/details/792055281. 集群即使有了主从复制，每个数据库都要保存整个集群中的所有数据，容易形成木桶效应。使用Jedis实现了分片集群，是由客户端控制哪些key数据保存到哪个数据库中，如果在水平扩容时就必须手动进行数据迁移，而且需要将整个集群停止服务，这样做非常不好的。...

2018-09-18 16:30:25 13507 4

转载详解centos6和centos7防火墙的关闭

http://www.cnblogs.com/zhangzhibin/p/6231870.htmlCentOS6.5查看防火墙的状态： 1 [zh@localhost ~]$service iptable status 　　显示结果： 1 2 3 4 5 [zh@localhost ~]...

2018-09-17 10:16:25 215

转载 IntelliJ IDEA 乱码解决方案（项目代码、控制台等）

https://www.cnblogs.com/vhua/p/idea_1.html总共有下面几种乱码的解决方案：工程乱码执行main函数时，控制台乱码运行tomcat时，控制台乱码 PS: 如果下面方案不生效时，打开IDEA安装目录找到 idea.exe.vmoptions（64位为idea64.exe.vmoptions）文件，在文件末尾加上 -Dfile.encodi...

2018-09-11 10:21:47 277

转载 MySQL 8.0.12安装教程(windows 64位)

https://blog.csdn.net/qq_37350706/article/details/81707862 先去官网下载点击MySQL下载下载完成后解压解压完是这个样子配置初始化的my.ini文件解压后的目录并没有my.ini文件，没关系可以自行创建。在安装根目录下添加 my.ini（新建文本文件，将文件类型改为.ini），写...

2018-09-05 12:36:16 1505

转载 spring的4种事务特性、4种隔离级别、7种传播行为

1.事务概念事务是程序中一系列严密的操作，所有操作执行必须成功完成，否则在每个操作所做的更改将会被撤销，这也是事务的原子性（要么成功，要么失败）。2.事务特性（4种）事务特性分为四个：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持续性（Durability）简称ACID。原子性（atomicity）：强调事务的不可分割. 一致...

2018-08-28 11:11:44 450

转载事务的四种隔离级别和七种传播机制

https://blog.csdn.net/qq_36074180/article/details/76682723事务四大特性:　　* 原子性(Atomicity) :强调的事务的不可分割.　　* 一致性(Consistency) :强调的事务的执行前后,数据库的的完整性保持一致.　　* 隔离性(Isolation) :强调的事务的并发的访问,一个事务的执行,不应该受到...

2018-08-28 10:54:27 179

转载数据库事务的四大特性以及事务的隔离级别

https://www.cnblogs.com/fjdingsd/p/5273008.html如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下四个特性：⑴ 原子性（Atomicity）　　原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响...

2018-08-28 10:39:57 144

转载 Java compiler level does not match解决方法

https://www.cnblogs.com/lauer0246/p/5740572.html从别的地方导入一个项目的时候,经常会遇到eclipse/Myeclipse报Description Resource Path Location Type Java compiler level does not match the version of the installed Java pr...

2018-08-23 14:39:20 12324

原创 java.lang.ClassNotFoundException: com.sun.xml.ws.transport.http.servlet.WSServletContextListener

将myeclipse的web项目导入IDEA中报错原因：在myeclipse中是基于JAX-WS的项目，导入IDEA中就缺包解决办法：将下图中的相关jar包导入即可具体对应在myeclipse中的位置可查看jar的位置工程上右键-》properties-》java build path -》 add libraries -》选myeclipse libraries -...

2018-07-31 17:20:57 5308

转载 itellij idea导入web项目并部署到tomcat

http://blog.leapmie.com/archives/36/ 概述主要分为项目配置和tomcat配置两大步骤。一、项目配置　　打开idea，选择导入项　　　　选择将要打开的项目路径后，继续选择项目的原本类型（后续引导设置会根据原本的项目类型更新成idea的项目），此例中选择Eclipse，然后一直next到底即可　　　　　　File...

2018-07-31 15:12:30 43769 3

转载【IntelliJ IDEA】idea导入项目只显示项目中的文件，不显示项目结构

https://www.cnblogs.com/sxdcgaq8080/p/8926789.html导入项目之后，只显示项目文件，不显示项目结构解决方法1.点击file->project structure..->Modules点击右上角+加号 -》import Modules 2.选择你的项目，点击确定 3.在如下页面选择imp...

2018-07-31 14:30:26 38203 3

转载 IntelliJ IDEA 下的svn配置及使用的非常详细的图文总结

https://blog.csdn.net/qq_27093465/article/details/74898489 首先，使用的时候，自己得先在电脑上安装个小乌龟。也就是svn啦。第一步安装小乌龟。如下：具体安装好像没什么具体要求，一路next，就好。如上图箭头所示，在安装 TortoiseSVN 的时候，默认 command line client tools，...

2018-07-20 14:37:57 73223 23

转载 IntelliJ IDEA 下集成SVN

https://blog.csdn.net/u013412790/article/details/71022784 第一步:下载svn的客户端，通俗一点来说就是小乌龟啦！去电脑管理的软件管理里面可以直接下载，方便迅速下载之后直接安装就好了，但是要注意这里的这个文件也要安装上，默认是不安装的，如果不安装，svn中的bin目录下就会没有svn.exe，这个待会会用到，所以一点要注意哦。（都是...

2018-07-20 14:32:37 30424 1

原创 Windows下安装ElasticSearch6.3.1以及ElasticSearch6.3.1的Head插件

es5以上版本安装head需要安装node和grunt(之前的直接用plugin命令即可安装)(一)从地址：https://nodejs.org/en/download/ 下载相应系统的msi，双击安装。把NODE_HOME设置到环境变量里(安装包也可以自动加入PATH环境变量)。测试一下node是否生效：...

2018-07-11 14:06:48 7766 1

python简明教程

ORACLE的基本函数

空空如也