seaReal1的博客

转载 4种thread pool

Java可以通过Executors创建四中线程池，分别为：1.newCachedThreadPool  创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，   则新建线程；2.newFixedThreadPool    创建一个定长线程池，可控制线程最大并发数，超出的线程会在你队列中等待  线程池的大小一旦达到最大值就会保持不变，如果某个线程因为执行异常而结束，那么...

转载 swagger2

微服务学习二：springboot与swagger2的集成现在测试都提倡自动化测试，那我们作为后台的开发人员，也得进步下啊，以前用postman来测试后台接口，那个麻烦啊，一个字母输错就导致测试失败，现在swagger的出现可谓是拯救了这些开发人员，便捷之处真的不是一点两点。下面我们看下如何在微服务中将springboot与swagger来结合吧。1、swagger是什么，这个我觉得凡是一个开发人...

转载 control 返回静态html 及 restcontroller与controller的区别

我们来对比下restController和controller的区别：@RestController is a stereotype annotation that combines @ResponseBody and @Controller.意思是：@RestController注解相当于@ResponseBody ＋ @Controller合在一起的作用。1)如果只是使用@RestContro...

原创 tidb在今日头条的实践

本文整理自今日头条数据库中间件/分布式数据库负责人吴镝（知乎 ID：吴镝）在TiDB DevCon2018 上的分享内容。TiDB 主要应用在今日头条核心 OLTP 系统 - 对象存储系统中，存储其中一部分元数据，支持头条图片和视频相关业务，比如抖音等。如今（数据截至发文），TiDB 支撑着今日头条 OLTP 系统里数据流量最大、QPS 最高的场景：集群容量约几十 T，日常 QPS 峰值会达到几十...

转载 快速排序

快速排序算法思想：基于分治的思想，是冒泡排序的改进型。首先在数组中选择一个基准点（该基准点的选取可能影响快速排序的效率，后面讲解选取的方法），然后分别从数组的两端扫描数组，设两个指示标志（lo指向起始位置，hi指向末尾)，首先从后半部分开始，如果发现有元素比该基准点的值小，就交换lo和hi位置的值，然后从前半部分开始扫秒，发现有元素大于基准点的值，就交换lo和hi位置的值，如此往复循环，直到lo&...

转载 快速排序

快速排序今天看到大神写的一篇快速排序的博客，肃然起敬，觉得原来快速排序这么简单 下面进行简单的试试快速排序的基本思想是1、先从数列中取出一个数作为基准数2、分区过程，将比这个数大的数全放到它的右边，小于或等于它的数全放到它的左边3、再对左右区间重复第二步，直到各区间只有一个数概括来说为 挖坑填数+分治法下面举例来进行说明，主要有三个参数，i为区间的开始地址，j为区间的结束地址，X为当前的开始的值第...

转载 netty-0拷贝

零拷贝概述零拷贝可以避免无谓的copy动作,为了说清楚这一点,本文会先从传统的读写操作开始介绍。传统读操作当应用发起一个从磁盘读取文件的操作时,请求会先经过内核,由内核与磁盘进行交互。数据会从磁盘拷贝到内核的缓存区中。这个copy动作由DMA完成,整个过程中基本上不消耗CPU。DMA硬件和软件的信息传输,可以使用DMA(direct memory access)来完成如果应用想拿到信息,还得从内核...

转载 转载：kafka

RabbitMQ和kafka从几个角度简单的对比业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面，RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据...

转载 hbase环境搭建的入门教程。

http://hbase.apache.org/book.html#quickstarthttps://www.jianshu.com/p/27c385800da8https://segmentfault.com/a/1190000011277511 好像更好一些

转载 java 过滤器 拦截器 监听器

过滤器（Filter）：当你有一堆东西的时候，你只希望选择符合你要求的某一些东西。定义这些要求的工具，就是过滤器。Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序，主要的用途是过滤字符编码、做一些业务逻辑判断等。其工作原理是，只要你在web.xml文件配置好要拦截的客户端请求，它都会帮你拦截到请求，此时你就可以对请求或响应(Request、Re...

原创 spark广播的好处的实例

原创 yarn的特征

与mapReduce1相比，yarn可以在更大规模的集群上运行，当节点达到4000,任务数达到40000时，mapDeduce1会遇到可扩展瓶颈，瓶颈在于jobtracker必须同时管理作业和任务这样一个事实，yarn利用其资源管理器和application master分类的架构优点客服了这个局限性，可以扩展到面向将近10000个节点和10万个任务。...

转载 hdfs文件创建查看

看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename -files  -blocks -locations -racks -files  文件分块信息，-blocks    在带-files参数后才显示block信息-locations   在带-blocks参数后才显示block块所在datanode的具体IP位置，-rack...

转载 集群维护

例行停止机器1. 例行卸载HDFS Datanode,可以先添加配置dfs.hosts.exclude， 然后主动更新节点。vim $HADOOP_HOME/conf/excludeshadoop dfsadmin -refreshNodes2. 例行卸载HBase的Region Server，可以采用graceful_stop命令./bin/graceful_stop.sh hostname参...

原创 scala 拉链操作

val prices = List(5.0,20.0,9.95)val quantities = List(10,2,1)zip方法让你将他们组合成一个对偶的列表例如 prices zip quanties将得好一个List[(Double,Int)] = List{(5.0,10),(20.0,2),(9.95,1)}这个方法之所以叫做“拉链”，是因为它就像拉链的齿状结构一样将两

原创 mysql 性能优化

（1）定位执行效率较低的sql语句 ，用 --log-show-queries[=file_name]选项启动时，mysqld写一个包含所有执行时间超过log_query_time秒的sql语句的日志文件。（2）%问题。string 匹配少用。

转载 java 工厂模式

简单（静态）工厂：一个栗子： 我喜欢吃面条，抽象一个面条基类，(接口也可以)，这是产品的抽象类。public abstract class INoodles { /** * 描述每种面条啥样的 */ public abstract void desc();}123456先来一份兰州拉面（具体的产品类）：public class LzNoodles extend...

转载 几个面试题

package com.test;public class Test {    public static void main(String[] args)  {        new Circle();    }} class Draw {         public Draw(String type) {        System.out.println(type+" draw const...

转载 转载：动态代理实现

1，基于接口的动态代理必须首先要定义接口：代码如下：1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556package com.tong.qiu.proxy; import java.lang.reflect.InvocationHandler;...

转载 转载：volatile 的解释，很清楚

http://www.importnew.com/24082.html

转载 转载：数据限流问题

https://www.cnblogs.com/haoxinyue/p/6792309.html

转载 转载：HBase

HBase实际上是按照谷歌的bigtable实现的，而谷歌在bigtable论文的开篇就介绍了bigtable的特点：A Bigtable is a sparse, distributed, persistent multidimensional sorted map。所以HBase在本质上，是一张有序的多维map，数据模型可以抽象成：作者：EchoZhan链接：https://www.jians...

转载 转载：HBase核心知识点总结

一、HBase介绍1、基本概念HBase是一种Hadoop数据库，经常被描述为一种稀疏的，分布式的，持久化的，多维有序映射，它基于行键、列键和时间戳建立索引，是一个可以随机访问的存储和检索数据的平台。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型，不用SQL语言，也不强调数据之间的关系。HBase被设计成在一个服务器集群上运行，可以相应地横向扩展。2、HBase使用场景和成功案例互联...

转载 转载：Hadoop、Hbase基本命令及调优方式

https://www.cnblogs.com/10158wsj/p/8428321.htmlHadoop、Hbase基本命令及调优方式HDFS基本命令接触大数据挺长时间了，项目刚刚上完线，趁着空闲时间整理下大数据hadoop、Hbase等常用命令以及各自的优化方式，当做是一个学习笔记吧。HDFS命令基本格式：Hadoop  fs  -cmd < args >ls 命令hadoop f...

转载 spark重点：join操作之昂贵，先reduceByKey

总之，join通常是你在使用Spark时最昂贵的操作，需要在join之前应尽可能的先缩小你的数据。假设，你有一个RDD存着（熊猫id，分数），另外一个RDD存着（熊猫id，邮箱地址）。若你想给每只可爱的熊猫的邮箱发送她所得的最高的分数，你可以将RDD根据id进行join，然后计算最高的分数，如下：def joinScoresWithAddress1( scoreRDD : RDD[(Long, D...

转载 spark的join操作

https://www.cnblogs.com/kangoroo/p/7778962.html

原创 spark 基站时长统计

综合练习:通过基站信息计算家庭地址和工作地址需求：根据手机信号来计算其所在的位置手机一开机，就会和附近的基站建立连接，建立连接和断开连接都会被记录到服务器上的日志，所以即使没手机有开启网络或者GPS,也可以定位手机所在的位置。基站都有一定的辐射范围，并且根据信号强度有不同的信号级别，比如2G、3G和4G信号。我们虽然不知道手机用户所在的具体位置，但是我们知道基站的位置，手机用户一旦进入基站的辐射范...

原创 spark udap 使用2

package com.dt.spark11import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}1import org.apache.spark.sql.types._1import org.apache.spark.sql.{Row, SQLContext}...

原创 spark udaf的使用

/**  * 按照模板实现UDAF  */class  MyUDAF extends UserDefinedAggregateFunction {  /**    * 该方法指定具体输入数据的类型    * @return    */  override def inputSchema: StructType = StructType(Array(StructField("input", Stri...

原创 spark 开窗函数 topN

package com.spark.sparksql.save;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.hive.HiveContext;/...

转载 threadLocal

ThreadLocal与Synchronized的使用场景 (2014-09-14 22:42:32)转载▼标签： 线程 副本 多线程 synchronized threadlocal分类： javaThreadLocal使用场合主要解决多线程中数据因并发产生不一致问题。ThreadLocal为每个线程的中并发访问的数据提供一个副本，通过访问副本来运行业务，这样的结果是耗费了内存，但大大减少了线程...

原创 java知识点-hashCode

1.【强制】关于 hashCode 和 equals 的处理，遵循如下规则： 1） 只要重写 equals，就必须重写 hashCode。 2） 因为 Set存储的是不重复的对象，依据 hashCode和 equals进行判断，所以 Set存储的对象必须重写这两个方法。 3） 如果自定义对象做为 Map的键，那么必须重写 hashCode和 equals。 正例：String重写了 hashCod...

原创 函数式编程特征

闭包和高阶函数函数编程支持函数作为第一类对象，有时称为闭包或者仿函数（functor）对象。实质上，闭包是起函数的作用并可以像对象一样操作的对象。与此类似，FP 语言支持高阶函数。高阶函数可以用另一个函数（间接地，用一个表达式） 作为其输入参数，在某些情况下，它甚至返回一个函数作为其输出参数。这两种结构结合在一起使得可以用优雅的方式进行模块化编程，这是使用 FP 的最大好处。 [4] 惰性计算除了...

原创 虚函数

虚函数（Virtual Function）是通过一张虚函数表来实现的。简称为V-Table。在这个表中，主要是一个类的虚函数的地址表，这张表解决了继承、覆盖的问题，保证其真实反应实际的函数。这样，在有虚函数的类的实例中分配了指向这个表的指针的内存，所以，当用父类的指针来操作一个子类的时候，这张虚函数表就显得尤为重要了，它就像一个地图一样，指明了实际所应该调用的函数。...

原创 threadlocal vialite 解释解释 高并发限流 缓存

threadlocal vialite 解释解释高并发限流 缓存

转载 hashmap 原理

https://blog.csdn.net/yqlakers/article/details/76113730术语定义术语英文解释哈希算法hash algorithm是一种将任意内容的输入转换成相同长度输出的加密方式，其输出被称为哈希值。哈希表hash table根据设定的哈希函数H(key)和处理冲突方法将一组关键字映象到一个有限的地址区间上，并以关键字在地址区间中的象作为记录在表中的存储位置，...

转载 netty 中的 pipeline 的使用原因

pipeline字面意思就是管道(水管)，管道里面的水就是你的数据(NIO里面就是ByteBuf)，我们需要阀(tomcat中对应Valve，netty中对应ChannelHandler)对数据进行一些处理，例如认证，授权，安全检验等。InBound就去Decode,OutBound就去Encode。最终把结果写进SocketChannel。作者：郑大侠链接：https://www.z

转载 jvm调优总结

说明: 以下的总结内容适用于jdk8以下的版本. jdk8已经移除了永久区(PermGen)堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，

转载 hive导入导出数据的几种方式

一，Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表。Hive表：创建testA：[java] view plain copyCREATE TABLE testA (      id INT,      name string,      area string  )

原创 数据库优化

（1）%问题（2）使用中间表提高查询效率（3）