技术点
文章平均质量分 81
OnTheRoad_Kang
比你优秀的还比你努力你有什么资格不去努力
展开
-
单点登录原理以及简单实现
一、单系统登录机制1、http无状态协议 web应用采用browser/server架构,http作为通信协议。http是无状态协议,浏览器的每一次请求,服务器会独立处理,不与之前或之后的请求产生关联,这个过程用下图说明,三次请求/响应对之间没有任何联系但这也同时意味着,任何用户都能通过浏览器访问服务器资源,如果想保护服务器的某些资源,必须限制浏览器请转载 2018-01-17 16:23:33 · 9721 阅读 · 0 评论 -
mysql定时任务案例以及教程
SHOW VARIABLES LIKE ‘event_scheduler’;Value为ON则已打开,OFF则关闭如果是OFF,就先打开:SET GLOBAL event_scheduler = ON;然后创建我们想要的定时器每天凌晨一点执行(清空表数据)DELIMITER $$DROP EVENT IF EXISTS deletefol_bigorders_rfm;CRE...原创 2019-03-26 10:19:05 · 5200 阅读 · 0 评论 -
Spark Sql 分布式SQL引擎&&Pandas PySpark使用
Spark Sql 分布式SQL引擎Spark SQL可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。在这个模式下,用户或应用程序可以直接与Spark SQL交互以运行SQL查询,而无需编写任何代码。运行Thrift JDBC / ODBC服务器对应HiveServer2 于Hive 1.2.1中的。可以使用Spark或Hive附带的beeline脚本测试JDBC服务器启动...原创 2019-02-03 09:57:01 · 11247 阅读 · 1 评论 -
非阻塞线程池
注意:定制自己的线程池ThreadPoolExecutor管理类,除非对线程池特别了解,否则尽量不要使用,线上项目出现问题后难以维护import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.ExecutorService;import java.util.concurrent.RejectedExe...原创 2018-12-17 18:30:51 · 11134 阅读 · 0 评论 -
线程池ThreadPoolExecutor构造方法和规则
为什么用线程池有时候,系统需要处理非常多的执行时间很短的请求,如果每一个请求都开启一个新线程的话,系统就要不断的进行线程的创建和销毁,有时花在创建和销毁线程上的时间会比线程真正执行的时间还长。而且当线程数量太多时,系统不一定能受得了。ThreadPoolExecutor是JUC提供的一类线程池工具,也是Java语言中应用场景最多的并发框架,可以说,几乎所有需要异步或者并发执行的,都可以使用Ja...原创 2018-12-17 18:25:04 · 10647 阅读 · 2 评论 -
并发线程两种简单常用实例
第一种方案:简单、常用//newFixedThreadPool(20)创建可用线程数ExecutorService executorServices = Executors.newFixedThreadPool(20);System.out.println(" START ......");for (int i = 0; i < 10; i ++) { executorSer...原创 2018-12-21 11:06:58 · 9838 阅读 · 0 评论 -
ExecutorService深入解释
接口 java.util.concurrent.ExecutorService 表述了异步执行的机制,并且可以让任务在后台执行在 java.util.concurrent 包中的 ExecutorService 的实现就是线程池的实现ExecutorService 样例实例:ExecutorService executorService = Executors.newFixedThreadP...原创 2018-12-21 11:04:44 · 10141 阅读 · 0 评论 -
浅谈线程池ThreadPoolExecutor
原文链接:https://juejin.im/post/5aabb948f265da237506a7f5案例:抄写员在中世纪,有一种叫做抄写员(Scribe)的工作,他们的职责就好像是复印机,抄写一本又一本书。假如这个时候有一个抄写员工作室,只有2个抄写员,他们要抄写10本书。我们在本例中分别“自己写线程管理”和“由ThreadPoolExecutor做线程管理”public stati...转载 2018-12-21 10:32:52 · 9603 阅读 · 0 评论 -
hive处理小文件(进行map、reduce、压缩、归档优化解决)
背景Hive query将运算好的数据写回hdfs(比如insert into语句),有时候会产生大量的小文件,如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的map task,耗费大量集群资源,而且小文件过多会对namenode造成很大压力。所以Hive在正常job执行完之后,会起一个conditional task,来判断是否需要合并小文件,如果...原创 2018-12-05 16:28:18 · 11884 阅读 · 0 评论 -
Hadoop生态系统
Hadoop作为一个生态系统,每个系统只解决某一个特定的问题域(甚至可能很窄)。本文重点讨论分布式计算领域的几个开源系统可以解决的问题域。(1)MapReduce:古老的分布式计算框架,它的特点是扩展性、容错性好,易于编程,适合 离线数据处理,不擅长流式处理、内存计算、交互式计算等领域。MapReduce网址是: http://hadoop.apache.org/(2)Hive:披着SQL...原创 2018-09-24 17:25:57 · 9611 阅读 · 0 评论 -
Kafka API
小结:创建两个或多个数据文本文件,利用多线程同时发送及接受ProducerMap<String,Object> config = new HashMap<String, Object>(); config.put("bootstrap.servers","Kafka集群所在IP:9092"); config.put("key.seriali...原创 2018-06-24 16:37:59 · 9422 阅读 · 0 评论 -
与 Hadoop 对比,如何看待 Spark 技术?
Hadoop首先看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。 HDFS,在由普通PC组成的集群上提供高可靠的文件存储,通过将块保存多个副本的办法解决服务器或硬盘坏掉的问题。 MapReduce通过简单的Mapper和Reducer的抽象提供一个编程模型,可以在一个由几十台上百台的PC组成的不可靠...原创 2018-05-22 09:46:19 · 9611 阅读 · 0 评论 -
什么是分布式系统!以及分布式系统架构的优缺点!
现在的架构很多,各种各样的,如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等,还有和这些架构相关的管理型的技术方法,如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等等,还有很多。那什么是分布式系统?分布式系统是支持分布式处理的软件系统,是由通信网络互联的多处理机体系结构上执行任务的系统。包括分布式操作系统、分布式程序设计语言及其编译系统、分布式文...原创 2018-01-17 09:26:00 · 72460 阅读 · 1 评论 -
大数据大纲&大数据生态圈所涉及的技术
今天博主是做一个大概的概述,缺少的章节会在后面慢慢补充,感兴趣的同学可以在下面评论留言。数据可视化展示中心:KIbana官网:点击打开链接用户指南:点击打开链接Grafana官网:点击打开链接Grafana帮助文档:点击打开链接大数据特征:1)大量化(Volume):存储量大,增量大 TB->PB2)多样化(Variety):来源多:搜索引擎,社交网络,通话记录,传感器格式多:(非)结...原创 2018-03-09 09:36:20 · 21478 阅读 · 4 评论 -
数据处理之搜索关键词分析
####离线数据处理,hive分析(保留汉子、字母、数字、开头数字去除、过滤垃圾数据)select content,count(1) wordsnumber from (select regexp_replace(split(eventname,'_')[1],' |,|:|/|-|\r|\n|[[^0-9a-zA-Z\\\u4e00-\\\u9fa5]]','') content from...原创 2019-05-27 16:09:47 · 2330 阅读 · 0 评论