- 博客(42)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
转载 Redis、Kafka、Storm
一、Redis【1】Redis指令查询手册:https://redis.io/commands#hash【2】Redis 是一个完全开源免费的高性能的key-value数据库,常常用作缓存,它有丰富的API接口,其使用类似类似于普通数据库操作,先进行redis客户端的链接,然后进行相应的类似增删改查操作,相关API接口与命令行命令基本是一一对应的。maven依赖:<depe...
2018-07-03 10:29:24
719
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
转载 多线程
StampedLockThreadPoolExecutor详解ThreadPoolExecutor四种策略Java 并发工具包 java.util.concurrent java.util.concurrent 多线程的总结,戳我获取列表吧!(一) 基础篇01. Java多线程系列--“基础篇”01之 基本概念02. Java多线程系列--“基础篇”02之 常用...
2018-04-04 21:51:18
226
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
转载 IO总结
同步IO、异步IO、阻塞IO、非阻塞IO Java NIO详解 Java NIO详解 Java NIO Buffer详解 Java 网络IO编程总结(BIO、NIO、AIO均含完整实例代码)
2018-04-04 16:01:26
155
转载 Storm知识点学习
1 并行度一个运行的topology由3类物理实体构成Worker进程 Executor线程 Task实例当运行一个topology的时候,首先会在storm集群中启多个worker进程,每个worker进程中再起若干的executor线程,每个executor线程中运行一个或多个task的实例,每个executor中的task都属于同一个spout或者bolt。默认每个execut...
2018-11-19 17:43:52
1687
转载 GSON、LinkedTransferQueue、StringUtils
Gson-Typetokenpublic class JsonUtils { private static final Gson gson = new Gson(); public static <T> T fromJson(String jsonStr, Class<T> clazz) { return gson.fromJson(...
2018-11-19 16:18:42
318
转载 流动计算框架-SOA
1 SOA基本概念SOA(Service-Oriented Architecture),中文意思是中文面向服务编程,是一种思想,一种方法论,一种分布式的服务架构。SOA解决多服务凌乱问题,SOA架构解决数据服务的复杂程度,同时SOA又有一个名字,叫做服务治理。优点: 1、降低用户成本,用户不需要关心各服务之间是什么语言的、不需要知道如果调用他们,只要通过统一标准找数据总线就可以。 ...
2018-11-17 14:38:00
2636
转载 中间件
目录 1 Java中间件的定义2 三种中间件2.1 远程过程调用和对象访问中间件2.2 JMS 叫做 Java 消息服务(Java Message Service)2.3 数据访问中间件1 Java中间件的定义 在Java web开发的演进与进化中,我们对于消息系统,数据库,服务化接口的抽象等,涉及数据分离的过程中,在分离过程中,就会涉及到分离后系统间,数据...
2018-11-17 13:23:10
367
转载 分布式服务架构-RPC
目录 1 架构演变2 RPC(Remote Procedure Call Protocol,远程过程调用):分布式服务架构的核心2.1 RPC同步调用2.2 RPC异步调用2.2.1 MOM(Message-oriented middleware)2.2.2 JMS(Java Message Service)2.2.3 常用的消息队列1 架构演变单一应...
2018-11-17 13:03:25
1134
转载 java专业术语
SDKSDK是一系列程序接口,文档,开发工具的集合,是的,集合,sdk即单单不是一个开发工具,也不是一个程序。一个完整的SDK应该包括以下内容:(1)接口文件和库文件(2)帮助文档(3)开发示例(4)实用工具。 接口文件和库文件就是API,将底层的代码进行封装保护,提供给用户一个调用底层代码的接口; 帮助文档解释接口文件和库文件功能,以及介绍相关的开发工具,操作...
2018-11-17 10:33:25
735
转载 Hadoop基础
转载地址:https://www.cnblogs.com/gala1021/p/8552850.htmlQ1.什么是 Hadoop? Hadoop 是一个开源软件框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之,Hadoop 包括以下内容: HDFS(Hadoop Distributed File System,Hadoop 分布...
2018-09-09 22:09:04
210
转载 设计模式总结
一、创建型【1】简单工厂模式(静态工厂方法)简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。模式的核心是工厂类,这个类含有必要的逻辑判断,可以决定在什么时候创建哪一个产品类的实例,而调用者则可以免除直接创建对象的责任。工厂类集中了所有的创建逻辑,当有复杂的多层次等级结构时,所有的业务逻辑都在这个工厂类中实现。什么时候它不能工作了,整个系统都会受到影响。【2】工厂模式有...
2018-09-03 22:47:01
207
转载 数据结构面试准备
转载:https://blog.csdn.net/u010983881/article/details/78896293【1】有一个单向链表,链表当中有可能出现“环”,就像题图这样。如何用程序判断出这个链表是有环链表?不允许修改链表结构。 时间复杂度O(n),空间复杂度O(1)。方法一、穷举遍历方法一:首先从头节点开始,依次遍历单链表的每一个节点。每遍历到一个新节点,就从头节点...
2018-09-03 11:42:55
174
原创 算法笔试总结
【1】信息增益和信息增益率的区别 用信息增益作为评判划分属性的方法其实是有一定的缺陷的,信息增益准则对那些属性的取值比较多的属性有所偏好,也就是说,采用信息增益作为判定方法,会倾向于去选择属性取值比较多的属性。那么,选择取值多的属性为什么就不好了呢?举个比较极端的例子,如果将身份证号作为一个属性,增益率准则对属性取值较少的时候会有偏好,为了解决这个问题,C4.5并不是直接选择增益率...
2018-09-01 15:31:15
4084
原创 手撕代码
参考:https://blog.csdn.net/ryjflyshy/article/details/78250348【1】二叉树前序遍历的非递归实现树结构//树的节点类class Node { public int val; //节点值 public Node left; //左子树 public Node right; //右子树 public Node() {} p...
2018-08-31 21:14:26
1162
转载 树结构总结
转载:https://blog.csdn.net/benpaobagzb/article/details/50805711红黑树和B树应用场景有何不同?2者都是有序数据结构,可用作数据容器。红黑树多用在内部排序,即全放在内存中的,Java的TreeMap和TreeSet的内部实现就是红黑树。B树多用在内存里放不下,大部分数据存储在外存上时。因为B树层数少,因此可以确保每次操作,读取磁盘...
2018-08-31 16:18:36
207
转载 算法工程师面试准备
【1】机器学习解决问题的通用流程 首先需要收集问题资料,深入理解问题,明确业务,将问题抽象成机器学习可解决的问题,也就是输入是什么,也就是通常所说的特征,输出是什么,也就是预测值,通过分析首先确定这是一个需要预测(分类、回归)还是需要聚类的问题。然后大致分为三个步骤:一是针对特征的,特征是连续还是离散(涉及需不需要离散化),是稀疏还是密集,高维度还是低维度(需不需要降维),是都含有...
2018-08-31 15:57:28
20249
转载 Spark选择题
转载:http://www.aboutyun.com/thread-24246-1-1.html1. Spark 的四大组件下面哪个不是 (D )A.Spark Streaming B. Mlib C Graphx D.Spark R2.下面哪个端口不是 spark 自带服务的端口 (C )A.8080 B.4040 C.8090 D.18080备注:8080:spark...
2018-08-30 21:28:10
6723
转载 Spark和Hadoop基础知识
spark和hadoop初步掌握,参考:http://www.aboutyun.com/thread-24246-1-1.html<1> spark有哪些组件? 答:主要有如下组件:1)master:管理集群和节点,不参与计算。 2)worker:计算节点,进程本身不参与计算,和master汇报。 3)Driver:运行程序的main方法,创建spark context对象...
2018-08-30 21:27:42
3793
原创 IDEA快捷键
IDEA快捷键:ctrl+H <-> 得到类的继承关系ctrl+alt+B <-> 查看子类方法的实现ctrl+N <-> 定位类文件ctrl+shift+N <-> 按文件名搜索文件ctrl+F <-> 本页查找ctrl+shift+F <-> 全文查找coment with line <->
2018-08-20 12:56:10
151
转载 Scala教程
搭建Scala开发环境:01、Intellij IDEA 14.1.4 Scala开发环境搭建 Scala入门到精通:01、Scala入门到精通——第一节 Scala语言初步02、Scala入门到精通——第二节Scala基本类型及操作、程序控制结构03、Scala入门到精通——第三节 Array、List04、Scala入门到精通——第四节 Set、Map、Tuple、...
2018-05-31 20:35:50
2126
1
原创 利用Avro实现Kakfa序列化和反序列化
1 在pom.xml中添加依赖, 1.1 在dependencies中配置:<dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.8.2</...
2018-05-31 18:35:33
5344
2
转载 kafka.admin.*常用类简介
一、AdminOperationException.scala一个异常类,表示执行admin命令时候抛出的异常二、AdminUtils.scalaadmin一些常用工具方法:1. assignReplicasToBrokers:负责分配副本到不同的broker上。主要有两个目标:① 尽可能均匀地在不同的broker上分配副本;② 对于被分配到同一个broker上的分区而言,它们的其...
2018-05-30 16:04:58
575
原创 maven相关
<1>Maven修改JDK版本解决方法一:在项目中的pom.xml指定jdk版本<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> ...
2018-05-30 08:55:53
645
原创 使用Java API进行kafka topic开发
package org.sunny.two;import kafka.admin.AdminClient;import kafka.admin.AdminUtils;import kafka.admin.TopicCommand;import kafka.server.ConfigType;import kafka.utils.ZkUtils;import org.apache....
2018-05-29 19:21:49
12478
原创 Zookeeper和Kafka
Zookeeper1.zookeeper启动:zkServer.sh start 2.zookeeper关闭:zookeeper.sh stop 3.启动zookeeper客户端:zkCli.sh -server localhost:2181,server-1:2181(使用到的时候,用[zkCli]标示) Kafka1.kafka启动:Kafka-server-s...
2018-05-29 18:09:39
432
转载 zkCli命令
连接:./zkCli.sh -timeout 0 -r -server ip:port-timeout:当前会话的超时时间,zookeper依靠与客户端的心跳来判断会话是否有效,单位是毫秒-r: 只读模式,zookeeper的只读模式指一个服务器与集群中过半机器失去连接以后,这个服务器就不在不处理客户端的请求,但我们仍然希望该服务器可以提供读服务。-server: zookeeper服...
2018-05-29 10:06:43
6431
原创 带权活动安排(动态规划)
package org .sunny.dynamicProgram;import java.util.Arrays;import java.util.Scanner;/** * 有若干个活动,第i个活动的开始时间和终止时间分别为si和fi,活动之间不能交叠, * 举办一个活动可以得到的收益为wi,求最多能得到的最大收益。 * 输入样例:第一行:活动的数目;之后每一行输入...
2018-04-24 21:51:00
3342
3
原创 不重复子序列的个数
package org.sunny.dynamicProgram;import java.util.Arrays;import java.util.Scanner;public class SubNumbers { public static void main(String[] args){ Scanner scanner = new Scanner(Syst...
2018-04-24 20:57:42
1100
转载 Linux指令
常用的Linux监控指令Linux大全 统计一个文件中某个字符串的个数,其实就像在一块沙地里面找一块石头,有的人看到石头以后,在上面做个标记(grep),然后记住自己做了多少个标记;有的人看到石头以后,把它跳过去(awk),然后统计自己跳了多少次。方法1: grep 复制代码代码如下:grep -o ‘keyword’ my_file.txt | wc -l方法...
2018-04-24 17:49:52
104
转载 网络基础小结
part1: 标准的http协议是无状态的,无连接的标准的http协议指的是不包括cookies, session,application的http协议,他们都不属于标准协议,虽然各种网络应用提供商,实现语言、web容器等,都默认支持它 无连接指的是什么 每一个访问都是无连接,服务器挨个处理访问队列里的访问,处理完一个就关闭连接,这事儿就完了,然后处理下一个新的 无连接的含义是限制每次连...
2018-04-24 10:37:00
264
转载 算法(普通算法+大数据)
【1】100亿个整数,内存足够,如何找到中位数?内存不足,如何找到中位数?(双桶排序) 内存不够:题目说是整数,我们认为是带符号的int,所以4字节,占32位。 假设100亿个数字保存在一个大文件中,依次读一部分文件到内存(不超过内存的限制),将每个数字用二进制表示,比较二进制的最高位(第32位,符号位,0是正,1是负),如果数字的最高位为0,则将这个数字写入 fi...
2018-04-24 09:51:07
7475
转载 后台开发
原文地址:https://blog.csdn.net/sinat_35512245/article/details/78569318Java基础问题String的’+’的性能及原理java之yield(),sleep(),wait()区别详解-备忘笔记深入理解Java Stream流水线抽象 & abstract关键字Java final 修饰符知识点总结(必看篇)...
2018-04-19 08:04:38
310
转载 HBase
Hbase语法:https://www.cnblogs.com/nexiyi/p/hbase_shell.htmlhttps://blog.csdn.net/haoxiaoyan/article/details/52607795Hbase基础知识:https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hb...
2018-04-17 17:21:27
145
转载 HDFS
转载:http://www.aboutyun.com/thread-7088-1-1.htmlhttp://www.cnblogs.com/sky-sql/p/6881757.html1.job的本质是什么?在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”2.任务的本质是什么?从一个作业划分出 得、运行于各个计算节点的工作单元称为“任务(task)”3.文件系统...
2018-04-17 16:05:26
201
转载 java后台开发基础
给自己定一个小目标(把里面的问题吃透)Part1 复习一下这几个方法: Integer.toBinaryString(); //位图法,从海量数据中查找 记住Map的两个函数: Object computeIfPresent(Object key,(key,value)->newValue); //key存在,oldValue!=nul...
2018-04-12 20:33:31
2045
转载 Mysql多列索引和MyISAM、InnoDB存储引擎以及乐观锁和悲观锁
part1:两种存储引擎在索引以及锁机制上的实现方式的区别多列索引1多列索引2 MySql中的多列索引。1)联合索引又叫复合索引。对于复合索引:Mysql从左到右的使用索引中的字段,一个查询可以只使用索引中的一部份,但只能是最左侧部分。例如索引是key index (a,b,c). 可以支持a | a,b| a,b,c 3种组合进行查找,但不支持 b,c进行查找 .当最左侧...
2018-04-12 16:08:07
482
原创 数据库范式
之所以使用范式,往往是设计不规范的数据库表可能造成大量的数据冗余,也可能在发生插入、删除、修改操作后出现各种各样的不合理的问题。1)1NF(第一范式):属性不可分, 数据库表的每一列都是不可分割的基本数据项。 如“电话号码”这个属性可以继续被分割为“办公电话”、“手机号码”等属性,在第一范式的语义下不应该被作为单独的一列出现。设有关系 R(S,D,M), 其函数依赖集 F={S,D,D-&...
2018-04-04 21:09:10
470
原创 Files-Paths
Paths类:创建路径Path(1)创建本地路径:static Path get(String first, String... more) (2)创建网络URL路径: static Path get(URI uri) Path类:(1)为某一个Path注册事件管理器WatchService,然后获得事件集合WatchKey,之后就可以获取具体事件的信息了。...
2018-04-04 13:06:25
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人