- 博客(25)
- 收藏
- 关注
RSS订阅转载 大数据常用数据库汇总
通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。大数据时代初期，随着数据请求并发量大不断增大，一般都是采用的集群同步数据的方式处理，就是将数据库分成了很多的小库，每个数据库的数
2020-05-12 10:58:24
6604
转载 kafka数据丢失以及重复消费数据分析
kafka数据丢失以及重复消费数据1、Kafka重复消费原因底层根本原因：已经消费了数据，但是offset没提交。原因1：强行kill线程，导致消费后的数据，offset没有提交。原因2：设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset没提交，下次重启会重复消费。原因3（重复消费最常见的原因）...
2020-01-19 17:16:06
504
转载 linux systemctl命令详解
Systemd：系统启动和服务器守护进程管理器，负责在系统启动或运行时，激活系统资源，服务器进 程和其它进程新特性：系统引导时实现服务并行启动按需启动守护进程自动化的服务依赖关系管理同时采用socket式与D-Bus总线式激活服务系统状态快照systemd核心概念unit（单元）类型：unit表示不同类型的systemd对象，通过配置文件进行标识...
2019-12-03 16:26:31
707
转载 linux shell if表达式
文件表达式if [ -f file ] 如果文件存在if [ -d … ] 如果目录存在if [ -s file ] 如果文件存在且非空if [ -r file ] 如果文件存在且可读if [ -w file ] 如果文件存在且可写if [ -x file ] 如果文件存在且可执行整数变量表达式if [ int1 -eq int2 ] 如果int1等于int2if [ int1 ...
2019-12-03 15:34:44
311
原创 递归-回溯-分治算法举例-java实现
求子集 /*** * 已知一组数（不重复），求这组数可以组成的所有子集，结果中无不可重复的子集 * @param list * @return */ private static List<List<Integer>> subSet(List<Integer> desList){ List<Li...
2019-11-25 15:33:44
176
原创 链表相关的算法-java实现
链表逆序-已知链表头节点head，将链表逆序 /*** * 链表逆序 已知链表头节点head，将链表逆序 * @param head * @return */ private static ListNode reverseList(ListNode head){ ListNode new_head = null; whi...
2019-11-25 11:07:22
90
原创 centos7配置本地yum源
1.默认情况下在安装好centos系统之后，yum源的文件位置都是在/etc/yum.repos.d目录下，默认使用的yum源就是Centos-Base.repo2.在默认的yum源文件中有几个选项参数，需要理解它们的意思：[]填写yum源的唯一ID标识，可以为任意字符串，name是yum源名称，可以为任意字符串，baseurl指定yum源的url地址，mirrorlist指定镜像站...
2019-11-20 15:35:26
358
原创 jstack统计java诊断java线程
用jstack命令dump线程信息，看看进程id为3117的进程里面的线程都在做什么jstack 31177 > /home/test/dump172.统计所有线程分别处于什么状态grep java.lang.Thread.State dump17 | awk '{print $2$3$4$5}' | sort | uniq -c39 RUNNABLE21 TIMED_WA...
2019-11-19 10:49:26
337
转载 hbase读写文件
文章目录读文件写文件把图片添加到HBase中需要先转变为二进制数组，读取时再转变回来。读文件Configuration configuration = HBaseConfiguration.create();configuration.set(“hbase.zookeeper.quorum”, “Master,Slave1,Slave2”);HTable table = new HTab...
2019-11-04 10:51:02
392
转载 hadoop表join原理
Chaining MapReduce Jobs任务链Join data from different data source
2019-11-01 15:07:24
175
转载 spring mvc路径映射
文章目录引言Ant Wildcard CharactersHandlerMapping引言在Spring MVC中经常要用到拦截器，在配置需要要拦截的路径时经常用到mvc:mapping/子标签，其有一个path属性，它就是用来指定需要拦截的路径的。例如：<mvc:interceptor><mvc:mapping path="/**" /><bean cla...
2019-10-31 10:36:53
1010
转载 redis RDB与AOF
aof，rdb是两种 redis持久化的机制。用于crash后，redis的恢复RDB的特性fork一个进程，遍历hash table，利用copy on write，把整个db dump保存下来。save, shutdown, slave 命令会触发这个操作。粒度比较大，如果save, shutdown, slave 之前crash了，则中间的操作没办法恢复。AOF的特性把写操...
2019-10-30 16:38:34
86
转载 linux离线安装nfs服务
NFS简介NFS 是 Network FileSystem 的缩写，顾名思义就是网络文件存储系统，它最早是由 Sun 公司发展出来的，也是 FreeBSD 支持的文件系统中的一个，它允许网络中的计算机之间通过 TCP/IP 网络共享资源。通过 NFS，我们本地 NFS 的客户端应用可以透明地读写位于服务端 NFS 服务器上的文件，就像访问本地文件一样方便。简单的理解，NFS 就是可以透过网络，...
2019-10-13 10:40:34
11707
9
原创 kibana的启动，停止
查询kibana进程是否存在fuser -n tcp 5601ps -ef | grep nodenetstat -anltp | grep 5601ps -ef|grep kibanaps -ef|grep 5601注意 ：一般用这个命令ps -ef | grep node 或者 fuser -n tcp 5601，ps -ef | grep kibana和ps -ef | gr...
2019-10-13 08:17:48
11509
原创 neo4j-索引
基本操作创建索引create index on:Student(name)删除索引drop index on:Student(name)创建唯一索引create constraint on (s:Teacher) assert s.name is unique删除唯一索引drop constraint on (s:Teacher) assert s.name ...
2019-10-10 19:30:48
909
原创 常用技术博客及网站
推荐几个质量比较高的博客阿里中间件团队：http://jm.taobao.org/美团技术团队:http://tech.meituan.com/IBM java社区:https://www.ibm.com/developerworks/cn/java/阿里开源项目：https://github.com/alibaba美团开源项目：https://github.com/meituan-di...
2019-10-08 08:35:47
286
原创 cron表达式
引言1.Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron有如下两种语法格式：Seconds Minutes Hours DayofMonth Month DayofWeek YearSeconds Minutes Hours DayofMonth Month DayofWeek2.各个字段的含义字段允许值允许的特殊符号...
2019-09-29 18:14:49
120
原创 分布式锁的实现方式思考
引言在多线程并发的情况下，我们可以使用锁来保证一个代码块在同一时间内只能由一个线程访问。比如Java的synchronized关键字和Reentrantlock类等等。这样子可以保证在同一个JVM进程内的多个线程同步执行。如果在分布式的集群环境中，如何保证不同节点的线程同步执行呢？分布式锁需要解决的问题互斥性：任意时刻只能有一个客户端拥有锁，不能同时多个客户端获取安全性：锁只能被持有该...
2019-09-25 14:31:53
80
转载 java fast json 基本操作
####引入jar包 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.58</version> </dependency>####使用...
2019-09-24 16:03:54
407
原创 java 读取文件的几种方式
转自 https://www.cnblogs.com/ll409546297/p/7197911.html字节流1.InputStream、OutputStream//读取文件(字节流) InputStream in = new FileInputStream("d:\\1.txt"); //写入相应的文件 OutputStream out =...
2019-09-24 15:20:59
200
原创 我关注的博客及网站
推荐几个质量比较高的博客阿里中间件团队：http://jm.taobao.org/美团技术团队:http://tech.meituan.com/IBM java社区:https://www.ibm.com/developerworks/cn/java/阿里开源项目：https://github.com/alibaba美团开源项目：https://github.com/meituan-di...
2019-09-24 14:18:10
303
4
原创 java net.sf.json 基本操作
java net.sf.json 基本操作引入Jar包使用引入Jar包net.sf.json-lib转载 解析json之net.sf.json https://blog.csdn.net/itlwc/article/details/38442667使用1.JSONObjectpublic class JSONObjectUse { public static void main(S...
2019-09-24 14:07:22
1385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人