- 博客(19)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 雪花算法(snowflake) ：分布式环境，生成全局唯一的订单号
snowflake方案snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。这种方案大致来说是一种以划分命名空间（UUID也算，由于比较常见，所以单独分析）来生成ID的一种算法，这种方案把64-bit分别划分成多段，分开来标示机器、时间等。其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），1...
2018-08-25 18:53:49
71269
22
原创 Hadoop : hdfs的java客户端api基本使用
Maven依赖 <!-- 测试类 --> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.4</version> &
2018-08-22 18:18:45
6144
原创 Hadoop : hdfs的核心工作原理
namenode元数据管理要点 什么是元数据？hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置<datanode>）元数据由谁负责管理？namenodenamenode把元数据记录在哪里？namenode的实时的完整的元数据存储在内存中；namenode还会在磁盘中（dfs.namenode.name.dir）存储内存元...
2018-08-22 08:20:40
5807
原创 Hadoop : hdfs的客户端操作
hdfs的客户端操作hdfs--分布式文件系统功能：帮用户管理文件机制：用户的文件会被切块后存储在多台Datanode服务器中，并且每个文件块都会在整个集群中存储多个副本。副本的数量可以由用户指定；总而言之，hdfs:对用户提供一个统一的目录树。存储用户的文件时：会切成若干文件块分布式地存储到多台Datanode服务器中Datanode软件存储用户的文件块时...
2018-08-21 15:34:54
7731
原创 Hadoop : 搭建hdfs分布式集群
什么是大数据 基本概念 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！处理海量数据的核心技术：海量数据存储：分布式 海量数据运算：分布式这些核心技术的实现是不需要用户从零开始造轮子的存储和运算，...
2018-08-21 15:32:05
6641
原创 DES加解密算法：含DES密钥生成、参数名ASCII码从小到大排序
需要的Maven依赖 <!-- 工具类 --> <!-- https://mvnrepository.com/artifact/commons-lang/commons-lang --> <dependency> <groupId>commons-lang</group...
2018-08-16 16:44:01
7595
转载 深入理解Java中的IO
引言： 对程序语言的设计者来说，创建一个好的输入/输出(I/O)系统是一项艰难的任务 < Thinking in Java > Java IO概要 为了方便理解与阐述，先引入两张图： a、Java IO中常用的类在整个Java.io包中最重要的就是5个类和一个接口。5个类指的是File、OutputStream、InputStrea...
2018-08-15 16:37:59
5813
原创 java：compareTo和compare方法之比较
compareTocompareTo(Object o)方法是java.lang.Comparable<T>接口中的方法，当需要对某个类的对象进行排序时，该类需要实现Comparable<T>接口的，必须重写public int compareTo(T o)方法。 它强行将实现它的每一个类的对象进行整体排序-----称为该类的自然排序，实现此接口的对象列表和数组可以用...
2018-08-14 17:01:04
21101
原创 java命令 ： java -jar 和 java -cp
java -jar java -jar myClass.jar执行该命令时，会用到目录META-INF\MANIFEST.MF文件， 在该文件中，有一个叫Main－Class的参数，它说明了java -jar命令执行的类 java -jar *.jar param1 param2运行jar包，会自动到 jar 包中查询mainfest中定义的启动类并运行 param...
2018-08-14 15:46:16
121518
5
原创 ThreadPoolExecutor：线程池不允许使用Executors创建
合理利用线程池能够带来三个好处第一：降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。 第二：提高响应速度。当任务到达时，任务可以不需要的等到线程创建就能立即执行。 第三：提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。但是要做到合理的利用线程池，必须对其原理了如指掌线程池的主要工...
2018-08-11 11:18:54
18936
7
原创 ScheduledExecutorService：多线程任务调度
今天使用Timer实现任务调度时，阿里巴巴Java开发规范提示多线程并行处理定时任务时，Timer运行多个TimeTask时，只要其中之一没有捕获抛出的异常，其它任务便会自动终止运行，使用ScheduledExecutorService则没有这个问题。 建议多线程-任务调度，使用如下方式： 首先引入commons.lang3的jar包 <!-- https://mvnrepos...
2018-08-09 19:45:44
10417
原创 fastjson：对象转化成json出现$ref
Fastjson：Maven依赖<!-- FASTJSON --><dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.20</version&
2018-08-08 11:10:17
28940
2
原创 ElasticSearch: java API - 基本增删改查和聚合查询
ElasticSearch版本elasticsearch-5.4.3.jar指定 ip地址创建clientprivate TransportClient client = null; /** *指定 ip地址创建client */ @Before public void init() throws Exception { ...
2018-08-07 19:50:19
9754
原创 Elasticsearch: java客户端之AdminClient
Elasticsearch版本 elasticsearch-5.4.3.jar 指定 ip地址创建client private TransportClient client = null; /** *指定 ip地址创建client */ @Before public void init() throws Exception {...
2018-08-06 19:56:11
8277
原创 Lucene：基本增删改查（Java方式）
Lucene相关Maven依赖 <!-- lucene的核心 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</artifactId&...
2018-08-06 16:16:37
6364
翻译 Elasticsearch插件：elasticsearch-sql安装和使用
使用此插件，您可以使用熟悉的SQL语法查询elasticsearch。您还可以在SQL中使用ES函数。有两种方法可以使用此插件：使用其余的api http://localhost:9200/_sql?sql=select * from indexName limit 102. 或者通过浏览器访问 http://localhost:9200/_plugin/sql 安装...
2018-08-05 19:52:56
23813
2
原创 Elasticsearch：RESTful风格API
RESTful接口URL的格式：http://IP:9200/<index>/<type>/[<id>]其中index、type是必须提供的。 id是可选的，不提供es会自动生成。 index、type将信息进行分层，利于管理。 index可以理解为数据库；type理解为数据表；id相当于数据库表中记录的主键，是唯一的。RESTful接口URL...
2018-08-05 18:57:16
6623
原创 Elasticsearch安装：单机版和集群版
Elasticsearch介绍ES,是基于Lucene开发的一个分布式全文检索框架，往ES中存储和从ES中查询，格式都是JSON;索引：Index,相当于数据中的Database; 类型：Type,相当于数据中的table; 主键：Id,相当于数据库中的主键；往ES中存储数据，其实就是往ES中的Index下的Type中存储JSON数据； Elasticsearch安装：单机版...
2018-08-04 08:17:16
7175
原创 Idea:代码块折叠
Idea为我们提供了方法、注释等的折叠展开后，是“-”号；折叠后，变成了“+”号那么，折叠代码块，该怎么办？如下，想要折叠while循环idea为我们，提供了如下方式鼠标左键选中需要折叠的代码块儿-->右键-->Folding--> Fold Selecton/Remove region（或者Fold Code Block）Folding从...
2018-08-03 14:47:48
24976
5
MySQL：使用mysqldump在Windows数据库定时备份
2020-12-11
nssm-2.24-103.zip
2020-12-11
Linux--Java环境搭建（Jdk8、MySQL5.7、Redis3.2）
2019-04-20
idea ：插件Statistic 统计代码数量和行数
2018-12-21
luke-6.6.0
2018-07-24
grafana-4.6.2.linux-x64.tar.gz
2017-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人