- 博客(49)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 空间数据索引 RTree 完全解析及 Java 实现
最近在看空间数据索引的一些算法，感觉这哥们写的非常棒，特地转载过来。第一部分 空间数据的背景介绍空间数据的建模基于实体的模型（基于对象）Entity-based models (or object based)0-dimensional objects: 一般使用点 point 来表示那些对于不需要使用到形状信息的实体。 1-dimensional objects or ...
2020-04-29 18:53:17
921
转载 常用编码GBK,Unicode,UTF-8,单个中英文字符占用的字节数
GBK是在ANSI的基础上对中文(含繁体)的扩展,简体中文的windows环境中,VS默认GB2312编码.编码 单个英文(含标点符号)占用 字节数 单个中文(含标点符号)占用字节数GBK 1 2UNICODE 2 2UTF-8 1 3...
2020-04-28 15:04:34
1903
转载 编码GBK和GB2312、Unicode、UTF-8
一、编码GBK和GB2312随着计算机发展，各国已经不满足于单纯用ASCII码；对于我们来说能在计算机中显示中文字符是至关重要的，所以我们还需要一张关于中文和数字对应的关系表；一个字节8位二进制，只能最多表示256个字符，要处理中文显然一个字节是不够的；所以我们需要采用两个字节来表示，而且还不能和ASCII编码冲突；所以1980年中国制定了GB2312编码，国家简体中文字...
2020-04-28 15:03:55
526
转载 gbk,utf-8占用字节数
GBK： 中文、英文、数字均使用双字节来表示UTF-8： 汉字占3个字节、数字占1个字节、英文字母占1个字节例： <?php //测试时文件的编码方式要是UTF8 $str='中文a字1符'; echo strlen($str).'<br>';//14 echo mb_strlen($str...
2020-04-28 14:48:45
4245
转载 Java中实现十进制数转换为二进制的三种思路
Java中实现十进制数转换为二进制第一种：除基倒取余法这是最符合我们平时的数学逻辑思维的，即输入一个十进制数n，每次用n除以2，把余数记下来，再用商去除以2...依次循环，直到商为0结束，把余数倒着依次排列，就构成了转换后的二进制数。那么，在实际实现中，可以用int的一个数来存储最后的二进制，每次求余后把余数存储在int型数的低位，依次递增。 1 public v...
2020-04-28 14:39:46
620
原创 Hbase错误解析： Call queue is full on /0.0.0.0:60020, too many items queued ?
完整错误日志如下:2020-02-15 09:21:19,659 INFO org.apache.hadoop.hbase.client.AsyncProcess - , tableName=bd_push_device2020-02-15 09:21:39,795 INFO org.apache.hadoop.hbase.client.AsyncPr...
2020-04-28 11:17:18
6023
转载 java状态机学习总结
首先，我们需要了解，什么是状态机？有限状态机（英语：finite-state machine，缩写：FSM）又称有限状态自动机，简称状态机，是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型在我的理解里，状态机可以描述核心业务规则，核心业务内容，总结一下就是a实体，在b状态下，由c角色，在满足d条件时，执行e操作成功后，迁移到f状态下，并产生g事件，通常用于业务复杂的订单等业务...
2020-04-28 08:59:53
3744
转载 linux查看文件20到30行的三种方法
方法1: （head 和 tail通过管道组合）[root@VM_179_129_centos tmp]# head -30 ett.txt | tail -112021222324252627282930123456789101112命令解释：head -n 30 xxx.txt == head -30 xxx.txt 取文件前30行内容...
2020-04-27 14:37:51
3159
转载 yarn虚拟cpu和虚拟内存
目录虚拟cpu 虚拟内存正文回到顶部虚拟cpu虚拟的cpu代码并发数，如果一个container拥有2个vcpu，那么该container就可以真正的在同一时间运行两个线程，而不是靠切时间片而达到的逻辑并发。所以一般虚拟的cpu需要和物理cpu的个数保持一致yarn的计算单元称为YCUs，其实就是把1个cpu分为n份，通常情况控制在1:1000左右，也就是说一个一...
2020-04-27 09:43:10
955
转载 Cassandra nodetool详解
Cassandra自带一个nodetool工具，安装目录/bin/nodetoolnodetool help：帮助信息[cassandra@node3 bin]$ ./nodetool helpusage: nodetool [(-p <port> | --port <port>)] [(-h <host> | --host <ho...
2020-04-26 11:45:32
1474
转载 Cassandra nodetool常用操作
nodetool 是cassandra中非常常用的命令，其中包含很多条子命令，本来想一条一条的翻译出来，但是工作量显然很大，所以就只写出简要的而且常用的。其实，nodetool大部分都是 nodetool -h host -u username -pw password [option] 的格式。nodetool -h 192.168.30.231 -u ershixiong -p...
2020-04-26 10:59:03
1197
转载 cassandra从原理到实践
文章目录一、分布式理论CAP定理BASE理论数据模型二、cassandra体系结构1、体系结构2、存储引擎2、cassandra数据的读写操作原理数据是如何写的？读取请求流程？如果压缩配置虚拟节点三、cassandra配置信息1、jvm优化2、cassandra.yaml四、cql常用操作1、CREATE KEYSPACE2、CREATE ROLE3、gra...
2020-04-26 10:40:34
1237
转载 Java实现图的dfs应用之欧拉道路问题 七桥问题 欧拉道路，欧拉回路的存在条件
输出无向图的欧拉道路七桥问题：https://baike.baidu.com/item/%E4%B8%83%E6%A1%A5%E9%97%AE%E9%A2%98/2580504?fr=aladdin欧拉将七桥问题抽象成了图论的问题：能否从无向图中的一个结点出发走出一条道路每条边恰好经过一次，且多有的边都走完？欧拉道路：从无向图中的一个结点出发走出一条道路每条边恰好经过一次。简而言之就...
2020-04-25 12:52:08
378
转载 数据结构与算法(广度优先算法，如何找到qq好友的3度好友关系来达到推荐的目的)
回顾;上一节课中，我们学习了图这种比较复杂的非线性结构的基础，以及表示方法，以及他在社交网络中的应用，其中这种数据结构存储数据的方式有领连接矩阵存储和领连接链表存储，分别采用空间换时间和时间换空间的思想，其中采用领连接矩阵存储具有更广的应用，只是他的底层以矩阵进行描述,可以进行多种矩阵的计算，达到我们的业务目的.1>提出问题,什么是搜索算法要想搞清楚这个问题，我还...
2020-04-25 10:39:52
542
转载 java中char到底占几个字节的问题
前些天被问到一个问题：java中一个char可以表示一个汉字吗？我一想char不是占一个字节吗？汉字在utf-8中占三个字节（还有四字节的），char不能够表示！对方一笑，让我后面查查所以网上搜了一些资料查查,并做一个例子：public class BytesOfChar { public static byte[] getBytesUTF8 (char c ) { ...
2020-04-23 11:50:05
385
转载 java中char到底占几个字节的问题
前些天被问到一个问题：java中一个char可以表示一个汉字吗？我一想char不是占一个字节吗？汉字在utf-8中占三个字节（还有四字节的），char不能够表示！对方一笑，让我后面查查所以网上搜了一些资料查查,并做一个例子：public class BytesOfChar { public static byte[] getBytesUTF8 (char c ) { ...
2020-04-23 11:15:37
1280
转载 7.2、Cassandra快照备份
7.2.1、关于快照Cassandra通过对存储在数据目录中的所有磁盘数据文件（SSTable文件）进行快照来备份数据。 您可以在系统处于联机状态时拍摄所有keyspace，单个keyapace或单个table的快照。使用并行ssh工具（如pssh），可以快照整个群集。 这提供了最终一致的备份。 尽管在创建快照时没有一个节点与其副本节点保持一致，但恢复的快照使用Cassandra的内...
2020-04-22 14:53:58
777
转载 float和double的精度和字节数各是多少
首先直接写答案：字节：float：4个字节double：8个字节精度：float精度是：7~8位有效数字double精度是：16~17位有效数字参考文章：Java 浮点数 float和double类型的表示范围和精度Java中float/double取值范围与精度...
2020-04-22 11:55:54
8069
转载 Java 浮点数 float和double类型的表示范围和精度
展开隐约记得，浮点数判断大小好像有陷阱，因为底层的二进制数不能精确表示所有的小数。有时候会产生让人觉得莫名其妙的事情。如在java中， 0.99999999f==1f //true0.9f==1f //false要明白这些，首先要搞清楚float和double在内存结构1、内存结构float和double的范围是由指数的位数来决定的。...
2020-04-22 11:39:16
565
转载 Java中float/double取值范围与精度
Java浮点数浮点数结构 要说清楚Java浮点数的取值范围与其精度，必须先了解浮点数的表示方法，浮点数的结构组成，之所以会有这种所谓的结构，是因为机器只认识01，你想表示小数，你要机器认识小数点这个东西，必须采用某种方法，比如，简单点的，float四个字节，前两个字节表示整数位，后两个字节表示小数位（这就是一种规则标准），这样就组成一个浮点数。而Java中浮点数采用的是IEEE 754标准...
2020-04-22 11:23:39
1078
转载 scp和rsync基本用法与断点续传
scp和rsync基本用法与断点续传scp命令，因为网络问题出现stalled。因为上传的是一个100G的文件，所以如果需要重新传非常消耗时间。好在过了一会儿scp自动断点续传了，但还是很后怕，因为我不确定scp是否能每次都成功断点续传。所以这时候rsync就非常必要了。scp和rsync对比：scp节约资源，系统负荷小，但断点续传是个问题；rsync速度更快，断点...
2020-04-21 14:50:50
1254
转载 Linux下rsync的用法
一、rsync的概述rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。rsync是Linux系统下的文件同步和数据传输工具，它采用“rsync”算法，可以将一个客户机和远程文件服务器之间的文件同步，也可以在本地系统中将数据从一个分区备份到另一个分区上。如果rsync在备份过程中出现了数据传输中断，恢复后可以继续传输不一致的部分。rsy...
2020-04-21 14:40:58
179
转载 Linux 下安装 resync 介绍
Linux 下安装 resync 介绍这是官网，找到对应版本的下载地址。这里提供Linux_X64的安装包wget ''https://download-cdn.resilio.com/stable/linux-x64/resilio-sync_x64.tar.gz'' && tar -zxvf resilio-sync_x64.tar....
2020-04-21 14:25:00
1828
转载 服务器之间传输数据限制带宽
scp传输限制带宽：-l 1000传输速度：128KB/s-l 2000传输速度：256KB/sscp -rp -P12580 -l 2000 211.144.69.249.DB全备.sql.gzroot@61.160.250.174:/opt/--bwlimit=128限制带宽128KB/srsync -avzph -e "ssh -p12580"--bw...
2020-04-21 10:10:33
1837
转载 cassandra百亿级数据库迁移实践
迁移背景cassandra集群隔段时间出现rt飙高的问题，带来的影响就是请求cassandra短时间内出现大量超时，这个问题发生已经达到了平均两周一次的频率，已经影响到正常业务了。而出现这些问题的原因主要有以下3点：当初设计表的时候partition key设计的不是很合理，当数据量上去（最大的单表行数达到百亿级）之后，出现了一些数据量比较大的partition。单partition最多的...
2020-04-20 15:27:01
329
转载 cassandra导出和导入数据
cassandra像其他RDBMS一样提供了export/import工具：cqlsh命令COPY TO/FROM 注意这不是cql命令。使用这组命令可以在cassandra与其他RDBMS或cassandra之间迁移数据。COPY TO/FROM支持CSV文件格式以及标准输出和输入。 COPY TO/FROM命令同样支持集合数据类型。 sstable2json/json2ss...
2020-04-20 15:06:27
2454
转载 cassandra迁移表数据
cassandra的迁移表数据有2种方式，以keyspace名为mydb，table名为user为例子：方法一：copy命令。 这种方式适合数据量较小的情况。 1.进入cqlsh，输入命令：COPY mydb.user TO '/usr/usr.scv'; 2.找到刚刚生成的usr.scv文件，复制到需要迁移的服务器上 3.在迁移的数据中表u...
2020-04-20 14:54:59
959
转载 ssh远程执行命令
1.远程执行普通命令ssh username@ip "cmd1;cmd2" 多条命令间用分号分割2.远程执行需要交互的命令例如top命令，直接执行ssh username@ip "top"会报TERM environment variable not set.的错误解决方式是使用参数 -t，使用参数 -t可以显式的告诉 ssh，我们需要一个 TTY 远程 shell 进行交...
2020-04-20 14:36:42
5491
1
转载 hive 自定义udf函数注册（永久注册）
1.临时注册 1.导入jar包 2.部署到hive的lib下。 3.添加jar到hive的classpath $hive>add jar app-logs-hive-1.0-SNAPSHOT.jar ; 4.注册临时函数 $hive>create temporary function helloworld AS 'com...
2020-04-17 10:55:22
1124
转载 hive实现两列数据合并成一列
hive中源表数据:name(string) gender(String)lcl nanhaa nanddd nv实现如下结果:lclnanhaanandddnvhql中使用union all 即可实现:select name from tab1 union all select gender as name from tab1;...
2020-04-16 17:47:08
5903
转载 Cassandra删除数据的坑
Cassandra通过写一条“tombstone”来标记一个数据被删除了。被标记的数据默认要10天(配置文件中的gc_grace_seconds)后且被compaction或cleanup执行到对应的SSTable时才会被真正从磁盘删除，因为如果当时这个delete操作只在3个节点中的2个执行成功，那么一旦2个有tombstone的节点把数据删了，集群上只剩下没tombstone的那个节点，...
2020-04-15 14:56:25
1557
转载 学习笔记 | Heap and HashHeap
Heap堆（英语：Heap）是计算机科学中一类特殊的数据结构的统称。堆通常是一个可以被看做一棵树的数组对象。在队列中，调度程序反复提取队列中第一个作业并运行，因为实际情况中某些时间较短的任务将等待很长时间才能结束，或者某些不短小，但具有重要性的作业，同样应当具有优先权。堆即为解决此类问题设计的一种数据结构。逻辑定义n个元素序列{k1,k2...ki...kn},当且仅当满足下列关...
2020-04-14 22:35:45
237
转载 postgresql-11主从复制（流复制）部署
主从介绍 PostgreSQL流复制默认是异步的。如果主服务器崩溃，则某些已被提交的事务可能还没有被复制到后备服务器，这会导致数据丢失。数据的丢失量与故障转移时的复制延迟成比例。 同步复制能够保证一个事务的所有修改都能被传送到一台或者多台同步后备服务器。这扩大了由一次事务提交所提供的标准持久化级别。在计算机科学理论中这种保护级别被称为 2-safe 复制。而当synchronou...
2020-04-14 19:02:40
1990
转载 PostgreSQL：“ FATAL: requested WAL segment00800002A0 has already been removed”
在使用配置了热备的PostgreSQL数据库时，在执行大量事务时，尤其是一个需要插入几千万条数据的insert事务时（典型的做法是持续 insert into t select * from t;），后台log中报错如下：csv格式日志：2013-07-01 13:25:29.430 CST,,,27738,,51d112c8.6c5a,1,,2013-07-01 13:25:28 CS...
2020-04-14 18:29:27
837
转载 FATAL: could not receive data from WAL stream
使用PostgreSQL，在流复制环境下，备用数据库会出现报错，信息类似如下所示：FATAL: could not receive data from WAL stream这表示备用服务器上的流复制的接收进程已经终止，因为它无法从到主服务器的连接中再传输任何更改。问题原因通常，当主节点服务器和备用节点服务器之间出现网络中断时，会出现此类报错。在出现此类事件之后，由于备用服务器上的...
2020-04-14 18:08:31
2871
转载 GPL 和BSD和Apache之间的区别和联系
GPL 和BSD和Apache开源许可证GPL、BSD、MIT、Mozilla、Apache和LGPL的区别<ignore_js_op>以下是上述协议的简单介绍：BSD开源协议BSD开源协议是一个给于使用者很大自由的协议。基本上使用者可以”为所欲为”,可以自由的使用，修改源代码，也可以将修改后的代码作为开源或者专有软件再发布。但”为所欲为”的前提当你发布使用了BSD协议...
2020-04-13 18:40:29
329
转载 简单描述开源许可证GPL、BSD、MIT、MPL、Apache的区别
GPL：开源、免费使用、可以修改，如果你使用了我的软件，那你的软件也需要开源、免费；BSD：可以自由的使用，但源代码中必须带有原来代码中的BSD协议，市场推广不可以和原产品相关的内容出现，如代码的作者、机构名字、原产品名字等；MIT：可以自由的使用，但源代码中必须带有原来代码中的MIT协议，较BSD协议宽松，作者只想保留版权；MPL：在MPL的条款下共享源代码，但可以在源代码库上加一个...
2020-04-13 18:32:50
668
转载 JTS Geometry关系判断和分析
关系判断Geometry之间的关系有如下几种： 相等(Equals)： 几何形状拓扑上相等。 脱节(Disjoint)： 几何形状没有共有的点。 相交(Intersects)： 几何形状至少有一个共有点（区别于脱节） 接触(Touches)： ...
2020-04-11 20:02:07
465
转载 Spark通过JDBC加载部分数据、添加过滤条件
当我们需要使用SparkSQL通过JDBC方式连接MySQL、Oracle、Greenplum等来实现对数据的操作时，可能在某些情况下并不需要加载全量的数据表。例如：只需要其中的部分字段按照条件进行筛选后的数据此时就需要在JDBC连接时对option(“dbtable”, tablename)属性值进行修改，参看spark官网给出的属性介绍：(spark2.3 jdbc-to-other...
2020-04-10 15:39:56
903
原创 spark row在java和scala中实例化的方法
scala中实例化方法:It is invalid to use the native primitive interface to retrieve a value that is null, instead a user must checkisNullAtbefore attempting to retrieve a value that might be null.To cre...
2020-04-08 17:43:08
4003
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人