- 博客(111)
- 收藏
- 关注
RSS订阅转载 一个Java字符串中到底有多少个字符?
依照Java的文档， Java中的字符内部是以UTF-16编码方式表示的，最小值是\u0000(0),最大值是\uffff(65535)， 也就是一个字符以2个字节来表示，难道Java最多只能表示 65535个字符？char: The char data type is a single 16-bit Unicode character. It has a minimum...
2019-06-10 15:16:00
418
转载 知名程序员的书架
我这一辈子，从不知道哪位智者是根本不读书的——没有，没有一个人。--投资大师芒格前言自从开始自学编程以来，就一直希望有人指点该如何逐步的打牢基础，该读哪些书籍来加深对计算机科学的理解。最近，我在网上看到有人整理了一些知名程序员推荐的书籍，他们或是接受采访，或是在自己的博客上，向大家推荐了自己认为最有价值的编程书籍。觉得应该都是不错的选择，所以翻...
2019-04-02 09:47:00
245
转载 20个Chrome DevTools调试技巧
译者按：Chrome DevTools很强大，甚至可以替代IDE了！原文:Art of debugging with Chrome DevTools为了保证可读性，本文采用意译而非直译。另外，本文版权归原作者所有，翻译仅用于学习。谷歌开发者工具提供了一系列的功能来帮助开发者高效Debug网页应用，让他们可以更快地查找和修复bug。在谷歌的开发者工具中，...
2018-10-11 15:58:00
281
转载 idea 从数据库快速生成Spring Data JPA实体类
第一步,调出 Persistence 窗口.File—>Project Structure—>model—> + —>JPA第二步:打开 Persistence窗口配置 生成实体类的参数如图:1.数据源,即链接数据库的信息,按要求填写数据库信息即可2.生成实体类的位置.3.实体类名称前缀....
2018-08-13 16:28:00
167
转载 spring data jpa 全面解析（实践 + 源码分析）
前言本文将从示例、原理、应用3个方面介绍spring data jpa。以下分析基于spring boot 2.0 + spring 5.0.4版本源码概述JPA是什么？JPA (Java Persistence API)是 Sun 官方提出的 Java 持久化规范。它为 Java 开发人员提供了一种对象/关联映射工具来管理 Java 应用中的关系数据。他的出现主要...
2018-08-13 15:41:00
132
转载 Mockito 简明教程
什么是 Mock 测试Mock 测试就是在测试过程中，对于某些不容易构造（如 HttpServletRequest 必须在Servlet 容器中才能构造出来）或者不容易获取比较复杂的对象（如 JDBC 中的ResultSet 对象），用一个虚拟的对象（Mock 对象）来创建以便测试的测试方法。Mock 最大的功能是帮你把单元测试的耦合分解开，如果你的代码对另一个类或者接口有依赖，...
2018-08-10 17:44:00
157
转载 手把手教你 Mockito 的使用
什么是 MockitoMockito 是一个强大的用于 Java 开发的模拟测试框架, 通过 Mockito 我们可以创建和配置 Mock 对象, 进而简化有外部依赖的类的测试.使用 Mockito 的大致流程如下:创建外部依赖的 Mock 对象, 然后将此 Mock 对象注入到测试类中.执行测试代码.校验测...
2018-08-10 17:38:00
143
转载 unit测试出现异常：Exception in thread "main" java.lang.NoSuchMethodError: org.junit.platform.commons.util...
在进行单元测试时，测试出现异常Exception in thread "main" java.lang.NoSuchMethodError: org.junit.platform.commons.util.ReflectionUtils.getDefaultClassLoader()Ljava/lang/ClassLoader; at org.junit.platform....
2018-08-10 16:46:00
503
转载 IntelliJ IDEA JRebel Maven Tomcat 实现热部署
一，JRebel 插件 获取与安装直接在 IDEA 中操作获取 JRebel 插件Paste_Image.pngPaste_Image.png安装完成，记得重启 IDEA 使刚才安装的插件生效。二，激活 Paste_Image.png Paste_Image.png http:/...
2018-08-10 10:48:00
133
转载 Hazelcast是什么
Hazelcast是什么 “分布式”、“集群服务”、“网格式内存数据”、“分布式缓存“、“弹性可伸缩服务”——这些牛逼闪闪的名词拿到哪都是ITer装逼的不二之选。在Javaer的世界，有这样一个开源项目，只需要引入一个jar包、只需简单的配置和编码即可实现以上高端技能，他就是 Hazelcast。 Hazelcast 是由Hazelcast公司（没错，这公司也叫Haze...
2018-06-05 10:26:00
175
转载 深入分析 Java 中的中文编码问题
几种常见的编码格式为什么要编码不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解...
2018-05-14 11:15:00
75
转载 Nashorn——在JDK 8中融合Java与JavaScript之力
从JDK 6开始，Java就已经捆绑了JavaScript引擎，该引擎基于Mozilla的Rhino。该特性允许开发人员将JavaScript代码嵌入到Java中，甚至从嵌入的JavaScript中调用Java。此外，它还提供了使用jrunscript从命令行运行JavaScript的能力。如果不需要非常好的性能，并且可以接受ECMAScript 3有限的功能集的话，...
2017-12-08 14:41:00
158
转载 使用tcpcopy导入线上流量进行功能和压力测试
-假设我们要上线一个两年内不会宕机的先进架构。在上线前，免不了单元测试，功能测试，还有使用ab，webbench等等进行压力测试。但这些步骤非生产环境下正式用户的行为。或许你会想到灰度上线，但毕竟可能会影响到部分用户，这怎么对得起我们两年内不宕机的承诺呢？好在网易的王斌开发了tcpcopy， 可以导入线上流量进行功能和压力测试。tcpcopy介绍tcpcopy...
2017-08-25 15:53:00
103
转载 KVM虚拟化网络优化技术总结
https://www.intel.com/content/dam/www/public/us/en/documents/technology-briefs/sr-iov-nfv-tech-brief.pdf一个完整的数据包从虚拟机到物理机的路径是：虚拟机–QEMU虚拟网卡–虚拟化层–内核网桥–物理网卡KVM的网络优化方案，总的来说，就是让虚拟机访问物理网卡的...
2017-08-21 16:45:00
236
转载 高性能网络 SR-IOV机制--VF与PF的通信
PF 驱动是一个专门管理SR-IOV设备全局功能驱动，而且还要配置相关共享资源。PF 驱动 随着Hypervisor 的不同而不同，一般需要具有比普通虚拟机更高的权限才能对其进行操作。PF驱动包含了所有传统驱动的功能，使得Hypervisor能够访问设备I/O资源。也可以通过调用PF驱动执行相关操作从而影响整个设备。PF驱动必须在VF驱动之前加载，而且需要等VF驱动卸载之后才能卸载。...
2017-08-21 16:38:00
2482
转载 CEPH RGW集群和bucket的zone group 不一致导致的404异常解决 及 使用radosgw-admin metadata 命令设置bucket metadata 的方法...
问题现象： 最近在研究zonegroup的配置操作，发现在配置zonegroup后修改了default zone，导致访问对象报404错误。问题原因：rgw 日志 报异常’request for data in a different zonegroup ’rgw源码：https://github.com/ceph/ceph/blob/d346b1b835...
2017-04-13 10:11:00
673
转载 CEPH RGW 设置 user default_placement为ssd-placement，优化100KB-200KB小文件性能，使用户创建的bucket对象放置到 SSD设备的Pool上。...
sudo radosgw-admin metadata get user:tuanzi > user.md.jsonvi user.md.json #to add ssd-placement{ "key": "user:tuanzi", "ver": { "tag": "__gHSAD0K7rEZcQ2m3qT_RWk...
2017-04-11 11:15:00
565
转载 <CEPH中国-深圳站-技术交流会演讲PPT> YY云平台Ceph Block应用实践 & 我写的书 《CEPH实战》...
YY云平台Ceph Block应用实践http://s3.yyclouds.com/public/YY%E4%BA%91%E5%B9%B3%E5%8F%B0Ceph%E5%AE%9E%E8%B7%B5.ppt我写的书 《CEPH实战》https://www.gitbook.com/book/forest/ceph-practice/details转载于:https...
2017-04-06 21:05:00
151
转载 修改Cosbench源码 支持s3的 http range request 测试场景
在视频点播的业务应用场景中，用户使用了ffmpeg工具做视频实时转码用。 而ffmpeg使用range 请求。而Cosbench不支持这种测试场景，所以需要修改源码支持这种测试场景。HTTP 协议介绍：HTTP 请求头Range请求资源的部分内容(不包括响应头的大小), 单位是byte,即字节,从0开始.如果服务器能够正常响应的话，服务器会返回206 Pa...
2017-04-06 16:34:00
275
转载 CEPH s3 java sdk PUT对象并在同一个PUT请求中同时设置ACL为 Public
java：http://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/acl-using-java-sdk.htmltring bucketName = "bucket-name";AmazonS3 s3client = new AmazonS3Client(new ProfileCredentialsPr...
2017-04-06 10:29:00
395
转载 庆祝团队合著的《自主实现SDN虚拟网络与企业私有云》终于得以出版 --- 本人负责分布式存储部分的编写...
https://item.jd.com/12154254.html 京东购买地址转载于:https://www.cnblogs.com/bodhitree/p/6653022.html
2017-03-31 19:23:00
125
转载 Cosbench测试 RGW S3 path_style_access=true模式支持
使用Ceph RGW Cosbench 测试时，文档中没有写如何使用path_style_access 模式的方法。 查看了一下cosbench源码发现已经支持，只是文档没有写。提交了一个issue给社区： https://github.com/intel-cloud/cosbench/issues/350如下配置文件中，加入如下path_style_access=...
2017-03-30 11:45:00
657
转载 RGW 系统吞吐量（TPS）、用户并发量、性能测试概念和公式
一．系统吞度量要素：一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间QPS（TPS）：每秒钟request/事务数量并发数：系统...
2017-03-29 10:57:00
409
转载 CEPH 使用SSD日志盘+SATA数据盘， 随OSD数目递增对性能影响的递增测试
最近建设新机房，趁项目时间空余较多，正好系统的测试一下CEPH集群性能随OSD数目的变化情况，新ceph集群测试结果如下：1）4k随机读在3/6/9osd host下的性能差不多，吞吐量约50~60MB/s，IOPS约为14000，延时约4ms；osd数增加，上涨幅度很小2）512k顺序读在3/6/9osd host下吞吐量均能达到900MB/s3）ceph写性能较低，但...
2017-03-02 11:30:00
384
转载 使用CEPH RGW admin ops API 进行用户user AK/SK管理的秘诀
需求： 云平台面板上需要支持为不同的用户创建不同的RGW 的AK/SK用户秘钥，以完成对象存储的用户隔离,并可以管理bucket和查看bucket容量信息。分析：查阅CEPH官网文档S3 API没有用户管理的功能，而Admin Ops API有这个用户管理功能。 根据文档管理API的鉴权方式和S3的鉴权方式一致。 而使用Admin Ops API的要点是要创...
2017-02-28 16:53:00
1138
转载 Ceph 时钟偏移问题 clock skew detected 解决方案--- 部署内网NTP服务
告警：HEALTH_WARN clock skew detected on mon.ip-10-25-195-6; 8 requests are blocked > 32 sec; Monitor clock skew detected原因：MON可能被MON节点之间的重要的时钟偏移激烈的影响。这经常会转变为没有明显原因的诡异的行为。为了避免这种问题，你应该在MON...
2017-02-16 15:15:00
883
转载 Erasure Coding（纠删码）深入分析 转
1.前言Swift升级到2.0大版本后宣称开始支持纠删码，这其实是一个很有意义的特性，主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推广的最大障碍之一，成本的增加吓退了不少潜在客户。这次的改进有望消除客户顾虑，拓展更多用户http://www.openstack.org/blog/2014/07/openstack-swift-2-0-relea...
2017-02-08 16:06:00
267
转载 s3cmd : Add a config parameter to enable path-style bucket access 当ceph rgw使用域名时，需要支持 path-style bu...
s3cmd 要是1.6.1 之后的版本增加配置项：vi .s3cfguse_path_mode = True源码参考：cat /usr/local/lib/python2.7/dist-packages/S3/Config.pyS3cmd的代码如下：https://github.com/s3tools/s3cmd/pull/391/commits...
2017-02-06 16:37:00
288
转载 ceph rgw java sdk 使用域名访问服务时需要设置s3client的配置项 PathStyleAccess 为true， 负责将报域名异常...
Caused by: java.net.UnknownHostException: my-new-bucket.s3.yyclouds.comat java.net.InetAddress.getAllByName0(Unknown Source)at java.net.InetAddress.getAllByName(Unknown Source)at java.net...
2017-01-23 17:50:00
1166
转载 直播流怎么存储在Ceph对象存储上？ Linux内存文件系统tmpfs(/dev/shm) 的应用
一、/dev/shm理论默认的Linux发行版中的内核配置都会开启tmpfs，映射到了/dev/下的shm目录。可以通过df 命令查看结果./dev/shm/是linux下一个非常有用的目录，因为这个目录不在硬盘上，而是在内存里。因此在linux下，就不需要大费周折去建ramdisk，直接使用/dev/shm/就可达到很好的优化效果。默认系统就会加载/dev/shm ，它...
2017-01-16 11:39:00
170
转载 转- 阿里云、Amazon、Google云数据库方案架构与技术分析
「一切都会运行在云端」。云时代早已来临，本文着眼于顶级云服务商云服务商的云数据库方案背后的架构，以及笔者最近观察到的一些对于云数据库有意义的工业界的相关技术的进展，希望读者能有所收获。现在越来越多的业务从自己维护基础设施转移到公有（或者私有）云上， 带来的好处也是无需赘述的，极大降低了 IaaS 层的运维成本，对于数据库层面来说的，以往需要很强的 DBA 背景才能搞定弹性扩容高可...
2017-01-12 10:45:00
148
转载 DeepMind背后的人工智能：深度学习原理初探
去年11月，一篇名为《Playing Atari with Deep Reinforcement Learning》的文章被初创人工智能公司DeepMind的员工上传到了arXiv网站。两个月之后，谷歌花了500万欧元买下了DeepMind公司，而人们对这个公司的了解仅限于这篇文章。近日，Tartu大学计算机科学系计算神经学小组的学者在robohub网站发表文章，阐述了他们对DeepMi...
2017-01-06 17:25:00
53
转载 ceph hadoop spark 大数据处理
http://docs.ceph.com/docs/giant/cephfs/hadoop/https://indico.cern.ch/event/524549/contributions/2185930/attachments/1290231/1921189/2016.06.13_-_Spark_on_Ceph.pdfhttp://www.ibm.com/deve...
2017-01-06 11:06:00
328
转载 如何提交代码到CEPH Repo。 顺便庆祝下，提交了第一个ceph pull request。实现了从0到1的突破...
庆祝一下！经过社区老司机的带路，昨天提交了第一个ceph pull request。实现了从0到1的突破，希望再接再厉提交更多代码到社区，为社区发展贡献一点自己力量。提交的第一个被社区fix的bug：http://tracker.ceph.com/issues/16654提交的第一个 pull request : https://github.com/ceph/ceph/pull...
2016-12-27 11:18:00
196
转载 CephRGW 在多个RGW负载均衡场景下，RGW 大文件并发分片上传功能验证
http://docs.ceph.com/docs/master/radosgw/s3/objectops/#initiate-multi-part-upload根据分片上传的API描述，因为对同一个文件需要多个upload的HTTP请求。那么很显然，存在多个RGW负载均衡的场景下，不同的HTTP请求会被负载均衡到不同的RGW上。那么这是否会导致RGW不能把文件分片正确的合并为一...
2016-12-26 10:58:00
467
转载 Ceph RGW服务 使用s3 java sdk 分片文件上传API 报‘SignatureDoesNotMatch’ 异常的定位及规避方案...
importjava.io.File;importcom.amazonaws.AmazonClientException;importcom.amazonaws.auth.profile.ProfileCredentialsProvider;importcom.amazonaws.services.s3.transfer.TransferManage...
2016-12-23 15:34:00
831
转载 RTMP流媒体播放过程
RTMP协议规定：第一步，建立一个网络连接（NetConnection）:客户端和服务端的基础连通关系 第二步：建立一个网络流（NetStream）发送多媒体的通道（只能建立一个网络连接，可以建立多个网络流）播放一个RTMP协议的流媒体：1.握手 2.建立连接 3.建立流 4.播放 RTMP连接都是以握手作为开始的。建立连接阶段用于建立客户端与服务器之间的“...
2016-12-15 18:14:00
122
转载 Ceph RGW 创建默认的pool
使用Ceph-deploy完成RGW服务部署后（最好是在部署RGW服务前建立如下这些pool），使用sudo ceph osd lspools命令，会发现RGW自动以默认参数创建了N个rgw相关的pool。 然而这些pool的参数按默认是不符合要求。因此需要重建这些pool。 步骤如下：1. 删除Pool ：sudo ceph osd pool delete ...
2016-12-14 14:39:00
643
转载 自建Ceph存储与 AWS、阿里云、腾讯云的成本对比
本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本，不包括IDC带宽成本。 统计Ceph集群的用到的主要设备为： OSD、MON、RGW服务器 、TOR交换机、 机架。下表解释：Port ： 交换机端口年成本Rack ： 机架租赁年成本Server： OSD/MON/RGW 服务器的成本。 OSD成本较高，采用了万兆网卡和12*4T硬盘。...
2016-12-14 14:17:00
349
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人