- 博客(56)
- 收藏
- 关注
RSS订阅转载 inotify+rsync详细说明和sersync
第2章 rsync(二)：inotify+rsync详细说明和sersync分类:Linux服务篇undefined以下是rsync系列篇： 1.rsync(一)：基本命令和用法 2.rsync(二)：inotify+rsync详细说明和sersync 3.rsync算法原理和工作流程分析 4.rsync技术报告(翻译) 5.rsync工作机制(翻译) 6.man rsync翻译(rsync命令中文手册)1.inotify+rsync如果要实现定时同步数据，...
2021-06-13 17:03:57
297
原创 Linux查看用户连接并踢出
查看用户连接：root:~# w12:36:42 up 5:30, 2 users, load average: 0.00, 0.01, 0.05USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATroot pts/0 192.168.56.1 12:35 2.00s ...
2019-11-20 12:38:35
1561
原创 virtualbox内linux出现创建软链接失败问题解决
virtualbox版本为5.2.32对于virtualbox 虚拟机sharefolder挂载到虚拟机内部linux系统时，会有诸多权限问题，本文记录软链接创建失败问题。失败日志：ln: failed to create symbolic link ‘XXX’: Read-only file system解决步骤：1. 确保虚拟机处于未运行状态2. 打开虚拟机安装目录：C:\...
2019-08-14 09:57:34
1886
原创 两个关于Kubernetes的项目
1. kubernetes高可用部署https://github.com/easzlab/kubeasz2. kubernetes federation跨云集群管理https://github.com/kubernetes-sigs/kubefed未完待续
2019-08-12 16:04:15
573
转载 Linux的chattr与lsattr命令详解
Linux chattr命令http://www.runoob.com/linux/linux-comm-chattr.htmlLinux chattr命令用于改变文件属性。这项指令可改变存放在ext2文件系统上的文件或目录属性，这些属性共有以下模式：+ ：在原有参数设定基础上，追加参数。- ：在原有参数设定基础上，移除参数。= ：更
2017-12-19 10:16:03
789
原创 docker: Error response from daemon: service endpoint with name XXX already exists.
docker network disconnect --force bridge XXX
2017-11-13 09:11:06
6910
原创 centos 服务添加开机启动项
安装docker时，每次重启机器docker服务都没有起来这里简单记录下linux添加开机启动项# sudo systemctl enable docker
2017-11-02 10:43:45
1309
转载 公钥，私钥，数字签名，数字证书详解
原文（英文）：http://www.youdzone.com/signature.html本文（中文，已翻译）转载于：http://www.ruanyifeng.com/blog/2011/08/what_is_a_digital_signature.html1.鲍勃有两把钥匙，一把是公钥，另一把是私钥。2.鲍勃把公钥送给他的朋友们----帕
2017-10-24 10:04:21
412
转载 什么是硬分叉，什么是软分叉，什么是共识？
第0章 引言 比特币是一套软件，对软件代码进行修改升级就经常会涉及到两个概念，一个叫硬分叉，一个叫软分叉。这到底是什么意思呢？社区里最常见的定义说是对共识的修改。但“共识”具体指的是什么，很难理解。我们还是多实际的修改代码层面来看下它们的定义吧。 第1章 比特币的交易格式和交易历史记录 在理解什么是硬分叉和软分叉之前，我们先要知道这两者要修改的东西是
2017-10-22 14:43:53
539
转载 nginx+confd+etcd的配置自动管理
一、配置文件1、etcd配置数据：[plain] view plain copy/apps/svr/etcd/bin/etcdctl set /service_sgin/upstream/service1/server1 192.168.1.1 /apps/svr/etcd/bin/etcdctl set /service_s
2017-10-20 15:12:20
1227
转载 补丁(patch)的制作与应用
命令简介用到的两个命令是diff和patch。diffdiff可以比较两个东西，并可同时记录下二者的区别。制作补丁时的一般用法和常见选项为：diff 【选项】 源文件（夹） 目的文件（夹）-r递归。设置后diff会将两个不同版本源代码目录中的所有对应文件全部都进行一次比较，包括子目录文件。-N选项确保补丁文件将正确地处理已经创建或删除文件的情况。-u输出每个
2017-10-19 14:21:03
866
转载 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建
1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a distributed,partitioned,replic
2017-07-17 09:21:38
439
原创 protobuf用例编写
1.安装go语言环境，这里省略2.安装protobuf环境1>下载https://github.com/golang/protobuf，放到路径$GOPATH/src/github.com/2>进入protoc-gen-go目录，执行make命令安装protoc-gen-go3>下载https://github.com/google/protobuf/releases/downlo
2017-07-07 09:42:58
640
转载 PKI系统深入介绍
公钥基础设施（Public Key Infrastructure，简称PKI）是目前网络安全建设的基础与核心，是电子商务安全实施的基本保障，因此，对PKI技术的研究和开发成为目前信息安全领域的热点。本文对PKI技术进行了全面的分析和总结，其中包括PKI组成、证书认证机构CA、PKI应用、应用编程接口和PKI标准等，并对CA的开发做了简要分析。本文对PKI，特别是CA的开发、应用和普及具有一定的促进
2017-06-11 14:26:31
916
转载 PKI入门级介绍
随着电子商务的迅速发展，信息安全已成为焦点问题之一，尤其是网上支付和网络银行对信息安全的要求显得更为突出。为了能在因特网上开展安全的电子商务活动，公开密钥基础设施（ PKI, Public Key Infrastructure ）逐步在国内外得到广泛应用。我们是否真的需要 PKI ， PKI 究竟有什么用？下面通过一个案例一步步地来剖析这个问题 : 甲想将一份合同文件通过 Internet 发给远
2017-06-11 14:25:33
461
转载 git代理设置
git config --global http.proxy http://127.0.0.1:1080git config --global https.proxy https://127.0.0.1:1080git config --global --unset http.proxygit config --global --unset https.proxy
2017-05-10 11:49:27
311
转载 JDBC--获得ResultSet的记录个数、字段个数
1.获得ResultSet的记录个数因为ResultSet没有方法可直接得到记录数，只有另想方法，可采用如下方法：Statement stmt = db.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE, ResultSet.CONCUR_READ_ONLY);ResultSet rs = stmt.executeQue
2016-12-22 18:41:19
1948
转载 Firefox is already running(linux) 解决方法
英文版显示：Firefox is already running, but is not responding. To open a new window, you must first close the existing Firefox process, or restart your system.”解决方法如下：在linux的终端输入：firefox -profilemanag
2016-12-15 14:06:51
14458
转载 Apache Kylin的快速数据立方体算法——概述
from:http://www.infoq.com/cn/articles/apache-kylin-algorithm/Apache Kylin（麒麟）是由eBay贡献给开源社区的大数据分析引擎，支持在超大数据集上进行秒级别的SQL及OLAP查询，目前是Apache基金会的孵化项目[1]。本文是一系列介绍快速数据立方体计算（Fast Cubing）的第一篇，将从概念上介绍新算法与旧算法的
2016-12-02 18:17:08
1020
转载 数据挖掘：id3 算法
1 简述1.1 id3是一种基于决策树的分类算法，由J.Ross Quinlan在1986年开发。id3根据信息增益，运用自顶向下的贪心策略建立决策树。信息增益用于度量某个属性对样本集合分类的好坏程度。由于采用了信息增益，id3算法建立的决策树规模比较小，查询速度快。id3算法的改进是C4.5算法，C4.5算法可以处理连续数据，采用信息增益率，而不是信
2016-12-02 11:11:14
1310
转载 Hbase基本操作示例
Hadoop Hbase通过行关键字、列（列族名：列名）和时间戳的三元组确定一个存储单元（cell），即由{row key, column family, column name, timestamp} 可以唯一确定一个存储值，即一个键值对：{row key, column family, column name, timestamp} -> value下面
2016-11-16 20:18:34
1197
转载 分布式锁的三种实现方式
首先说明一下什么是分布式锁，维基百科的说明为：分布式锁，是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。写在前面在进行大型网站技术架构设计以及业务实现的过程
2016-11-16 20:16:09
318
转载 数据库设计准则（第一、第二、第三范式说明）
I、关系数据库设计范式介绍1.1 第一范式（1NF）无重复的列 所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。简而言之，
2016-11-16 20:15:23
334
转载 Hive SQL的编译过程_美团技术点评
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有
2016-11-16 20:13:26
1765
转载 SBT - Resolvers
Maven Resolvers for Maven2 repositories are added as follows:resolvers += "Sonatype OSS Snapshots" at "https://oss.sonatype.org/content/repositories/snapshots"This is the most common kind
2016-11-16 11:08:35
2100
转载 SBT - Library Dependencies
This page assumes you've read the earlier Getting Started pages, in particular .sbt build definition, scopes, and more about settings.Library dependencies can be added in two ways:unmanage
2016-11-16 10:56:13
1418
转载 Spark 2.0技术预览：更容易、更快速、更智能
在过去的几个月时间里，我们一直忙于我们所爱的大数据开源软件的下一个主要版本开发工作：Apache Spark2.0。Spark 1.0已经出现了2年时间，在此期间，我们听到了赞美以及投诉。Spark 2.0的开发基于我们过去两年学到的：用户所喜爱的我们加倍投入；用户抱怨的我们努力提高。本文将总结Spark 2.0的三大主题：更容易、更快速、更智能。更深入的介绍将会在后面博客进行介绍。
2016-11-15 10:38:17
363
转载 解析大数据基准测试——TPC-H or TPC-DS
随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进的发展。一般来说，大数据具有3V特性，即Volume（海量）、Velocity（高速）和Variety（多样）[1]。TPC联合主席、Cisco高级工程师Raghunath Nambiar进一步认为大数据还面临Value（价值）和Veracity（精确）的挑战。如何客观地比
2016-11-15 10:13:19
592
转载 Intellij IDEA 快捷键整理
【常规】Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速打开类Ct
2016-10-29 15:32:30
223
转载 Intellij IDEA 使用技巧一
1、文本编辑删除 ctr + y 复制 ctr + D2、智能提示 提示 ctr + space 智能提示 ctr + shift + space 完成当前语句 ctr + shift + enter 建议提示为参数 ctr + alt + P 对代码重新排列格式 Ctr
2016-10-29 10:33:10
442
转载 Linux后台进程管理利器：supervisor
Linux的后台进程运行有好几种方法，例如nohup，screen等，但是，如果是一个服务程序，要可靠地在后台运行，我们就需要把它做成daemon，最好还能监控进程状态，在意外结束时能自动重启。supervisor就是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。安装supervisorDeb
2016-10-28 19:53:36
286
原创 java连接mysql实现
/** * Created by claims on 10/22/16. */import java.sql.*;public class MysqlDB { public static void main(String[] agrs) { System.out.print("hello java jdbc\n"); Connectio
2016-10-24 19:59:33
348
转载 Java实现的一个词频统计程序
[java] view plain copy import java.util.HashMap; import java.util.Iterator; public class WordCount { public static void main(String[] args) { String[] text=
2016-10-24 19:56:37
5645
转载 30分钟了解C++11新特性
什么是C++11C++11是曾经被叫做C++0x，是对目前C++语言的扩展和修正，C++11不仅包含核心语言的新机能，而且扩展了C++的标准程序库（STL），并入了大部分的C++ Technical Report 1（TR1）程序库(数学的特殊函数除外)。C++11包括大量的新特性：包括lambda表达式，类型推导关键字auto、decltype，和模板的大量改进。本文将对
2016-10-13 15:17:32
268
转载 OLAP引擎——Kylin介绍
转载自：http://blog.csdn.net/yu616568/article/details/48103415 Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进
2016-10-09 20:46:46
654
转载 vim 或者vi 删除每行最后一个字符
1. 基本的替换:s/vivian/sky/ 替换当前行第一个 vivian 为 sky:s/vivian/sky/g 替换当前行所有 vivian 为 sky:n,$s/vivian/sky/ 替换第 n 行开始到最后一行中每一行的第一个 vivian 为 sky:n,$s/vivian/sky/g 替换第 n 行开始到最后一行中每一行所有 vivian 为 sk
2016-10-08 19:50:25
21150
转载 RDD：基于内存的集群计算容错抽象
该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很不错。在此基础上，我增加了来自英文原文的图和表格数据，以及译文中缺少的未翻译的部分。如果翻
2016-10-08 14:28:23
1018
转载 Spark RDD使用详解1--RDD原理
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]RDD简介 在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed Dataset，RDD）。RDD是Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spa
2016-10-08 13:39:48
1493
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人