U2014684-CSDN博客

原创 Windows git 切换用户添加用户

1. https方式如果是用https方式clone代码，那么可以通过修改git配置中的用户和邮箱来切换用户：git config --global user.name "xxx" git config --global user.email "xxx@xx.com"切换后需要清理本地缓存（windows缓存的凭据），操作方法：控制面板 --> 凭据管理器 --> Windows凭据，删除普通凭据中git项。2. git方式如果是git方式clone代码，需要通过切换密钥

2020-09-24 10:01:21 1511

原创 Java虚拟机简介

为什么要有JVM？JVM就是Java运行虚拟机。虚拟机又分为系统虚拟机和程序虚拟机，而JVM是属于程序虚拟机。JVM帮助Java程序开发者在开发过程中无需考虑无用的资源需要进行回收，避免内存溢出等问题且实现在不同平台上运行Java程序。Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Java语言虚拟机后，Java语言在不同平台上运行时不需要重新编译。Java语言使用Java虚

2020-07-23 11:39:19 200

原创 B树与B+树

B树是为实现高效的磁盘存取而设计的多叉平衡搜索树。这个概念在文件系统，数据库系统中非常重要。当然，有关于B树的产生，发展，结构等等方面的介绍已经非常详细，所以本文只是介绍有关于B树和B+树最核心的知识点，也算是我本人的学习笔记。一、基本原理首先，简单说一下B树产生的原因。B树是一种查找树，我们知道，这一类树（比如二叉查找树，红黑树等等）最初生成的目的都是为了解决某种系统中，查找效率低的问题。B树也是如此，它最初启发于二叉查找树，二叉查找树的特点是每个非叶节点都只有两个孩子节点。然而这种做法会导致当数

2020-07-20 10:04:51 2055

原创 RDMA read/write with ib verbs

RDMA因为其kernel-bypass，zero-copy，cpu offload三种特性，能够提供低延迟、高吞吐的数据传输性能。使用RDMA进行数据传输时，read/write在client/server端的具体操作可以概括为以下步骤： 1. 初始化连接和注册内存区(Memory Region); 2. 建立连接; 3. ...

2020-02-27 17:41:30 824

翻译 RDMA的3种Queue Pair类型

本文翻译自英文博客，原文地址：https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use/在编写RDMA应用程序时(就像在套接字上编写应用程序时一样)，应该决定使用哪种QP类型。在这篇文章中，我将详细描述每种传输类型的特征。在RDMA中，有三种QP类型。它们可以表示为: XY X可以是: ...

2020-02-26 20:36:39 1617

原创 nexus-private.hortonworks.com无法连接（failed: Connection timed out）

在编译Ambari 2.7.3时出现如下错误[INFO] Reactor Summary:[INFO][INFO] Ambari Main 2.7.3.0.0 .............................. SUCCESS [ 4.104 s][INFO] Apache Ambari Project POM .......................... SUCC...

2019-08-21 10:07:46 2017

原创 RDD：A Fault-Tolerant Abstraction for In-Memory Cluster Computing

Abstract RDD是一个能让程序员以容错的方式在集群上运行内存计算任务的分布式内存的抽象概念。RDD主要被两种应用驱动所产生：迭代算法和交互式数据挖掘工具。在这两种情况下，将数据保存在内存中可以将性能提升一个数量级。为了有效地实现容错，RDDs基于对共享状态的粗粒度转换(transformations)而不是细粒度更新，提供了一种受限的共享内存形式。但是，我们展示了RDDs具...

2019-07-03 15:12:37 274

原创 Maven 打包jar及依赖管理

一、介绍maven提供的打包插件有如下三种：plugin function maven-jar-plugin maven 默认打包插件，用来创建 project jar maven-shade-plugin 用来打可执行包，executable(fat) jar maven-assembly-plugin 支持定制化打包方式，例如 apache 项目的打...

2019-05-09 16:47:33 699

原创 Spark-submit提交作业

提交命令：./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <appli...

2019-03-25 15:02:13 482

转载 Spark运行原理

在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Process...

2019-03-25 09:14:21 127

原创 Github 从zip创建本地库

从Github网页下载的zip项目压缩包，并不包含.git文件夹，因此，为了在本地创建项目库，并于远程同步，需要将.git文件夹从远程库中克隆到本地。1. 通过克隆空仓库获取.git文件夹$ mkdir repo$ git clone --bare http://github/user/repo repo2. 创建.git文件夹，并将克隆到的文件移入.git文件夹$ mkdi...

2018-08-24 11:32:06 2315

原创 visio 2013 导出无边框图片

1. 在“文件”选项卡上，单击“选项”，然后在导航窗格中，单击“自定义功能区” 2. “主选项卡”的窗格中，单击以选择“开发工具”，然后单击确定。 3. 在“开发工具”选项卡上，单击显示 ShapeSheet，然后单击页面。 4. 在ShapeSheet打印属性部分中，将下列值设置为0：PageLeftMargin PageRightMargin PageTopMar...

2018-08-20 20:43:06 3585

转载 RDMA技术介绍

面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用，现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。这要有体现在处理延时过大，数十微秒；多次内存拷贝、中断处理，上下文切换、复杂的TCP/IP协议处理、网络延时过大、存储转发模式和丢包导致额外延时。接下来我们继续讨论RDMA技术、原理和优势，看完文章你就会找到为什么RDMA可以更好的解决这一系列问题。RDM...

2018-08-16 11:09:28 883

原创 Hadoop 集群安装部署

前提条件：配置ssh面密码登陆一、安装Java JDK (1) 下载Oracle版本Java JDK ：jdk-8u181-linux-x64.tar.gz (2) 将 jdk-8u181-linux-x64.tar.gz 解压到/opt/目录下tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt(3) 添加环境变量设置JDK的环境...

2018-07-27 19:12:35 330

原创 Xshell 实用快捷键

删除ctrl + d 删除光标所在位置上的字符相当于VIM里x或者dlctrl + h 删除光标所在位置前的字符相当于VIM里hx或者dhctrl + k 删除光标后面所有字符相当于VIM里d shift+$ctrl + u 删除光标前面所有字符相当于VIM里d shift+^ctrl + w 删除光标前一个单词相当于VIM里dbctr...

2018-07-27 15:06:50 266

原创 shell 远程执行命令

经常需要远程到其他节点上执行一些shell命令，如果分别ssh到每台主机上再去执行很麻烦，因此能有个集中管理的方式就好了。一下介绍两种shell命令远程执行的方法。前提条件：　　配置ssh免密码登陆对于简单的命令：　　如果是简单执行几个命令，则：ssh user@remoteNode "cd /home ; ls"基本能完成常用的对于远程节点的管理了，几...

2018-07-22 11:32:27 1538

原创 SparkRDMA：使用RDMA技术提升Spark的Shuffle性能

目录Spark Shuffle 基础RDMA 技术SparkRDMA安装使用关于配置libdisni.soSpark Shuffle 基础在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节点，这意味着 S...

2018-07-20 17:22:29 479

原创基于Java的RDMA高性能通讯库（五）：Java API over AccelIO (JXIO)

Accelio是一个开源的、高性能的、可靠的、异步消息传递接口。它当前通过对RDMA和TCP/IP的软件接口抽象，提供了一套xio接口。通过这个接口可以方便的使用RDMA并兼容已有的TCP网络。Accelio的目标是提供一个简单好用、可靠、规模化、高性能的、能最大化利用CPU和网络基础设施的数据或消息传递中间件。目前ceph已开始使用Accelio。在软件接口层面Accelio缩写为xio...

2018-07-20 16:19:43 588 1

原创局域网多台服务器时间同步

多台服务器之间时间同步实验对服务器之间的时间有精确要求，需要同步服务器之间的时间。采用NTP进行时间同步。首先，选择一台机器作为时间服务器，其他机器将以此服务器为基准，对时间进行调整。在时间服务器上进行以下修改：vi /etc/ntp.conf 加入以下语句，让同网段其他机器可以与本机进行时间同步restrict 192.168.1.0 m...

2018-01-31 10:44:27 7550

684的博客