- 博客(19)
- 资源 (3)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 fate serving(fate推理框架安装)
只适合fate serving1.安装Java、Redis、zookeeper、maven四个组件Java版本高于1.8Redis高于1.0.6zookeeper高于3.4.5Maven 3.6.32 安装fate-serving1 serving-server的部署采取以下的步骤从github上克隆代码git clone https://github.com/FederatedAI/FATE-Serving.git执行 cd FATE-Serving ,进入源码的根目录。
2020-07-27 22:28:01
1466
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 fate训练框架安装
本文为原版fate1.4.1版本三台机器更改而来。Fate Cluster step by step部署指南1.服务器配置服务器数量2配置8 core /16GB memory / 500GB硬盘/10M带宽操作系统CentOS linux 7.2及以上/Ubuntu 16.04 以上依赖包(参见4.5 软件环境初始化)用户用户:app,属主:app(app用户需可以sudo su root而无需密码)文件系统1. 500G硬盘挂载在/ d
2020-07-27 21:54:46
1407
原创 hdfs-quota
简介HDFS允许管理员为每一个用户和每一个文件夹设置配额:命名配额和空间配额。name quota:该目录下的名字数量做硬性限制,为文件夹下的数量作出的限制,超过限制则会报错:quota exceed,最大值配额:Long.MAX_Valus。新创建的文件夹没有分配quota。space quota设置一个文件夹的大小,如果超过则块写入会失败(副本也算)。最大的配额:L...
2019-03-19 20:24:29
754
原创 MPI2—C语言接口速查
int MPI_Accumulate(void * origin_addr, int origin_count, MPI_Datatype origin_datatype, inttarget_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Opop, MPI_Win win)用指...
2019-01-23 18:42:16
536
原创 MPI1—C语言接口速查
int MPI_Abort(MPI_Comm comm, int errorcode)终止MPI环境及MPI程序的执行int MPI_Address(void * location, MPI_Aint * address)得到给定位置在内存中的地址将被废弃的函数建议用MPI_Get_address取代int MPI_Allgather(void * sendbuff, int sendco...
2019-01-23 18:40:06
451
原创 Yarn系列一——yarn中角色说明
Yarn有两个核心长时间运行的守护程序:ResourceManager、NodeManager:ResourceManager,主要负责全局的资源管理,整个集群只有一个,主要有ApplicationManager和scheduler两个主要的组件:ApplicationManager主要负责管理已经提交的程序,在程序提交之后,ApplicationManager首先会检查集群...
2019-01-02 18:55:44
4077
原创 Scala系列学习七 Actor
Scala中的Actor能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息(message)的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。1.首先调用start()方法启动Actor2.调用start()方法后其act()方法会被执行3.向Actor发送消息 ! 发送异步消息,没有返回值。 ...
2018-09-26 11:48:26
216
原创 Scala系列学习六 隐式转换
1、隐式转换如果函数没有柯里化,implicit关键字会作用于所有参数,要想使用implicit只作用于某个函数参数,则需要将函数进行柯里化,匿名函数不能使用隐式参数1 即使你能轻松驾驭scala语言中的隐式转换,能不用隐式转换就尽量不用 2 如果一定要用,在涉及多次隐式转换时,必须要说服自己这样做的合理性 3 如果只是炫耀自己的scala语言能力,请大胆使用import jav...
2018-09-17 17:56:55
119
原创 Scala系列学习五 高阶函数
1、作为值的函数** * @program: ScalaBlog * @description: 高阶函数 * 高阶函数包括作为值的函数、匿名函数、闭包、柯里化等等 * @author: allen * @create: 2018-09-17 14:13 **/class HighFunctionDemo {}object HF1...
2018-09-17 17:35:50
132
原创 Scala系列学习四 模式匹配
1、模式匹配可几乎可以匹配所有的的object MatchCaseDemo extends App { private val p = new MatchCaseDemoClass private val arr = Array(1, "allen", p, 2, Array(1, 3, 5, 7), 3.5, 5, 6, 78, List(3, -1), (78, 79, 80...
2018-09-17 09:36:27
112
原创 Scala系列学习三 类、继承、接口(特质)、单例
1、类//在scala源文件中可以包含很多的类,而且这些类对于外界是可见的class PersonDemo { // 用val修饰的变量:只读,即有getter但没有setter val id: String = "1234" var age: Int = 18 private var name: String = "allen" private[this] val...
2018-09-15 15:14:13
769
1
原创 Scala系列学习二scala中数组、集合等
1、Array数组object ArrayDemo extends App { //初始化长度为8的数组,其初始值为0 private val arr1 = new Array[Int](8) println(arr1) //直接打印,其是指对象的hash值,[I@668bc3d5 // 如果需要查看其中的内容,可以使用循环或者转换为缓冲数组 println(arr1...
2018-09-14 20:35:46
143
原创 Scala系列学习一(scala基础)
1、在scala中声明变量有两种方式:val和var,其中val定义的变量值是不可变的,相当于java里用final修饰的变量,var定义的变量是可变得,在Scala中鼓励使用val。object VariableDemo { def main(args: Array[String]): Unit = { val i = 0 var str = "hello" v...
2018-09-14 15:04:11
180
原创 统计学 贾俊平 笔记
由于图片需要从新上传不能直接复制,因此此博客只有一部分,完整版(word版)见:https://github.com/AllenLee0/Miner1、统计的含义:统计工作:对数据的采集、加工处理、分析统计资料:各项数字资料及与之相关信息统计学 2、通常将统计数据分为分类数据、顺序数据、数值型数据,其中将分类数据、顺序数据统称为定性数据(品质数据),数值型数据称为定量数据(数量数据)3、面板数据:...
2018-04-09 17:30:34
3671
2
原创 linux常见命令(二)
二、用户权限(1)who选项含义-m或am I只显示运行who命令的用户名、登录终端和登录时间-q或--count只显示用户的登录账号和登录用户的数量-u或--heading显示列标题(2)添加用户账号:useradd参数
2018-01-02 21:42:04
162
原创 linux常见命令(一)
二. 常用基本命令1、linux中常用的命令格式: command [-options] [parameter] 例如:ls –l/root2、文件管理:(1)查看文件信息ls 可以利用—help查看ls的参数也可以利用man ls来查看。man的命令:功能键功能空格键
2018-01-02 20:14:53
384
原创 linux中常见目录
目录名目录存储的内容/根目录,该目录下面一般指保存目录,而不保存文件,linux中所有东西都是从目中开始的。/bin、/usr/bin一般保存为二进制文件例如:yum、ls等/boot存放Linux系统的启动时所需的文件,如内核文件/dev存放Linux的设备
2018-01-02 19:31:01
155
原创 众数 Java
众数是指在序列中元素个数超过一半的那个数。 相应的算法:package Basic.K_select;/** * Created by AllenLee */public class Mode<T> { public static void main(String[] args) { String[] array = {"a", "5", "2", "a", "a"}
2017-12-06 22:54:14
535
原创 快速排序 Java 针对重复元素
与归并排序一样,快速排序也是采用分治策略。但是归并排序的计算量主要集中在有序子序列的合并上,而子序列的划分几乎不花费时间。快速排序恰恰相反,可以在o(1)的时间内完成子序列的合并,对于将原问题划分上需要花费O(n)的时间。对于子序列的划分上,可能的划分是极不平等的,因此该算法不能保证最坏情况下的O(nlogn)的时间复杂度。一般来说,快排是首选的算法。因此:版本一package Bas...
2017-12-06 20:54:48
2106
1
在VWmare的CentO S系统中配置hadoop
2016-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人