Frank-Li的博客

初衷 首先，slurm搭建的初衷是为了将我多个GPU机器连接起来，从来利用多台机器的计算能力，提高计算效率，之前使用过deepops去搭建，结果最后好像deepops对GPU的卡有要求，我的每台机器卡都不一样，所以后面就开始研究slurm集群的方式了。1、参考文档 之前参考过诸多文档，中间会出现各种奇怪的错误，后来还是通过docker的方式去装才成功，不通过docker的还在探索中，以后成功会出新视频。（1）官网文档slurm官网（2）git上docke...

先看下需要存入的df数据：安装并导入需要的库：先创建数据库：开始直接一条pandas入库：入库后查看数据：注意：（1）再进行入库的时候，他会根据列自动选择类型，可能为double、float等，后面如果出现类型不匹配，就会报错，这种情况一定要进入数据库后去改下数据类型，不然会一直报错（2）pymysq：此处用的是pymsql，不要再用mysqldb，这是个坑，很麻烦，安装也很麻烦，还是用这个吧，网...

主成分和因子分析 主成分分析（PCA）是一种数据降维技巧，它能将大量的相关变量转化为一组很少的不相关的变量，这些无关的变量称为主成分，例如，可以使用PCA把30个相关的信息转化为5个无关的成分变量，因为30个相关信息里面存在冗余。 探索性因子分析（EFA）是一种用来发现一组变量潜在结构的方法，可以通过寻找一组更小的，潜在的或隐藏的结构来解释已观测到的，显式的变量间的关系。 p

重抽样与自主法 置换检验 用coin包来做置换检验，一般用于解决下列问题： 响应值与组的分配独立吗？两个数值变量独立吗？两个类别型变量独立吗？ 置换检验的一些函数： 上图中所列的每个函数都如下所示： function_name(formula,data,distribution=) 其中，formula表示的是要检验变量间的关系 data是一个数

回归 回归概念：回归是一个广义的概念，通常指的是用一个或者多个预测变量来预测响应变量（因变量，结果变量）的方法。 回归分析存在多种变体，回归按照类型来划分的话可以分为以下几种类型： OLS回归：OLS回归是通过预测变量的加权来预测量化的因变量，其中权重是通过数据估计而得到的参数。 使用lm()拟合回归模型 在R语言中，拟合线性模型最基本的函数就是lm(),

方差 aov()函数 aov()函数的语法为aov(formula,data=dataframe) 例如用y来代表因变量，用字母A，B，C来代表因子，则常用的一些符号表达式如下： 对应的结果如下: 双因素的ANOVA分析： T检验： 函数简介： 相关性： 线性模型，一般使用pwr.f2

基本统计分析 独立性检验 R语言中提供了多种检验类别型变量独立性的方法，下面主要讲述卡方独立性检验，Fisher精确检验和Cochran-Mantel-Haenszel检验 卡方独立性检验： 可以使用chisq.test()函数对二维表的行变量和列变量进行卡方独立性检验： Fisher精确检验 可以使用fisher.test()函数进行Fisher精确检验，

数据处理 处理函数： 统计函数： 数据的标准化： 函数scale()对矩阵或者数据框的指定列进行均值为1，标准差为1的标准化 字符处理函数：使用字符处理函数可以对文本型的数据进行处理，包括信息的抽取和格式转化 基本图形 简单条形图：

基本数据管理 直接上小示例： 以上是实现数据sumx和meanx整合到原始mydata数据框中的两种实现方式，建议用第二个 还有一个问题，就是重编码，也就是给已有的数据赋予新值，比如有个999岁的人，此处记录是错误的，要将其设置为缺失值，可以使用如下代码： leadershipage[leadershipage[leadershipage==99] <-NA 其中

基本图形 直接上小示例： dose<-c(20,30,40,45,60) drugA<-c(16,20,27,40,60) drugB<-c(15,18,25,31,40) plot(dose,drugA,type=”b”) plot（）函数是Ｒ语言中对象作图的一个泛型函数，它会根据对象类型的不同而变化 plot(x,y,type=”b”)表示x为横轴，y为纵

数据输入 1、键盘输入： R中的函数edit()会自动调用一个手动输入的文本编辑器。 2、从带分隔符的文本文件导入数据： 使用函数：read.table() 3、导入Excel数据： 4、使用RDBC来访问数据库接口： 5、处理数据对象的一些常用函数： 好了，这是输入的一些基本知识，下次开讲R中最强大的图形

R语言数据结构： 1、输入和输出： 函数source(“filename”)，表示在当前命令行执行一个R脚本文件，不指定路径，则默认为当前路径，否则，指定路径用函数：setwd(“paht”)。 文本输出，sink(“filename”)可以将输出重定向到filename中，如果此路径下文件存在则覆盖，否则就创建，可以指定参数，append=TRUE来对文件末尾进行追加，使用spli

常用计算 ufunc计算 比较Numpy和原始python计算的速度： NumPy的计算：四则运算 计算数组之和，常用add（） 其中，ａｄｄ函数里面有输出函数ａｄｄ（ａ，ｂ，ｏｕｔ），如果不写则默认一个新数组来存储，如果指定可输入到ｏｕｔ中，例如： ｎｐ．ａｄｄ（ａ，ｂ，ａ）等同于ａ＋＝ｂ，如下表示了常见

java中只有值传递 先上概念：java程序设计语言中，总是采用按值传递，也就是说，一个方法中所获得参数，都是原来实参的一个拷贝。 具体要讲清楚这几个概念，需要搞清以下几个例子就好了： 1、java中基本数据类型的传递，都是值传递： double num=10; sample.change(num); public static smaple(double

数据类型与结构 结构数组 可以通过a.tostring()或者a.tofile()可以将数组a以二进制的形式写入文件，并且可以用c语言直接读取该文件： a.tofile(“test.bin”) 用C语言读取： 数组的内存结构：

简单绘图 import numpy as np from scipy import signal import pylab as pl t=np.linspace(0,10,100) x=signal.chirp(t,5,10,30) pl.plot(t,x) pl.show() 如下： 也可以将此文件保存为test.py，然后在

TensorFlow安装 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从图象的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。 TensorFlow对于Win

hadoop异常解析一、网页访问异常异常:linux下hadoop4使用desktop火狐浏览器无法访问hadoop1的网址：hadoop:50070原因：hadoop1、hadoop2、hadoop3、hadoop4均要关闭iptables（防火墙）和SELinux（Security-Enhanced Linux）SELinux简介：SELinux(Secur