Hadoop完全分布式配置流程 要将现有的 Hadoop 伪分布式配置升级为完全分布式环境,你需要对多个配置文件进行修改,同时在多台主机上配置相应的服务。根据你的集群配置(1 个 NameNode 和 2 个 DataNode),以下是完整的配置步骤。
Hadoop安装前置准备--安装JDK 8 配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中。创建文件夹,用来部署JDK,将JDK安装部署到:/export/server 内。通过FinalShell,上传下载好的JDK安装包。登陆Linux系统,切换到root用户。配置java执行程序的软链接。解压缩JDK安装文件。
FinalShell安装教程 不论是Windows还是Linux亦或是MacOS系统,都是支持这两种使用形式。图形化:使用操作系统提供的图形化页面,以获得图形化反馈的形式去使用操作系统。命令行:使用操作系统提供的各类命令,以获得字符反馈的形式去使用操作系统。
虚拟机、CentOS安装流程 HBase可以工作在Linux和Windows操作系统上。但一般都是安装在Linux操作系统上面。个人pc安装的操作系统一般都是Windows或MacOS,那我们想安装HBase岂不是要重装系统?如何获得Linux操作系统环境?这就要涉及到虚拟机了。
np.linspace()函数 np.linspace主要用来创建等差数列。np.linspace参数:numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None, axis=0)Return evenly spaced numbers over a specified interval.(在start和stop之间返回均匀间隔的数据)Returns num evenly spaced samples, calculated over
np.newaxis()函数 np.newaxisnp.newaxis 的功能是增加新的维度,但是要注意 np.newaxis 放的位置不同,产生的矩阵形状也不同。通常按照如下规则:np.newaxis 放在哪个位置,就会给哪个位置增加维度x[:, np.newaxis] ,放在后面,会给列上增加维度x[np.newaxis, :] ,放在前面,会给行上增加维度用途: 通常用它将一维的数据转换成一个矩阵,这样就可以与其他矩阵进行相乘。例1:这里的 x 是一维数据,其 shape 是 4,可以看到通过在列方向上
np.astype()函数 astype函数用于array中数值类型转换x = np.array([1, 2, 2.5])x.astype(int)输出array([1, 2, 2]) arr = np.arange((10))print(arr, arr.dtype, sep="")[0 1 2 3 4 5 6 7 8 9]int32 #可以看到,他的数据类型为 int32 arr = arr.astype("float32")print(arr, arr.
np.digitize()函数 numpy.digitize(x, bins, right = False) 参数:x : numpy数组bins :一维单调数组,必须是升序或者降序right:间隔是否包含最右返回值:x在bins中的位置。 Example:import numpy as npbins = np.array(range(-99, 102, 3))a = np.digitize(-98,bins) #a=1b = np.digitize(68,bins) #b=56
np.random.randint函数 numpy.random.randint(low, high=None, size=None, dtype=‘l’)函数的作用是,返回一个随机整型数,范围从低(包括)到高(不包括),即[low, high)。如果没有写参数high的值,则返回[0,low)的值。参数如下:low: int生成的数值最低要大于等于low。(hign = None时,生成的数值要在[0, low)区间内)high: int (可选)如果使用这个值,则生成的数值在[low, high)区间。size:
np.percentile()函数 percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation='linear', keepdims=False)作用:找到一组数的分位数值,如四分位数等(具体什么位置根据自己定义)a : array,用来算分位数的对象,可以是多维的数组q : 介于0-100的float,用来计算是几分位的参数,如四分之一位就是25,如要算两个位置的数就(25,75)axis : 坐标轴的方向,一维的就不用考虑了,多维的就用这个
np.ptp()函数 该函数的名称来自“peak to peak”的首字母缩写词对所有数据计算求最大值和最小值的差值的方法1 a.ptp())对所有数据计算求最大值和最小值的差值的方法2 np.ptp(a))Examples>>> x = np.array([[4, 9, 2, 10],... [6, 9, 7, 12]])>>> np.ptp(x, axis=1) # axis=1时, 每行最大值 - 每行最小值array([8,
np.amax和np.max的区别 np.amax和np.max是同一个函数.例如( 来自官方文档: help(np.amax) ):>>> a = np.arange(4).reshape((2,2))>>> aarray([[0, 1], [2, 3]]) >>> np.amax(a) # Maximum of the flattened array3>>> np.amax(a, axis=None)