- 博客(37)
- 收藏
- 关注
RSS订阅
1原创 numpy学习笔记
typora-root-url: 图片一、第三方库numpy1、数组对象1）导入numpyimport numpy as np2)产生数组1、从列表传入l=[0,1,2,3]a=np.array(l)a=np.array([1,2,3,4])2、生成全0数组np.zeros(参数)a=np.zeros(zeros(shape,dtype=float,order='C')生成全0数组参数： shape:形状 dtype:数据类型.
2021-12-31 10:48:13
1341
原创 pandas学习笔记
一、pandas库的Series类型1、初始化1、一维Series可以用一维列表初始化a=pd.Series([1,3,5,np.nan,6,5])2、索引1、默认的情况下，Series的下标都是数字（可以使用额外参数指定），类型是统一的b=pd.Series([1,3,5,np.nan,6,5],index=['a','b','c','d','e','f'])print(b)2、索引——数据行标签a.index3、取值a.values4、切片a[2:5]5、索引赋值
2021-12-24 11:46:03
996
原创 spark-core rdd转换算子
spark-core rdd转换算子一、单值类型1、map(f) 映射转换➢ 函数签名def map[U: ClassTag](f: T => U): RDD[U] ➢ 函数说明将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。val dataRDD: RDD[Int] = sparkContext.makeRDD(List(1,2,3,4))val dataRDD1: RDD[Int] = dataRDD.map(num => {num * 2})va
2021-09-20 20:05:40
159
原创 spark-core rdd行动算子
spark-core rdd行动算子1、reduce()val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")val sc = new SparkContext(sparkConf)val rdd = sc.makeRDD(List(1,2,3,4))/** * ➢ 函数签名 def reduce(f: (T, T) => T): T ➢ 函数说明 聚集 RDD 中
2021-09-20 20:00:07
87
转载 大数据环境搭建
大数据环境搭建一、虚拟机配置1、关闭防火墙# 把SELINUX那值设为disabled[root@master ~]# vim /etc/selinux/configSELINUX=disabled停止firewall[root@master ~]# systemctl stop firewalld.service禁止firewall开机启动[root@master ~]# systemctl disable firewalld.service 2、配置节点网络[root@mas
2021-09-20 19:14:04
665
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人