- 博客(6)
- 资源 (24)
- 收藏
- 关注
原创 Spark_rdd_and_map_reduce基本操作
from __future__ import print_function, divisionfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSessionspark = SparkSession.builder.master("local") \ .appName("test") \ ...
2018-08-21 21:07:15 961
原创 windows连接本地centos虚拟机的Pyspark的Jupyter开发环境
1首先安装Scala和spark,参考教程: https://blog.csdn.net/pucao_cug/article/details/72377219 2安装Python3和Jupyter,参考教程: https://blog.csdn.net/max_cola/article/details/78902597 3 centos下使Jupyter同时支持Python2和3 htt...
2018-08-20 15:22:59 570
原创 Spark集群安装与启动
整个安装过程参考博文: https://blog.csdn.net/JavaMoo/article/details/77175579 遇到的问题JAVA_HOME is not set ,参考博文: https://blog.csdn.net/u014052851/article/details/76549451(一)启动Hadoop hadoop启动:只需要再hserver1(nam...
2018-08-19 08:51:41 346
原创 centos7安装Hadoop集群成功
安装centos7 最小安装后通过将网络/etc/sysconfig/network-scripts/ifcfg-ens33中的随机启动改为yes,获取网络后开始yum install一系列包后,主要按照博文 https://blog.csdn.net/pucao_cug/article/details/71698903 成功安装了Hadoop集群 ...
2018-08-18 22:36:30 277
原创 使用scipy.interpolate将非等间距采集的值插值成等间距的值
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import interpolate#读数据df=pd.read_excel("D:/Data/data_grundfox_r.xlsx" )#绘制原始数据曲线plt.figure(figsize=(10,5), dpi=...
2018-08-16 23:03:57 4661
原创 装饰器使用案例
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport mathimport datetimefrom pandas import DataFrame,Seriesfrom copy import deepcopyimport seaborndef timer(func): """...
2018-08-01 17:00:58 229
linux内核设计与实现
2011-11-23
信号检测与估计(第二版)段凤增
2010-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人