- 博客(10)
- 收藏
- 关注
RSS订阅原创 Vue.js笔记
1、下一个编辑器，vscodeVS Code：https://code.visualstudio.com/Hbuilder X：http://www.dcloud.io/hbuilderx.html2、Vue.js安装引用：https://cn.vuejs.org/v2/guide/installation.html3、创建代码框打‘！’出来一个模板结构<!DOCTYPE html><html lang="en"><head> <meta
2021-05-14 22:45:42
249
原创 Spark编程基础（三）
Spark SQL简介Spark SQL是Spark生态系统中非常重要的组件，其前身为Shark。Shark即Hive on Spark，Shark的实现继承了大量的Hive代码，因而给优化和维护带来了大量的麻烦，特别是基于MapReduce设计的部分，成为整个项目的瓶颈。因此，在2014年的时候，Shark项目中止，并转向Spark SQL的开发。Spark SQL架构Spark SQL增加了SchemaRDD（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数
2021-04-12 13:25:28
326
原创 Spark编程基础（二）
Spark编程基础（Python版）RDD编程初级实践一、实验目的（1）熟悉Spark的RDD基本操作及键值对操作；（2）熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统：Ubuntu18.4Spark版本：2.4.0Python版本：3.7.0三、实验内容和要求1．pyspark交互式编程下载chapter4-data1.txt，该数据集包含了某大学计算机系的成绩，数据格式如下所示：Tom,DataBase,80Tom,Algorithm,50Tom,DataSt
2021-04-05 22:10:00
5267
原创 Spark编程基础（一）
Spark编程基础（Python版）Spark简介Spark是一种安全的、经正式定义的编程语言，被设计用来支持一些安全或商业集成为关键因素的应用软件的设计。Spark具有如下几个主要特点：运行速度快容易使用通用性运行模式多样RDD是什么弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算SparkContext的概念SparkContext是整个spar
2021-04-05 21:38:49
913
原创 大数据生态与Spark简介
**大数据生态与spark简介**首先了解一下，大数据是什么呢？大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的四大V：数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Value)第一代诞生的大数据生态圈是由Google通过各种发表关于Hadoop的相关论文，开源等措施推动的，然后各个成员跟随，例如A
2021-02-26 22:13:48
2648
4
原创 Python时间模块转换&哈希加密
Python时间模块转换&哈希加密一、时间模块转化1、将时间戳转化为时间元组#gmtime —> UTC国际标准时间#localtime —> 本地时间print(time.getime(72047023))print(time.localtime(72047023))2、将时间元组转化为时间字符串print(time.strftime("%Y-%m-%d %H:%M:%S",time.gmtime(72047023)))3、将时间字符串转化为时间元组print(
2020-11-22 19:32:14
544
原创 Python内置模块
Python内置模块一、sys模块用于设置或获取Python解释器的信息print(sys.path) python包和模块所在的路径sys.argv 命令行参数List，第一个元素是程序本身路径sys.exit( ) 退出程序，正常退出时exit(0)sys.version 获取Python解释程序的版本信息sys.maxint 最大的Int值sys.platform 返回操作系统平台名称二、OS模块1
2020-11-17 19:49:31
230
1
原创 Python模块、包与文件
Python模块、包与文件一、模块1、以 .py结尾的文件都是模块；模块中可以包含定义好的函数、变量、类和数据等内容。2、在模块被调用执行后会自动被Python解释器编译成二进制文件，用于对模块加速执行。-pycache-目录下创建 模块名.cpython-版本.pyc3、 * 引用所有 ， as 起别名模块的引入我们可以使用 import 语句或from…import语句来引入模块二、包1、包是用于存放模块的文件夹，将有关联或同一类型的模块放同一文件夹中，包中必须含有–ini
2020-11-14 14:29:58
524
1
原创 Python高阶函数与装饰器函数
Python高阶函数与装饰器函数高阶函数1、可以使用函数对象作为参数的函数2、或可以将函数作为返回值的函数3、函数对象：定义好的函数，使用函数名调用（不要加括号）#将函数作为参数的高阶函数，通过传入不同的函数，可以使执行的结果不同4、内置高阶函数（1）map数据映射函数map函数接收的是两个参数，一个函数，一个序列，其功能是将序列中的值处理再依次返回至列表内。其返回值为一个迭代器对象（2）reduce累计函数 reduce函数也是一个参数为函数，一个为可迭代对象的高阶函数，其返回值
2020-11-08 10:27:10
880
5
原创 我的Python生涯
最适合编程入门的语言之一——PythonPython语言特点简单概括如下：（1）语法简单，容易学习和运用（2）面向对象编程（3）跨平台，具有可移植性（4）模块化开发，功能丰富（5）具有很好的扩展性不过它火起来的主要原因，还是它的应用范围实在是太广泛了！学会Python的话，像：人工智能工程师、数据分析师、爬虫工程师、前后端开发、大数据工程师、运维测试工程师等等岗位都可以自由选择。人生苦短，我用Python，接下来讲讲Python的各种基础知识点。一、变量变量是保存和表示数据值的一种语法
2020-10-31 11:52:45
3118
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人