- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据生态与Spark简介
大数据生态与Spark 1. 大数据技术概述 首先了解一下，大数据是什么呢？ 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的四大V： 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Value) 大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。 大数据是由结构化和非结构化
2021-03-01 17:44:42
55
原创 python
文件 文件：被持久化存储在磁盘上的字符串。 文件分为文本文件和二进制文件，它们都是由字节组成的信息，通常保存在存储介质（如硬盘、U盘） 文本文件都是可读的，比如可以通过文本编辑器直接打开或者在浏览器中显示。 二进制文件除了文本文件之外的都是二进制文件，比如图片、Word文档，如果通过文本编辑器打开，会看到类似乱码一样的内容，不是可独字符。 文件的操作基本流程：打开—>操作—>关闭 打开用open()函数 open()函数用于读写文件 open()的参数依次是要打开的文件名，打开的方式’r’（读）
2020-11-28 10:00:06
61
原创 Python
1.pickle模块 这个模块实现了用于Python对象进行序列化和反序列化的二进制协议，该模块的序列化和反序列化过程叫做Pickling还有unpickling 1.picking 当Python对象转化为字节流的过程 2.unpickling 将字节流对象字节流二进制文件转化为Python对象的过程。 2.引入库 1.pickle.dumps(object):接收一个对象为参数，并返回对象的参数表达形式。 2.pickle.dump(object,f):用来将对象opject写入二进制文件f中，第一个参
2020-11-28 09:48:04
103
1
原创 Python
OS模块 os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径 os.chdir(“dirname”) 改变当前脚本工作目录；相当于shell下cd os.curdir 返回当前目录: (’.’) os.pardir 获取当前目录的父目录字符串名：(’…’) os.makedirs(‘dirname1/dirname2’) 可生成多层递归目录 os.removedirs(‘dirname1’) 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推 os.mkdir(
2020-11-25 16:35:00
81
1
原创 Python模块
二、模块 1.模块 pyhon中的模块就是要将这个目录和目录下的各个文件作为对象来处理。当然，不是作为一般文件对象(通过open)来处理。而是作为模块对象来处理（通过各种形式的import）。当将一个目录，或者目录下 的.py的文件import到代码里的时候，他们就成了对象———模块。模块可以被别的程序引入，以使用该模块中的函数等功能。 .pyc文件：是经过python编译后得到的模块文件。 安装第三方模块使用的命令： （1）pip install 模块名 ——>安装 （2）pip uninstall
2020-11-20 19:09:51
70
原创 Python
Python函数 定义一个函数 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。 return [表达式] 结束函数，选择性地返回一个值给调用方，不带表达式的 return 相当于返回 None。 语法 Python 定义函数使用 def 关键字，一般格式如下： def 函数名（参数列表）: 函数体 函数调用 定义一个函数：给了函数一个名称，指定了函数里包含的参数，和代码块结构。 这个函数的基本结构完成以后，你可以通过另一个函数调用执行，也可以直接从 Python 命令提示
2020-10-31 22:28:54
71
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人