大数据扩展知识
文章平均质量分 90
一些大数据扩展知识
ListenerDMT
大数据
展开
-
python进阶常用模块 +OS/SYS模块+ time/datetime模块+random随机模块
一、time/datetime模块1、引入一般来说对程序中时间的处理有以下三种时间的显示:在屏幕显示,记录日志等时间的转换:比如把字符串格式的日期转成python中的日期类型时间的运算:计算两个日期间的差值(1)time模块"""time 模块"""import time# 打印出系统时间到1970年1月1日相差的秒数print(time.time())# 将一个时间戳转换为当前时区的 struct_time,默认是当前系统时间戳print(tim.原创 2022-05-17 09:54:54 · 679 阅读 · 1 评论 -
python进阶之正则表达式操作
正则表达式在线验证网站regex101: build, test, and debug regex目录正则表达式在线验证网站一、正则表达式1、. 匹配字符2、 * 表示重复匹配任意次3、+重复匹配多次 ,不包括0次4、问号 匹配 0 - 1 次5、花括号 指定匹配次数6、贪婪模式和非贪婪模式7、转义字符 \8、匹配某种字符类型9、方括号 表示要匹配 指定的几个字符之一10、起始、结尾位置 和 单行、多行模式(1)起始...原创 2022-05-12 15:16:23 · 1530 阅读 · 0 评论 -
Python爬虫上手+RE+BS+XPATH
一、爬虫基础1、robots协议规定了网站哪些是可爬,哪些不可爬,君子协议2、http协议(1)概念服务器和客户端进行数据交互的一种形式(2)常用的请求头信息user-agent:请求载体的身份标识Connection :请求完毕后,是断开连接,还是保持连接(3) 常用响应头信息connect-type 服务器响应回客户端的数据类型3、https协议安全的超文本传输协议4、加密方式对称密钥加密非对称密钥加密证书密钥加密原创 2022-05-12 10:36:37 · 473 阅读 · 0 评论 -
Excel常用函数+数据透视表
原创 2022-05-10 10:27:52 · 7579 阅读 · 0 评论 -
Python进阶操作1+python脚本
一、关于打开文件两种方式"""第一种使用print进行输出,输出的目的地是文件"""fp = open(r"D:\test.txt","w")print("这是利用print输出",file = fp)fp.close()"""第二种 使用文件读写操作进行输出"""with open(r"D:\aa.txt","w") as file: file.write("这是利用with 进行输出的")二、lambda函数和map函数"""lambda""""""一 创建匿名函原创 2022-04-26 17:07:32 · 1377 阅读 · 0 评论 -
Python上手基础
一、列表list1、访问特定元素# 访问特定元素content = [1,2,'ac','ok']print(content)print(content[2].title())print(content[-1])2、修改元素# 修改元素content = [1,2,'ac','ok']content[2] = "mysql"print(content)3、添加元素 # 最后添加元素content = [1,2,'ac','ok']content.append.原创 2022-04-16 19:58:06 · 1475 阅读 · 0 评论 -
基于阿里云官网文档-大数据开发治理平台 DataWorks研读+数据质量扩展+相应的大数据组件知识扩展
网址:阿里DataWorkers网址:数据集成概述 - 大数据开发治理平台 DataWorks - 阿里云目录网址:阿里DataWorkers网址:数据集成概述 - 大数据开发治理平台 DataWorks - 阿里云一、DataWorks工作流程1、数据集成(1)数据同步过程中几个必要的东西2、数据开发(1)写sql,但又不止写sql(2)调度配置3、运维工作(1)大体如下(2)周期任务实例DAG图(有向无环图)(3)任务状态(4)补数据4、...原创 2022-04-10 19:58:09 · 3822 阅读 · 0 评论 -
数仓基础+ONEDATA建模+各类事实表比较
(1)什么是数仓?数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。面向主题:基于某个明确的主题,仅需要与该主题相关的数据集成的:从不同的数据源采集数据到同一个数据源,此过程会有一些ETL操作。随时间变化的:关键数据隐式或者显式的基于时间变化相对稳定:数据仓库的数据一般是反应相当长一段时间内的数据内容(2)为什么要对数据仓库进行建模?清晰、性能、质量、效率(3)关于 OLTP、OLAPOLTP翻译为联机事务处理, OL原创 2022-03-21 20:05:16 · 3169 阅读 · 0 评论