总结
文章平均质量分 56
莽撞少年
热烈且自由
展开
-
数据类型之间可以进行加法运算吗?--Python
【代码】数据类型之间可以进行加法运算吗?--Python。原创 2022-12-19 12:24:07 · 553 阅读 · 1 评论 -
集合的增删改查?--Python
集合的增删改查原创 2022-11-30 20:01:58 · 381 阅读 · 0 评论 -
什么是集合?--Python
什么是集合-原创 2022-11-24 18:38:01 · 704 阅读 · 0 评论 -
字典的循环遍历--Python
字典的循环遍历原创 2022-11-23 21:33:54 · 555 阅读 · 0 评论 -
什么是字典?以及字典的增删改查?
字典的增删改查原创 2022-11-21 11:02:36 · 346 阅读 · 0 评论 -
什么是元组?以及应用在哪些场景?以及元组的相关操作?
元组的相关操作原创 2022-11-18 10:22:59 · 657 阅读 · 0 评论 -
列表的嵌套--Python
列表的循环嵌套原创 2022-11-17 16:56:24 · 2835 阅读 · 0 评论 -
字符串拆分以及合并--Python
Python字符串的拆分和合并原创 2022-11-10 16:21:16 · 1353 阅读 · 0 评论 -
字符串查询--Python
字符串替换原创 2022-11-08 16:50:32 · 2665 阅读 · 0 评论 -
字符串替换Python
python原创 2022-11-08 16:33:54 · 215 阅读 · 0 评论 -
什么是字符串索引?
字符串索引原创 2022-10-31 16:10:12 · 3484 阅读 · 0 评论 -
字符串定义
字符串定义原创 2022-10-31 15:53:29 · 228 阅读 · 0 评论 -
range函数
range函数详解原创 2022-10-31 11:22:41 · 7398 阅读 · 0 评论 -
for循环与while循环的区别
for循环和while循环区别原创 2022-10-31 10:53:35 · 1338 阅读 · 0 评论 -
for循环结构
for循环原创 2022-10-31 10:50:40 · 123 阅读 · 0 评论 -
Python赋值运算符
赋值运算符原创 2022-10-19 16:20:18 · 657 阅读 · 0 评论 -
算数运算符
算数运算符原创 2022-10-18 17:39:17 · 136 阅读 · 0 评论 -
数据类型的转换--Python
数据类型的转换原创 2022-10-18 11:05:47 · 812 阅读 · 0 评论 -
字符串格式化及输出
字符串格式化输出原创 2022-10-14 16:11:05 · 1433 阅读 · 1 评论 -
Python中的数据类型?
Python 数据类型原创 2022-10-14 10:56:23 · 134 阅读 · 0 评论 -
标识符的命名规范 --python
Python 命名规范原创 2022-10-14 10:42:43 · 129 阅读 · 0 评论 -
Numpy
整合c/c++/Fortran代码的工具。线性代数,傅里叶变换,随机数生成等功能。一个强大的N维数组对象ndarray。原创 2022-10-13 10:47:26 · 247 阅读 · 0 评论 -
什么是Sklearn?
scikit-learn是基于Python语言的机器学习工具。建立在numpy,scipy和matplotlib上。简单高效的数据挖掘和数据分析工具。可供大家在各种环境中重复使用。原创 2022-10-13 10:43:43 · 182 阅读 · 0 评论 -
pandas
是由一组数据(各种Numpy)数据类型以及一组与之相关的数据标签(既索引组成的)dataframe既有行索引也有列索引。可以看做是serious组成的字典。包含有一组有序的列,每列可以是不同的值类型(数值,字符串,布尔型等)dataframe是由pandas中的一个表格型结构数据。它的使用基础是Numpy(提供高性能的矩阵运算)pandas是一个强大的分析结构化数据的工具集。仅有一组数据也可以产生简单的series对象。pandas利器之dataframe。他是一种类似于一堆数组的对象。原创 2022-10-13 10:32:15 · 343 阅读 · 0 评论 -
阿里云如何提供接口 生成api?
1 阿里云生成api 生成接口原创 2022-06-30 12:08:47 · 1396 阅读 · 0 评论 -
日期函数DATEDIFF() 计算日期之差
函数返回两个日期之间的时间。原创 2022-06-30 11:54:06 · 11771 阅读 · 1 评论 -
阿里云更换资源组
1 打开阿里云官网,进入控制台登录.2 找到大数据数据治理平台3 登录并找到 '数据服务'3点开这两个4 会看到每个下面有几个文件夹5然后一个个点开这些数据表 举一个例子说明:(1)点开服务资源组2在这里选择最新的资源组3点开上面的测试 测试完成后提交 提交后发布就OK了...原创 2022-05-07 21:51:27 · 1341 阅读 · 0 评论 -
Linux 常用命令
linux:常用命令:ls 列出目录内容ls -a 显示指定目录下所有子目录与文件,包含隐藏文件ls -l 以列表方式显示文件的详细信息ls -h 配合 -l 以人性化的方式显示文件大小案例:ls #查看当前目录内容 (缺点: 隐藏文件看不到,以 .开头的文件) !ls -a #查看当前目录内容 ,包括隐藏文件ls –al #查看目录内容的详细信息(查看文件类型、权限、大小等)ls -lh #查看目录内容的详细信息,以K,M,G方式显示文件大小ls /root原创 2021-12-19 18:39:21 · 313 阅读 · 0 评论 -
什么是脑裂?
当有两个主服务的时候 ....正常情况下,当主节点无法工作时,会从备选主节点中选举一个出来成为主节点,原主节点回归后变成备选主节点。可能只是网络延迟原因,主节点没能及时响应,集群可能以为主节点下线了,选举了一个新主节点,此时一个集群中有了两个主节点,其他节点不知道该听谁的调度,这时就发生了"脑裂"现象,也就是“精神分裂”。...原创 2021-12-05 19:13:29 · 1403 阅读 · 0 评论 -
Mysql面试题(笔试基础)
练习数据数据表 --1.学生表 Student(SId,Sname,Sage,Ssex)--SId 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别--2.课程表 Course(CId,Cname,TId) --CId --课程编号,Cname 课程名称,TId 教师编号--3.教师表 Teacher(TId,Tname) --TId 教师编号,Tname 教师姓名--4.成绩表 SC(SId,CId,score) --SId 学生编号,CId 课程编号,score转载 2021-11-22 15:04:44 · 1151 阅读 · 0 评论 -
Hive
1-Hive--DDL操作hql语句形式 DDL 库、表、视图 创建修改删除 create、alter、drop DML 表的具体数据的事务操作 数据写入 数据的修改 数据的删除 DQL 数据查询 from、where、group by、having 、聚合、select、order by,limit DCL 权限原创 2021-11-22 14:52:40 · 194 阅读 · 0 评论 -
spark 部署安装
安装笔Spark Local 模式搭建文档在本地使用单机多线程模拟Spark集群中的各个角色安装包下载目前Spark最新稳定版本:课程中使用目前Spark最新稳定版本:3.1.x系列https://spark.apache.org/docs/3.1.2/index.html★注意1:Spark3.0+基于Scala2.12Downloads | Apache Spark★注意2:目前企业中使用较多的Spark版本还是Spark2.x,如Spark2.2.0、Spark原创 2021-11-19 20:25:56 · 2601 阅读 · 0 评论 -
分布式
什么是分布式?分布式系统是指:一个硬件或软件,其组件会分布在不同的计算机上,彼此之间仅仅通过网络消息传递进行通信和协调的系统。简单来说就是一群独立计算机集合起来共同对外提供服务,但是对于系统的用户来说,就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机(相对于昂贵的大型机)组成分布式集群对外提供服务。计算机越多,CPU、内存、存储资源等也就越多,能够处理的并发访问量也就越大。下面以网站架构变迁来举例说明。初代的web服务网站架构往往比较简单,应用程序、...原创 2021-11-19 20:17:55 · 281 阅读 · 0 评论 -
数据仓库
数据仓库的基本介绍思考: 什么是数据仓库呢? 数据仓库就是一个面向于主题的, 主要用于存储过去历史发送的数据, 对这些数据进行统计分析, 从而对未来进行决策支持 数据仓库最大的特点呢? 既不生产数据, 也不消耗数据, 数据来源于各个数据源什么是数据分析呢? 其实本质上就是在进行数据查询聚合统计过程, 根据需求得到相关结果 在简单点: 数据查询思考: 数据仓库四大特征?1) 面向于主题: 主题指的分析的内容, 要分析什么, 什么就是我们的主题2) 非易时性原创 2021-11-19 20:05:46 · 4996 阅读 · 0 评论 -
什么是RDD
RDD的五大特性(明确知道)五大特性:1- (必须的)可分区的: 每一个分区对应就是一个Task线程2- (必须的)计算函数(对每个分区进行计算操作)3- (必须的)存在依赖关系4- (可选的)对于key-value数据存在分区计算函数5- (可选的)移动数据不如移动计算(将计算程序运行在离数据越近越好)RDD的五大特点(了解)1- 可分区的: 分区是抽象的分区, 仅仅是定义分区的信息规则2- 只读特性: 一个RDD对象中数据是不可变的3- 依赖: RDD与RDD之间是存在.原创 2021-11-17 19:43:13 · 299 阅读 · 0 评论 -
spark sql 底层原理:
1- sparkSQL底层解析是有RBO 和 CBO优化完成的2- RBO是基于规则优化, 对于SQL或DSL的语句通过执行引擎得到未执行逻辑计划, 在根据元数据得到逻辑计算, 之后加入列值裁剪或谓词下推等优化手段形成优化的逻辑计划3- CBO是基于优化的逻辑计划得到多个物理执行计划, 根据代价函数选择出最优的物理执行计划4- 通过codegenaration代码生成器完成RDD的代码构建5- 底层依赖于DAGScheduler 和TaskScheduler 完成任务计算执行...原创 2021-11-17 19:40:14 · 990 阅读 · 0 评论 -
spark SQL自定义函数:
spark SQL 自定义函数:自定义函数:第一种: U D F (用户自定义函数)函数 特点: 一对一的关系,输入一个值以后输出一个值 (一进一出) 大部分的内置函数都是U D F函数比如:substr()第二种:U D A F 用户自定义聚合函数特点:多进一出比如SUM() count() avg()....第三种:U D T F 用户自定义表生成函数特点:一进多出(给一个数据,返回多行多列的数据)比如:explode()爆炸函数不管是...原创 2021-11-15 13:36:19 · 1271 阅读 · 0 评论 -
spark
day01_SparkBase今日内容: 1-spark的基本介绍(了解) 1.1: spark的基本概念 1.2: spark的发展历程 1.3: spark的特点 2- spark的环境搭建 (参考安装文档搭建成功) 2.1: local本地模式安装操作 2.2: pySpark环境安装操作 2.3: standalone集群模式搭建操作 2.4: standalone HA 高原创 2021-11-14 14:09:21 · 1761 阅读 · 0 评论 -
ODS
OLTP数据结构(重要)关系图订单模块订单表:订单核心信息订单详情表:订单表的副表,id和订单表一致订单分组表:订单组-壳子订单退款表:订单退款详情订单配送表:订单配送详情订单评价表:订单评价信息订单商品评价表:订单商品评价信息订单结算表:各方的收益结算订单商品快照表:下单后定型的商品信息,和SKU脱离支付模块订单组支付表:订单组支付成功以后插入数据。交易记录表:交易的详细记录信息。店铺商圈模块店铺表商圈...原创 2021-10-24 21:32:40 · 2781 阅读 · 0 评论 -
数仓工具!! 项目要用
数仓工具(重点)练习:http://hadoop02:8889/账号:hue密码:hueHue操作HDFS(操作)新建文件夹、新建文件、上传文件、查看文件、编辑文件、删除文件。Hue操作Hive(重点)建库、建表、插入、查询内置函数: 精度四舍五入 ▁▁▁round(double, length)字符串截取函数 ▁▁▁substr(string, start, length)字符串拼接函数 ▁▁▁concat concat_ws年月日获取▁▁▁year/quart原创 2021-10-21 21:02:35 · 438 阅读 · 0 评论