![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
文章平均质量分 66
Python
Hinomoto Oniko
这个作者很懒,什么都没留下…
展开
-
Python入学测试题 江苏某线下培训机构出题
中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。3. 题目:输入两个正整数m和n,求其最大公约数和最小公倍数。为检测自身的情况,请认真作答,不要进行上网搜答案。1. 什么是极大似然估计?2. 二维数组中的查找。5.导数的定义是什么?原创 2024-01-04 12:01:20 · 449 阅读 · 1 评论 -
Spark RDD练习 算子函数操作
6、创建一个 RDD(由字符串组成)list["xiaoli", "laoli", "laowang", "xiaocang", "xiaojing", "xiaokong"],# 3. 创建一个元素为 1-5 的RDD,运用 flatMap创建一个新的 RDD,新的 RDD 为原 RDD 每个元素的 平方和三次方 来组成 1,1,4,8,9,27…# 7、创建一个 RDD数据为List[10,10,2,5,3,5,3,6,9,1],对 RDD 中元素执行去重操作。原创 2023-07-01 19:40:28 · 674 阅读 · 0 评论 -
黑马一站制造数仓实战5
油站类型、油站名称、油站编号、客户编号、客户名称、省份、城市、县区、油站状态、所属公司。- org_employee:员工信息表【员工id、员工编码、员工名称、用户系统id】需求:构建服务网点维度表,得到服务网点id、网点名称、网点所属的地理区域、服务网点状态等。需求:构建油站维度表,得到油站id、油站名称、油站所属的地理区域、所属公司、油站状态等。org_position:岗位信息表【岗位id、岗位编码、岗位名称、部门id】org_organization:部门信息表【部门id、部门编码、部门名称】原创 2024-05-31 23:11:41 · 859 阅读 · 0 评论 -
黑马一站制造数仓实战4
本次数据来源于Oracle数据库,没有具体的ETL的需求,可以直接将ODS层的数据写入DWD层。- 遍历表名,对每张表调用自动化建表的方法:数据库名称、表的名称、None【不分全量或者增量】- 问题5:Oracle中的字段类型如果与Hive中的类型不一致怎么办?- 抽取目标:将ODS层中每张表的数据抽取到DWD层对应的数据表中。- 建表需求:将ODS层中的每一张表创建一张对应的DWD层的表。step1:DWD层的数据库名称是什么,建库的语法是什么?- 问题6:怎么获取Oracle的表的信息的?原创 2024-05-31 23:12:41 · 754 阅读 · 0 评论 -
黑马一站制造数仓实战3
重点关注:dw.ods.meta_data.tablenames.txt:存储了整个ODS层的表的名称。- 修改1:auto_create_hive_table.cn.itcast.EntranceApp.py。- TableMeta.py:Oracle表的信息对象:用于将表的名称、列的信息、表的注释进行封装。- ColumnMeta.py:Oracle列的信息对象:用于将列的名称、类型、注释进行封装。- - - - 表名、表的注释、表在HDFS上的路径、Schema文件在HDFS上的路径。原创 2024-05-31 23:12:49 · 675 阅读 · 0 评论 -
黑马一站制造数仓实战2
数据血缘追踪:简单来讲可以这样理解,我们最终给业务诚信的是一能直接使用的一张业务表,但是它的来源有很多,如果有一张来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。属性功能:指定AM为每个Container申请的最小内存,默认为1G,申请不足1G,默认分配1G,值过大,会导致资源不足,程序失败,该值越小,能够运行的程序就越多。维度模型:从分析决策的需求出发构建模型,为分析需求服务,重点关注用户如何更快速的完成需求分析,具有较好的大规模复杂查询的响应性能。原创 2024-05-31 23:12:55 · 1076 阅读 · 0 评论 -
黑马一站制造数仓实战1
Docker是一个开源的应用容器引擎,使用GO语言开发,基于Linux内核的cgroup,namespace,Union FS等技术,对应用程序进行封装隔离,并且独立于宿主机与其他进程,这种运行时封装的状态称为容器。通过对应用组件的封装,分发,部署,运行等生命周期的管理,达到应用组件级别的一次封装,多次分发,到处部署。step6:如果为维修或者改造服务,需要向服务站点申请物料,物料到达,实施结束,则服务完成。container模式:第一个容器构建一个独立的虚拟网络,其他的容器与第一个容器共享网络。原创 2023-12-01 20:48:37 · 380 阅读 · 0 评论 -
Spark 9:Spark 新特性
由于缺乏或者不准确的数据统计信息(元数据)和对成本的错误估算(执行计划调度)导致生成的初始执行计划不理想,在Spark3.x版本提供Adaptive Query Execution自适应查询技术,通过在”运行时”对查询执行计划进行优化, 允许Planner在运行时执行可选计划,这些可选计划将会基于运行时数据统计进行动态优化, 从而提高性能.2. 动态分区裁剪可以让我们更好的优化运行时分区内数据的量级. 通过动态的谓词下推来获取传统静态谓词下推无法获得的更高过滤属性, 减少操作的分区数据量以提高性能.原创 2023-10-09 22:31:27 · 1097 阅读 · 0 评论 -
Spark 8:Spark SQL 执行流程、执行引擎
相当于构建了一个以MetaStore服务为元数据,Spark为执行引擎的数据库服务,像操作数据库那样方便的操作SparkSQL进行分布式的SQL计算。DataFrame:100% 是二维表结构,可以被针对SparkSQL的自动优化,依赖于:Catalyst优化器。而SparkSQL会对写完的代码,执行“自动优化”, 以提升代码运行效率,避免开发者水平影响到代码执行效率。RDD的运行会完全按照开发者的代码执行, 如果开发者水平有限,RDD的执行效率也会受到影响。SQL提交后,底层运行的就是Spark任务。原创 2023-09-28 11:22:37 · 332 阅读 · 0 评论 -
Spark 6:Spark SQL DataFrame
DataFrame和RDD都是:弹性的、分布式的、数据集。在数据层面上,Column对象记录列数据,Row对象记录行数据。DataFrame同样是分布式数据集,有分区可以并行计算,和RDD不同的是,DataFrame中存储的数据结构是以表格形式组织的,方便进行SQL计算。SparkSQL 和 Hive同样,都是用于大规模SQL分布式计算的计算框架,均可以运行在YARN之上,在企业中广泛被应用。DataFrame对象可以从RDD转换而来,都是分布式数据集,其实就是转换一下内部存储的结构,转换为二维表结构。原创 2023-09-05 17:20:59 · 674 阅读 · 0 评论 -
Spark 5:Spark Core 内核调度
Spark在1.1以前的版本一直是采用Hash Shuffle的实现的方式,到1.1版本时参考Hadoop MapReduce的实现开始引入Sort Shuffle,在1.5版本时开始Tungsten钨丝计划,引入UnSafe Shuffle优化内存及CPU的使用,在1.6中将Tungsten统一到Sort Shuffle中,实现自我感知选择最佳Shuffle方式,到的2.0版本,Hash Shuffle已被删除,所有Shuffle方式全部统一到Sort Shuffle一个实现中。该参数就代表了可以重试。原创 2023-07-31 10:22:33 · 174 阅读 · 0 评论 -
Spark 4:Spark Core 共享变量
分布式集合RDD和本地集合进行关联使用的时候,降低内存占用以及减少网络IO传输,提高性能。分布式代码执行中,进行全局累加。广播变量解决了什么问题?累加器解决了什么问题?原创 2023-07-17 17:06:41 · 496 阅读 · 0 评论 -
Spark 3:Spark Core RDD持久化
CheckPoint是重量级保存RDD数据,是集中存储,只能存储在硬盘(HDFS)上,设计上是安全的(不保留RDD血缘关系)。Cache是轻量化保存RDD数据,可存储在内存和硬盘,是分散存储,设计上数据是不安全的(保留RDD血缘关系)。Cache性能更好,因为是分散存储,各个Executor并行执行,效率高,可以保存到内存中(占内存),更快。CheckPoint比较慢,因为是集中存储,涉及到网络IO,但是存储到HDFS上更加安全(多副本)。RDD 的CheckPoint。RDD 的数据是过程数据。原创 2023-05-25 23:05:30 · 665 阅读 · 2 评论 -
Spark 2:Spark Core RDD算子
RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可分区、里面的元素可并行计算的集合。内存:尽管mapPartitions在性能上有优势,但需要注意的是,mapPartitions在处理大量数据时可能会导致内存不足,因为它需要在每个分区上一次性处理所有数据。转换算子的返回值100%是RDD, 而Action算子的返回值100%不是RDD。Distributed:RDD中的数据是分布式存储的,可用于分布式计算。原创 2023-05-18 08:01:49 · 385 阅读 · 0 评论 -
Spark 1:Spark基础入门
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。Task:被分配到各个 Executor 的单位工作内容,它是Spark 中的最小执行单位,一般来说有多少个 Paritition(物理层面的概念,即分支可以理解为将数据划分成不同部分并行处理),就会有多少个 Task,每个 Task 只会处理单一分支上的数据。原创 2023-05-01 17:33:35 · 789 阅读 · 0 评论 -
Python 文本文件处理 投资记录文件格式转换
Python文本文件处理 投资记录文件格式转换原创 2023-01-15 09:28:48 · 3265 阅读 · 0 评论 -
GSM-MODEM AT指令集 Python示例程序
选择短消息支持格式(TEXT or PDU)+VGR调整听筒增益,+VGT调整话筒增益。保存+CSCA and +CSMP参数设置。恢复+CSCA and +CSMP参数设置。报告不同的结果代码(传输方式、语音或数据)选择不同的本机号码(因网络服务支持不同)保持或挂断某一通话线路(支持多方通话)设置传真发送的速度(使用HDLC协议)设置传真接收的速度(使用HDLC协议)+VTD设置长度,+VTS发送信号。选择不同声道(2对听筒和话筒)设置选择网络方式(自动/手动)选择不同的记忆体上存储的电话簿。原创 2023-01-07 11:06:48 · 715 阅读 · 0 评论 -
Python 游乐场门票购买 简单的if-else系统
i = 0price = 50price = 30price = 0else:continuei += 1。原创 2023-01-07 10:56:55 · 1038 阅读 · 0 评论 -
Python电影观众数量回归分析 随机森林 可视化 实验报告
在回归计算中,为了提升模型的收敛速度,加快迭代速度,减少寻找最优解的时间,提升模型的精度,常使用标准化的方法将每一列特征转化为均值为0、方差为1的较小数字。本文探讨了某个国家或地区电影上座人数与电影的时长、荧幕数量、分级、题材、演员和导演等指标的关系,使用Python编程语言,利用随机森林回归预测的方法分析了影响电影卖座程度的因素,预测效果较好,拟合较为准确。使用sklearn提供的随机森林回归器,对给定的数据进行机器学习,获取相关的特征,并对测试集进行预测。其中,n为样本的数量。原创 2023-01-06 18:48:10 · 1585 阅读 · 0 评论 -
Python scrapy爬虫 生成 启动 crawlspider命令 爬取示例网站的数据案例
生成crawlspider。创建一个scrapy项目。原创 2023-01-05 20:29:17 · 424 阅读 · 0 评论 -
pymysql使用案例 Python 销售业务处理 商品信息管理系统
stuff_id = input("请输入要修改库存的商品id:")stuff_amount = input("请输入新的商品库存:")id_card = input("请输入持卡人身份证号:")username = input("请输入持有人名称:")username = input("请输入持有人名称:")id_ = input("请输入要删除的用户ID:")password = input("请输入密码:")id_ = input("请输入用户ID:")id_ = input("请输入用户ID:")原创 2023-01-04 18:32:07 · 466 阅读 · 0 评论 -
Python 北京房价预测实验报告 深度学习 tensorflow keras
BP(Back Propagation)神经网络是一种具有三层或者三层以上的多层反向传播神经网络,每一层都由若干个神经元组成,它的左、右各层之间各个神经元实现全连接,即左层的每一个神经元与右层的每个神经元都由连接,而上下各神经元之间无连接。第二阶段是误差的反向传播,从输出层到隐含层,最后到输入层,依次调节隐含层到输出层的权重和偏置,输入层到隐含层的权重和偏置。随着经济的不断发展和社会资源的集中,人们出现了向大城市集中的趋势,其中,北京作为我国的首都,吸引人才的能力在中国和世界都具有较强的竞争力。原创 2023-01-04 15:17:30 · 1211 阅读 · 0 评论 -
Python 统计红楼梦、Jane Eyre词频方法
w.write(word + '出现的行数及行如下:\n')words = ['贾宝玉', '宝玉', '林黛玉', '黛玉']包含去除标点符号和换行、空格等因素。原创 2023-01-01 10:43:48 · 1054 阅读 · 2 评论 -
TensorFlow Keras ImageDataGenerator VGG16 Finetune
#%%from keras.applications.vgg16 import VGG16from keras.preprocessing import imagefrom keras.preprocessing.image import ImageDataGeneratorimport numpy as npfrom keras.models import Sequentialfrom keras.layers import Dropout, Flatten, Densefrom ker.原创 2021-12-24 20:27:56 · 178 阅读 · 0 评论 -
TensorFlow Keras ImageDataGenerator VGG16 Bottleneck
猫狗识别#%%from keras.applications.vgg16 import VGG16import numpy as npfrom keras.preprocessing.image import ImageDataGeneratorfrom keras.models import Sequential, load_modelfrom keras.layers import Dropout, Flatten, Densefrom keras.optimizers impo..原创 2021-12-24 01:31:27 · 755 阅读 · 0 评论 -
TensorFlow Keras ImageDataGenerator CNN
猫狗分类 CNN#%%from keras.preprocessing.image import ImageDataGeneratorfrom keras.preprocessing.image import load_img, img_to_array#%%# 对图片进行随机处理,以扩大数据集datagen = ImageDataGenerator( # 随机旋转角度 rotation_range=40, # 随机水平平移 width_shift_r.原创 2021-12-23 00:01:52 · 1941 阅读 · 0 评论 -
TensorFlow Keras RNN
#%%from keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.layers.recurrent import SimpleRNNfrom keras.optimizers import Adam#%%# 数据长度 一行28个像素input_size = 28# .原创 2021-12-22 22:04:55 · 151 阅读 · 0 评论 -
TensorFlow Keras CNN
MNIST分类案例#%%from keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Convolution2D, MaxPooling2D, Flattenfrom keras.optimizers import Adam#%%# x_train shape: (60原创 2021-12-22 21:45:26 · 558 阅读 · 0 评论 -
Python OpenCV12:OpenCV 人脸检测
首先,我们需要大量的正样本图像(人脸图像)和负样本图像(没有人脸的图像)来训练分类器。 我们需要从中提取特征。 下图中会用到Haar特征,就像我们的卷积核一样,每个特征都是一个值,等于黑色矩形中的像素值减去白色矩形中的像素值之和。Haar 特征值反映了图像的灰度变化。 例如,人脸的某些特征可以简单地用矩形特征来描述。 眼睛比脸颊更黑,鼻子两侧比鼻梁更黑,嘴巴比周围更黑。 Haar特征可以用在图像的任意位置,大小也可以任意改变,所以矩形特征值是矩形模板类型、矩形位置和矩形大小三个因素的函数。 因此,类原创 2021-12-06 11:56:51 · 3676 阅读 · 0 评论 -
Python 面向对象程序设计练习3:异常
使用Python实现下述功能。用户需要注册才能登录系统,注册需要填写账号和两次密码,密码长度小于6位或两次密码不一致抛出对应异常。新注册的用户没有权限。用户登录后,如果有权限,则可以执行吃饭、睡觉、学习3种操作,如果没有权限则抛出异常。用户登录后可以退出。系统存在用户名为admin,密码为adminpwd的管理员,可以为用户赋予和删除权限。试图选择不存在的用户或删除不存在的权限会抛出异常。-------------------------------------------------------原创 2021-09-25 18:10:11 · 181 阅读 · 0 评论 -
Python OpenCV11:OpenCV 视频追踪
1.meanshift假设有一堆点集和一个可以是圆形的小窗口。现在您可能希望将此窗口移动到具有最高点集密度的区域,如下图:第一个窗口C1是蓝色圆圈的区域。蓝色环的中心用蓝色矩形标记并命名为 C1_o。窗口中所有点的点集形成的质心在蓝色圆形点C1_r。显然,质心和环的质心不重合。移动蓝色窗口,使质心与先前获得的质心重合。在新移动的圆环的区域内再次找到圆环包围的点集的质心,然后再次移动。通常,形心和质心不重合。继续执行上述移动过程,直到形心与质心大致重合。这样,最终的圆形窗口就会落到像素分布最大的.原创 2021-08-22 18:13:24 · 967 阅读 · 1 评论 -
Python OpenCV10:OpenCV 视频基本操作
1. 读视频1.1 获取视频对象要在 OpenCV 中获取视频,需要创建一个 VideoCapture 对象并指定要读取的视频文件。cv.VideoCapture(filepath)参数:filepath 视频文件路径返回值:cap 读取视频的对象1.2 获取视频属性cap.get(propId) 获取视频的属性信息参数:propId 表示视频属性种类的数字:1.3 修改视频属性cap.set(propId,value)参数:proi原创 2021-08-21 21:24:03 · 1850 阅读 · 2 评论 -
Python OpenCV9:OpenCV 图像特征提取
1 Harris角点检测Harris角点检测通过图像的一个小部分窗口观察图像。角点的特点是窗口向任意方向移动都会引起图像灰度的显著变化。将上述思想转化为数学形式,即将局部窗口向各个方向移动(u,v),计算所有灰度差的总和。其中 I(x,y) 是局部窗口的图像灰度, I(x+u,y+v) 为平移后的图像灰度,w(x,y) 是窗口函数。窗口可以是矩形窗口,也可以是为每个像素分配不同权重的高斯窗口,如下图:在角点检测中,E(u,v) 的值被最大化。 使用一阶泰勒展开式:其中 .原创 2021-08-21 15:44:12 · 2699 阅读 · 0 评论 -
Python OpenCV8:OpenCV 模板匹配、霍夫变换
1. 模板匹配模板匹配:在给定的图片中找到与模板最相似的区域。思路是按照滑动窗口的思路不断移动模板图片,并计算它和图像对应区域的匹配度,最终选择匹配度最高的区域作为最终结果。对于该图像和模板:要识别匹配区域,我们必须通过滑动来比较模板图像与源图像:模板块从左到右、从上到下每次移动一个像素,在每个位置计算与模板图像的相似度,结果存储在结果矩阵中。 如果输入图像的大小 W*H 和模板图像的大小 w*h ,则输出矩阵R的大小为(W-w + 1,H-h + 1),并将R显示为图像。.原创 2021-08-21 01:04:43 · 481 阅读 · 0 评论 -
Python OpenCV7:OpenCV 边缘检测
1. Sobel 算子检测Sobel 算子是高斯平滑和微分运算的组合,抗噪能力很强,用途也很多,尤其是效率要求高但对细纹理不是很在意的时候。对于不连续的函数,有:假设要处理的图像为I,在两个方向求导。水平变化:用奇数大小的模板对图像I卷积,结果为Gx。例如,当模板大小为3时,Gx为:垂直变化:用奇数大小的模板对图像I卷积,结果为Gy。例如,当模板大小为3时,Gy为:在图像的每个点,结合以上两个结果,得到:极大值的位置是图像的边缘。当核大小为3时,上述Sob..原创 2021-08-20 17:33:27 · 260 阅读 · 0 评论 -
Python OpenCV6:OpenCV 直方图
1. 图像直方图图像直方图是一种用于表示数字图像中亮度分布的方法,绘制了图像中每个亮度值对应的像素数。 在这个直方图中,横坐标左侧是较暗的区域,右侧是较亮的区域。 因此,较暗的图片的直方图中的数据大多集中在左侧和中间部分,而只有少量阴影的整体明亮图像则相反。直方图是基于灰度图像绘制的,而不是基于彩色图像。 假设有一张信息图像(灰度值0~255,已知数的范围包含256个值,那么这个范围可以按照一定的规则划分子区域(即bins):然后统计每个bin的像素数,可以得到下图(其中 x 轴代表 b原创 2021-08-20 12:12:58 · 254 阅读 · 1 评论 -
Python OpenCV5:OpenCV 图像平滑
1. 图像噪声图像的采集、处理、传输等过程难免会受到噪声的污染,阻碍了人们对图像的理解和分析。1.1 椒盐噪声椒盐噪声也称为脉冲噪声,是图像中经常看到的一种噪声。 它是一种随机出现的白点或黑点。 它可能是亮区中的黑色像素或暗区中的白色像素,或两者兼有。 椒盐噪声可能是由图像信号的突然强干扰、模数转换器或比特传输错误引起的。 例如,传感器故障导致像素值为最小值,传感器饱和导致像素值为最大值。1.2 高斯噪声高斯噪声也称为正态噪声,指噪声密度函数服从高斯分布的一类噪声。 由于高斯噪声在空原创 2021-08-19 17:57:16 · 1372 阅读 · 1 评论 -
Python OpenCV4:OpenCV 形态学操作
1. 连通性在图像中,最小的单位是像素,每个像素周围有8个邻接像素。常见的邻接关系有3种:4邻接、D邻接和8邻接。分别如下图所示:2. 形态学操作原创 2021-08-19 01:12:57 · 347 阅读 · 0 评论 -
Python OpenCV3:OpenCV 几何变换
1. 图像缩放缩放是对图像的大小进行调整,即放大或缩小。cv2.resize(src, dsize, fx, fy, interpolation)参数:src 输入图像dsize 绝对尺寸,直接指定调整后图像的大小fx,fy 相对尺寸,将dsize设置为None,然后将fx和fy设置为比例因子即可interpolation 插值方法:cv.INTER_LINEAR 双线性插值cv.INTER_NEAREST 最近邻插值cv.INTER_AREA 像素区域重采样(默认原创 2021-08-18 00:03:03 · 1099 阅读 · 3 评论 -
Python OpenCV2:OpenCV 图像算数操作
1. 图像的加法要把两幅图像相加,可以使用OpenCV的add函数,或者可以简单地通过NumPy操作,如res = img1 + img2。两个图像应该具有相同的大小和类型,或者第二个图像可以是标量值。注意:OpenCV加法和NumPy加法之间存在差异。OpenCV的加法是饱和操作,而NumPy添加是模运算。如:OpenCV中,某个颜色的值250+10=260会变成饱和的255,而NumPy加法250+10=260,260%256=4,得到4。cv.add(x,y) 将x和y相加对两幅图原创 2021-08-17 23:17:27 · 969 阅读 · 0 评论