![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python
python数据分析,python基础,python爬虫
厚德载物的陈同学
需要源码的(https://github.com/Chicksqace),B站搜索(厚德载物的陈同学)感谢三连支持!!!
展开
-
人机交互到艺术设计及玫瑰花绘制实例
绘制花朵形状:首先绘制一个圆形,然后绘制两段半径为200s的弧线和一段100s的弧线,接着绘制两段半径为50s的曲线和一段半径为350s的弧线,最后绘制一段半径为70s的曲线、一段半径为150s的弧线、一段半径为50s的曲线、一段半径为400s的弧线、一段半径为50s的曲线和一段前进250s的直线。绘制两个绿色的叶子:分别绘制两个半径为300s的圆弧和一段前进600s的直线,然后绘制第二个叶子,包含两段半径为300s和一段半径为600s的弧线。为绘制方向,即正值为逆时针,负值为顺时针。原创 2023-04-28 15:21:54 · 593 阅读 · 0 评论 -
从Web解析到网络空间
【代码】从Web解析到网络空间。原创 2023-04-27 22:13:46 · 73 阅读 · 0 评论 -
霍兰德人格分析雷达图
在循环中,使用ax.plot函数绘制特质分数的折线图,并使用ax.fill函数填充颜色。这段代码的作用是绘制一个极坐标系下的雷达图,其中包含了职业类型和对应的6个特质分数的数据。需求:雷达图方式验证霍兰德人格分析 - 输入:各职业人群结合兴趣的调研数据 - 输出:雷达图。定义角度:使用numpy的linspace函数生成6个角度,作为雷达图的x轴坐标。添加坐标轴标签:使用ax.set_thetagrids函数添加角度轴的标签。定义数据:一个6行6列的矩阵,表示6个职业的6个特质分数。原创 2023-04-26 23:31:03 · 2378 阅读 · 0 评论 -
从数据处理到人工智能(常用库的介绍)
比如我们需要把俩个PDF格式的文件合并输出成一个文件,我们的代码只需要将俩个文件打开,利用PyPDF库中的一个PdFileMerger,将它合并整合之后输出就可以了。可以这么理解pandas通过扩展了对一维数据和二维数据的一种表示,因而能够形成更高层对数据的操作,简化数据分析的运行。原创 2023-04-26 22:58:48 · 421 阅读 · 0 评论 -
os库的使用与第三方库安装脚本
os 顾名思义,就是与操作系统相关的标准库。如:文件,目录,执行系统命令等。os库是Python标准库,包含几百个函数常用路径操作、进程管理、环境参数等几类路径操作:os.path子库,处理文件路径及信息进程管理:启动系统中其他程序环境参数:获得系统软硬件信息等环境参数。原创 2023-04-15 16:36:23 · 1046 阅读 · 0 评论 -
Python第三方库安装
步骤1:在UCI页面上搜索wordcloud - 步骤2:下载对应版本的文件 - 步骤3:使用pip install 安装。如果操作系统没有编译环境,则能下载但不能安装(就是有些包是exe文件,是可执行的)当然可以,但是可能第三方库的作者没有提供。学会检索并利用PyPI,找到合适的第三方库开发程序。为什么有些第三方库用pip可以下载,但无法安装?第2步:挑选适合开发目标的第三方库作为基础。某些第三方库pip下载后,需要编译再安装。使用-U标签更新已安装的指定第三方库。下载但不安装指定的第三方库。原创 2023-04-13 22:35:19 · 551 阅读 · 0 评论 -
程序设计方法学
以前就是实证思维,通过查询当地的历史天气的数据,并且根据这样的经验,来猜测第二天的温度。总体来说,该程序是一个简单的竞技分析模拟程序,通过随机数模拟比赛结果,并对比赛结果进行统计分析,得出选手A和B的胜率。这是一个Python程序,用于模拟两个选手A和B进行某种竞技比赛的结果,并给出比赛结果的统计分析。逻辑思维:推理和演绎,数学为代表,A->B B->C A->C -实证思维:实验和验证,物理为代表,引力波原创 2023-04-13 19:09:09 · 1416 阅读 · 0 评论 -
Scrapy爬虫基本使用与股票数据Scrapy爬虫
按照生成器的说法,它首先执行for循环,然后执行到yield这行语句的时候,这个函数就会被冻结,而当前yield对应的那一行产生值会被返回出来,所以这个函数在调用的时候,它会首先产生一个值,这个值就是当i等于0的时候的值的平方值,之后会逐渐遍历这个循环。总之,这段代码定义了两个数据处理管道类,它们分别提供了不同的处理方法来处理爬虫抓取到的数据。allowed_domains = ["python123.io"] 最开始用户提交给命令行的域名,指的是爬虫在爬取网站的时候,它只能爬取这个域名以下的相关链接。原创 2023-04-09 20:03:04 · 1280 阅读 · 0 评论 -
Scrapy爬虫框架(概念)
Scrapy是一个快速功能强大的网络爬虫框架安装后小测: 执行 scrapy ‐hScrapy不是一个函数功能库,而是一个爬虫框架。原创 2023-04-09 13:28:17 · 942 阅读 · 0 评论 -
一维二维数据格式化和处理,wordcloud库使用
wordcloud库提供了mask参数,通过覆盖的方式,可以生成任意形状的词云。- 步骤1:读取文件、分词整理 - 步骤2:设置并输出词云 - 步骤3:观察结果,优化迭代。列表类型可以表达一维有序数据 - for循环可以遍历数据,进而对每个数据进行处理。集合类型可以表达一维无序数据 - for循环可以遍历数据,进而对每个数据进行处理。一维数据:由对等关系的有序或无序数据构成,采用线性方式组织。二维数据的表头可以作为数据存储,也可以另行存储。列表类型可以表达二维数据,使用二维列表。原创 2023-04-07 18:16:59 · 629 阅读 · 0 评论 -
文件的使用与自动轨迹绘制
对于一个文件,不对它进行处理的时候,它体现的是一种文件的存储状态,此时文件在计算机的硬盘中存储,如果要操作一个文件,首先,要让这个文件变成占用状态。虽然这种办法很好,但是有弊端,如果这样的文本文件体量特别大,比如这个文件有100Gb,我们一次性将文件读入内存,将会耗损非常多的时间和资源,因此对大文件来将,一次性的读入文件的代价很大, 不建议。第四,第五,第六三个参数指画这段曲线或直线所使用的rgb三个通道的颜色,而这RGB三个通道颜色的取值范围是0到1之间的浮点数。如果转向判断为1,向右转指定的角度;原创 2023-04-06 14:30:59 · 402 阅读 · 0 评论 -
数据的特征分析及房价增幅与M2增幅的相关性案例(axis=1为横向,axis=0为纵向)
首先需要准备好房价增幅和M2增幅的数据,可以从数据源获取或手动输入。其中,price_increase和m2_increase分别是房价增幅和M2增幅所在的列,corrcoef函数返回一个矩阵,取其第一行第二列的元素即为相关系数。其中,plt.plot函数分别画出了房价增幅和M2增幅的曲线,plt.legend函数用于显示图例,plt.show函数将图像显示出来。其中,data.csv是存储数据的文件名,index_col=0表示使用第一列作为索引。同理,给出前n的数的和,积,最大值,最小值。原创 2023-04-04 21:30:10 · 531 阅读 · 0 评论 -
Re(正则表达式)库入门及淘宝商品信息定向爬虫
这种等价的用法是通过面向对象的方式来使用正则表达式,它包含有俩部分,第一个部分是使用re.compile,将一个正则表达式的字符串,编译成为一个正则表达式的类型,然后我们就可以通过pattern对象,直接调用search等六个方法来获取相关结果,这种方法的好处是经过一次编译,当我们需要多次对正则表达式进行使用和匹配时,就可以通过这个方式来加快整个程序的运行。match和search的方法比较相似,都是在一个字符串s中寻找pat子字符串,如果能找到,就返回一个Match对象,如果找不到,就返回None。原创 2023-04-02 19:44:01 · 679 阅读 · 0 评论 -
Beautiful Soup库入门及信息标记、提取方法与浙江大学排名定向爬虫案例
接着,使用open函数打开一个名为“1.txt”的文件,使用"a"模式,即在文件末尾追加内容,并指定编码为utf-8。先有HTML,然后有了xml格式,因此可以说xml格式是基于HTML格式发展以来的一种通用的信息表达形式,简单说xml通过标签形式来构建所有的信息,当标签中有内容,我们用一对标签来表达这个信息,如果没有信息用一 对尖括号表达,同时可以增加注释。最终,该代码会将获取到的前10名的省市序、学校名称、省市、类型信息保存到名为“1.txt”的文件中。信息有类型,适合程序处理(js),较XML简洁。原创 2023-04-01 17:03:49 · 671 阅读 · 0 评论 -
Requests库入门--实战
需要注意的是,这段代码中使用了try-except语句来捕获异常,以避免程序出现错误时直接退出。判断图片是否已经存在于本地,如果不存在则使用requests库的get方法获取图片内容,并将其写入本地文件中。在页面中通过审查元素,找到图片的地址,记住这个路径,我们要通过爬虫把这个图片保存到我们的D盘下。这段代码使用了Python的requests库来爬取一张图片,并将其保存到本地。通过url.split("/")[-1]获取图片的文件名,并将其加入到路径中,得到path。如果出现异常,则输出“爬取失败”。原创 2023-03-30 16:20:01 · 295 阅读 · 0 评论 -
Requests库入门--理论
request库的执行流程,判断它的状态码,如果返回的是200那就是成功的,也就是可以从页面中拿数据,否就是失败的。Response对象包含服务器返回的所有信息,也包含请求的Request信息。原先是乱码的,通过r.encoding='utf-8',把它变成正确的编码方式。requests.request()方法是基方法,其他都是基于这个分类出去的。就是在使用网络爬虫的时候,如果爬取有robots协议的网站,请遵守它。发现request库对应的7种方法对应的整数HTTP协议对资源的操作。原创 2023-03-30 14:53:27 · 172 阅读 · 0 评论 -
字典类型操作、jieba库使用及文本词频统计
理解“映射”映射是一种键(索引)和值(数据)的对应字典类型是“映射”的体现键值对:键是数据索引的扩展字典是键值对的集合,键值对之间无序采用大括号{}和dict()创建,键值对用冒号: 表示{:,:}可以通过键拿到值我们在之前的的集合中说声明一个空集合要使用set(),而不是直接用{}这是因为,如果使用{}默认为集合。原创 2023-03-28 19:17:44 · 2856 阅读 · 2 评论 -
组合数据类型之集合、序列
首先,什么是组合数据类型,组合数据类型就是一组数据,表达一个或多个含义集合是多个元素的无序组合集合类型与数学中的集合概念一致集合元素之间无序,每个元素唯一,不存在相同元素集合元素不可更改,不能是可变数据类型 为什么?因为,集合类型要求集合中每个元素都要是唯一的,如果我们修改了一个数据类型,改变之后导致它跟集合类型中的元素重合了,那么就会报错了集合用大括号 {} 表示,元素间用逗号分隔建立集合类型用 {} 或 set()建立空集合类型,必须使用set()原创 2023-03-28 17:55:29 · 779 阅读 · 0 评论 -
Pandas库入门
计算前N项累加和Pandas库主要提供了俩种数据类型:Series(一维的数据类型),DataFram(多维的数据类型)基于上述数据类型的各类操作 基本操作、运算操作、特征类操作、关联类操作。原创 2023-03-27 19:41:41 · 743 阅读 · 0 评论 -
Matplotlib库基础图表函数及引力波的绘制实例
plt.pie()lables指的是饼图的标签sizes指的是对应的尺寸explode让第二个30%突出0.1autopct中间显示百分数的方式shadow=False二维饼图不带阴影 startangle=90饼图的起始角度加plt.axis('equal')可以让饼图成为一个正圆形的饼图 pyplot直方图的绘制plt.hist参数值:hist的参数非常多,但常用的有以下6个,只有第一个是必须的,后面5个可选x: 作直方图所要用的数据,必须是一维数组。多维数组可以先进行扁平化再作图bins:原创 2023-03-26 15:27:00 · 895 阅读 · 0 评论 -
Matplotlib库入门
什么是Matplotlib库?Matplotlib是一个Python的数据可视化库,用于绘制各种类型的图表,包括线图、散点图、条形图、等高线图、3D图等等。它是一个非常强大和灵活的库,被广泛用于数据科学、机器学习、工程学、金融等领域。Matplotlib提供了一个面向对象的API,可以让用户对图形进行高度的自定义。用户可以控制图形的每个方面,如标题、标签、轴、线条颜色、线型、填充、字体等等。此外,Matplotlib还提供了一些工具,用于将图形保存为图像文件,如PNG、PDF等格式。原创 2023-03-25 23:11:57 · 1401 阅读 · 0 评论 -
PyInstaller库的使用(py文件转exe文件)及Koch曲线及推广,绘制康托尔集
将.py源代码转换成无需源代码的可执行文件意思就是将.py文件转换为.exe文件PyInstaller库是第三方库- 官方网站:http://www.pyinstaller.org- 第三方库:使用前需要额外安装- 安装第三方库需要使用pip工具。原创 2023-03-25 16:41:11 · 931 阅读 · 0 评论 -
代码复用和函数递归及汉诺塔问题
这个n==1 or n==2就是基例 return f(n-1)+f(n-2)就是链条。这个s==""就是基例 rvs(s[1:])+s[0]就是链条。基例就是不满足条件的要return出去的代码块。这个链条就是指这个函数与计算函数之间的关系。用递归方式实现字符串的反转。原创 2023-03-25 15:56:40 · 55 阅读 · 0 评论 -
函数的定义与使用及七段数码管绘制
函数是一段具有特定功能的、可重用的语句组函数是一种功能的抽象,一般函数表达特定功能两个作用:降低编程难度 和 代码复用求一个阶乘fact就是 函数名 n就是参数 return就是输出部分即返回值而函数的调用就是函数名()即调用 函数调用之后得到返回值函数是ipo的实现,也是完整代码的封装必须要有的参数放在前面,你要先给它值,而可以有可以没有的让它放在后面,这是一种约定 或者是强制约定这个就是可选参数,你没有给它传值,它就按照默认的执行这样就可以求n!*m!原创 2023-03-25 12:55:25 · 882 阅读 · 0 评论 -
程序的循环结构和random库的使用及蒙特卡罗方法求圆周率
就是因为你编程中给出了随机数种子,那么下次程序再次运行,只要种子相同,那么产生的随机也相同,我们对于随机数的程序我们可以复现或者再现你程序运行的过程,如果不使用随机数种子,那么它默认使用的是当前系统时间,而那个时间是精确到微秒的,而这个时间是我们很难再现的,所以后面产生的程序运行的结果就是完全随机。需要注意的是,蒙特卡罗方法是一种概率方法,估计的圆周率并不是精确的值,而是一个近似值。具体的做法是,随机生成大量的点,计算在圆内的点的数量,然后用这个数量除以总的采样点数,再乘以 4,就可以得到圆周率的近似值。原创 2023-03-22 21:59:39 · 283 阅读 · 0 评论 -
程序的分支结构及身体质量指数BMI
而retrying是一个python的重试包,可以用来自动重试一些可能运行失败的程序段,retrying提供一个装饰器函数retry,被装饰的函数就会在运行失败的情况下重新执行,默认只要一直报错就会不断重试。可以理解为我们首先去执行语句块1的一部分代码,如果它不发生异常,我们奖励性的执行语句块三,如果发生了异常就去执行语句块2,无论发不发生异常都会执行语句块4。注意的一点,异常要用函数定义的方式,使用方式就是@retry标记一下就可以了。注意如果标明了异常的类型,那么这个异常就只响应它这个异常。原创 2023-03-22 11:45:38 · 370 阅读 · 0 评论 -
文本进度条
所有这行代码诠释的含义是,我要输出一个字符串,但是输出前把光标放到行首,然后输出,输出不换行,下次输出它又回到行首,输出,然后不断刷新。print("----------执行结束----------") 结束标签。print("----------执行开始----------") 开始标签。print("\n"+"执行结束".center(scale//2,"-"))print("执行开始".center(scale//2,"-"))\r的作用是在打印字符串之前,它能使光标退回当前行的行首。原创 2023-03-20 23:51:39 · 204 阅读 · 0 评论 -
爬取代理池
前言:言多必失,爬一个代理。原创 2023-03-19 21:52:18 · 64 阅读 · 0 评论 -
time库的使用
个人感觉吧,strftime的作用就是将gmtime()格式的转换为我们要的时间格式。strptime的作用是将我们一个字符时间格式的转换为gmtime格式的。3.gmtime函数生成其他程序可以利用的一个时间格式。2.ctime获得一个程序员可以理解字符串时间结果。可以有个计时的作用,而且很准,以纳米为单位。1.最简单调用time函数获得一个浮点数。在时间获取上,我们有三个选择。原创 2023-03-19 20:26:58 · 54 阅读 · 0 评论 -
字符串类型及操作
其实在python中并没有提供真正的多行注释,三引号就是字符串,这个字符串并没有给到变量中,或者这个字符串没有进行任何操作,那么这个字符串可以当做注释来用。Unicode编码的范围更加的广,因此pythonUnicode编码能把覆盖世界上所有在字符。就是将之前的字符串放到后面的参数中每个元素之间,可以用来对字符串进行分割。案例打印出十二星座的Unicode码对应的字符 因为9800是十二星座的第一位。字符串我觉得可以看做成由字符组成的数组,因此它跟数组很像。在槽中添加一个参数,确定它的位置。原创 2023-03-19 17:55:45 · 53 阅读 · 0 评论 -
pycharm报(Traceback (most recent call last))||(AttributeError: partially initialized module ‘)错误及解决方案
问题就出了你的文件名和要导入的包名一样了,导包先导自己写的包,然后外置的包。你导的numpy并不是你想要的包而是自己写的包就是你这个文件。那肯定会报错了,你创建的文件又没有封装的XXX方法。File "D:/pythonProject/北京理工大学/数据分析和展示/numpy.py", line 5, in File "D:\pythonProject\北京理工大学\数据分析和展示\numpy.py", line 6, in 解决方案就是换个跟包不同的文件名就可以了。原创 2023-03-15 20:20:00 · 20249 阅读 · 0 评论 -
天天向上实例开发
就是浮点数0.1+0.2的值无限接近0.3而不是预料的0.3,这个因为浮点数间运算存在不确定尾数,不是bug。像JavaScript计算也存在这种问题。这里有一点注意的是x**y如果y是整数那就是乘方运算例如:2**3=8而如果是小数那么是开发运算例如4**1/2=2。解决这种浮点数间运算存在不确定尾数,可以采用round()函数。如果每天进步百分之一,最后进步了1.44。而每天退步百分之前,最后退步到了0.69。这里的1.001是(1+1%)^365。就是通过计算思维来解决数学题。原创 2023-03-14 15:16:27 · 161 阅读 · 0 评论 -
下载python包的三种方式
方法3:终端下载 cmd pip install 包名 如果卡顿,上网找它的镜像网站(清华),因为你下载的包是来自于国外的网站,当然你有科学上网工具,就不用找镜像了。方法2:设置里面,内部下载 找到下面第一个页面 按+键 搜索你需要的包。方法:1:alt+回车 或者 鼠标移动到红色文字上面 按照提示下载。下载包的方式 以barcode为例。原创 2023-03-12 13:46:10 · 14809 阅读 · 0 评论 -
图像的手绘效果
convert('L')理解如下。原创 2023-03-11 18:14:17 · 47 阅读 · 0 评论 -
数据分析之表示:NumPy数据存取与函数
np.savetxt('a.csv',a,fmt='%d',delimiter=',')保存一个名为a.csv的文件,写入文件的数组a,格式为数字型,用‘,’分割。choice就是重数组中抽元素,感觉这个可以做一个抽奖小程序 如果replace=False,那么就不会抽中重复的了。a=np.arange(100).reshape(5,20)就是生成5行20列的数据。np.savetxt() np.loadtxt()只能有效存取一维和二维数组。这个函数还是挺重要的,除了数据分析用到,人工智能也用到。原创 2023-03-08 22:48:00 · 79 阅读 · 0 评论 -
数据分析之表示:NumPy库入门
import numpy as np 这个np是numpy的别名ndarray数组一般要求所有元素类型相同(同质),数组下标从 0开始这里要注意的是array()里面的数组,数组内的元素个数要相同否则会报错import numpy as np 导入numpyprint(a.ndim) 几行print(a.shape) 2行6列print(a.size) 对象元素的个数print(a.dtype) 对象元素类型。原创 2023-03-02 17:54:00 · 85 阅读 · 0 评论 -
python简单试题
1、Python“读心术”这是一个猜价格小游戏(V1.0)请猜测一下小王的零食花了多少钱(0-10之间的整数): 4。4.列表和切片,输入一些成绩,删除不及格分数后重新输出。答案要随机,每次运行游戏时答案都是不同的且不可知的;3.Python函数,输出斐波那契数列的第n项目。2.Python“读心术”进阶,改进实验1,如果输入内容的格式不正确要给出提示;猜错了,小王的零食价格是8元!游戏应该在猜错的时候给出提示;猜对了之后要统计出来猜了几次。应该有多次的猜测机会;原创 2023-02-28 22:57:45 · 348 阅读 · 0 评论 -
python基本图像绘画
本次的学习是通过turtle库的学习绘画出python的蛇形图像现在正处于人工智能时代,像chartgpt就很火,但在人工智能时代其实更注重于人类自身的发展,体现在人工智能如何帮助,辅助人们更好的完成任务。而python是世界唯一一个“超级语言”原创 2023-02-28 22:23:35 · 128 阅读 · 0 评论 -
python程序语法元素分析
if TempStr[-1] in ['F', 'f']: 判断语句判断用户输入的最后一个字符是不是F或者f 如果是就执行下面的代码。C = (eval(TempStr[0:-1]) - 32)/1.8 就是取除最后的值 进行计算。print("转换后的温度是{:.2f}C".format(C)) 输出保留两位小数的计算值。print("转换后的温度是{:.2f}F".format(F))注意的一点input函数的返回值是一个字符串型。print的是以字符形式向控制台输出结果的函数。原创 2023-02-27 23:21:30 · 92 阅读 · 0 评论 -
python:程序设计基本方法
执行程序需要源代码,维护更灵活 (源代码在维护灵活,跨多个操作平台)CPU/GPU,内存,硬盘,电子产品价格等都遵循摩尔定律。对数据的操作,表现为数据计算,输入输出处理和结构存储等。根据一系列指令自动的,可预测地,准确地完成操作者的意图。当今世界,唯一长达50年有效且按照指数发展的技术领域。Intent公司创始人之一戈登。摩尔在1956年提出。程序设计,也可以称为编程,深度应用计算机的主要手段。程序设计语言,亦可称为编程语言,程序设计的具体表现。编程语言相比自然语言更简单,更严谨,更准确。原创 2023-02-27 11:55:23 · 486 阅读 · 0 评论