python爬虫与基础,数据分析。
文章平均质量分 63
爬虫的一些案例和python一些有趣的分享
Deng872347348
这个作者很懒,什么都没留下…
展开
-
中国大学MOOC 如何抓包和进行采集
中国大学MOOC 如何抓包和进行采集原创 2022-10-12 20:00:12 · 1008 阅读 · 0 评论 -
python一个好玩的库,可以直接调接口数据,进行数据分析,不用去爬取数据集再进行分析了
python一个好玩的库,可以直接调接口数据,进行数据分析,不用去爬取数据集再进行分析了原创 2022-10-08 15:09:11 · 263 阅读 · 0 评论 -
seaborn导入数据集报错 <;urlopen error [Errno 11004] getaddrinfo failed> 数据集链接超时,获取地址失败错误
seaborn导入数据集报错 <urlopen error [Errno 11004] getaddrinfo failed> 数据集链接超时,获取地址失败错误原创 2022-09-27 14:21:01 · 2253 阅读 · 4 评论 -
error: failed to push some refs to ‘gitee.com:wavelet-aa/msb_-erp.git
error: failed to push some refs to 'gitee.com:wavelet-aa/msb_-erp.git原创 2022-08-29 16:03:35 · 156 阅读 · 0 评论 -
Git Bash/GUI Here “找不到应用程序问题
Git Bash/GUI Here “找不到应用程序问题原创 2022-08-29 14:14:42 · 736 阅读 · 0 评论 -
win10配置python虚拟环境的路径
win10配置python虚拟环境的路径原创 2022-08-29 13:08:34 · 809 阅读 · 0 评论 -
安装zsh的时候出现ssh 连接无法建立,那该如何安装oh-my-zsh?
安装zsh的时候出现ssh 连接无法建立,那该如何安装oh-my-zsh?原创 2022-08-24 10:44:59 · 603 阅读 · 0 评论 -
Python网络编程
Python网络编程原创 2022-05-30 15:23:51 · 243 阅读 · 0 评论 -
微博动态图片爬取
微博动态图片爬取由于微博的网页端有反爬虫,需要登录,所以我们换个思路,曲线救国。我们找到微博在浏览器上面用于手机端的调试的APL,如何找到呢?我这边直接附上微博的手机端的地址: https://m.weibo.cn/步骤1:模拟搜索用户:搜索一个用户获取到的api:https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall1.1 对api内参数进行原创 2022-03-05 20:14:51 · 1110 阅读 · 0 评论 -
Python 如何将爬取到的数据分别存储到 txt、excel、mysql
Python 如何将爬取到的数据分别存储到 txt、excel、mysql 中原创 2022-02-09 21:03:59 · 3554 阅读 · 1 评论 -
初识matplotlib
初识matplotlib原创 2021-12-30 15:06:27 · 271 阅读 · 0 评论 -
最新版python wordcloud生成词云中文乱码的解决方法
最新版python wordcloud生成词云中文乱码的解决方法文章目录最新版python wordcloud生成词云中文乱码的解决方法1、模块安装:生产词云的例子:在Windows找字体文件修改wordcolud.py里面的字体文件路径**找到你的wordcloud.py文件并打开****找到如下图的第28行所示内容**1、模块安装:# 1、使用pip安装pip install wordcloud # 2、使用清华镜像安装pip install wordcloud -i https://pypi原创 2021-06-11 08:59:16 · 7952 阅读 · 7 评论 -
Python进程和线程
Python进程和线程文章目录Python进程和线程什么是进程多进程的优点怎么实现多进程Pool 类pool.apply_asyncpool.applyapply 和 apply_async 的区别什么是线程多线程的优点怎么编写多线程程序线程锁互斥锁多线程的全局变量同步问题Thread-local 对象多线程和多进程的优缺点和应用场景多线程比多进程性能高?线程和进程的优缺点线程切换线程和进程的应用场景什么是进程什么是进程? 最直观的就是一个个pid,进程是程序在计算机上的一次执行活动。说得简单点,进原创 2021-06-10 16:58:48 · 132 阅读 · 1 评论 -
使用单线程,多线程,协程,异步爬取包图网大国工匠视频
使用单线程爬取,多线程,协程爬取,异步爬取包图网视频文章目录使用单线程爬取,多线程,协程爬取,异步爬取包图网视频第一步使用单线程爬取包图网视频多线程爬取视频用协程爬取基于协程的异步爬取第一步使用单线程爬取包图网视频第一:我先选择要爬取的目标网站https://ibaotu.com/tupian/gongjiangjingshen/7-0-0-0-0-0-0.html?format_type=0确定要爬取的目标后面,我们后面直接套取以前的1写过一些的爬取基本四部法:#第一步:url = "h原创 2021-05-31 18:37:19 · 483 阅读 · 1 评论 -
Python之实现自动开启摄像头拍照,后面发送邮寄给个人
Python之实现自动开启摄像头拍照,后面发送邮寄给个人文章目录Python之实现自动开启摄像头拍照,后面发送邮寄给个人第一步,我们要开启电脑的摄像头实现拍照:第二步,我们要发送邮件,就必须创建邮件:第三步,创建邮件的格式,发送电脑开启摄像头拍的照片最后一步:删除照片先导入需要的库文件:import cv2 #第三方库 opencv-python 需要下载安装 作用 用于拍照from smtplib import SMTP_SSL #加密传输协议from email.header impor原创 2021-02-20 16:58:34 · 2870 阅读 · 0 评论 -
Python开发人脸动态追踪
Python开发人脸动态追踪导入库文件cv2通过pip 命令安装pip install opencv-python或者在在设置里面找到+进行opencv-python你还要去下载文件:haarcascade_frontalface_alt.xml这个面部级联分类器就可以简单实现了代码如下:import cv2#加载视频从中获取人脸信息cap=cv2.VideoCaprure("视频.mp4")#读取视频文件_,frame=cap.read() #_ 丢弃数据cv2.ims原创 2021-02-20 16:48:14 · 956 阅读 · 1 评论 -
如何实现自动化整理桌面
如何实现自动化整理桌面文章目录如何实现自动化整理桌面第一步,我们要获取文件夹的内容:第二步,设置文件的后缀第三步:获取文件的后缀第四步:文件的移动你还在为桌面文件夹里面杂乱的文件而烦恼吗,下面就教你如何用Python实现自动化整理桌面第一步我们要导入库文件:import os,shutil如果没有库文件,我们可以自己在PyCharm上面安装pip install ospip install shutil第一步,我们要获取文件夹的内容:#获取文件夹的内容os.chdir(file_pa原创 2021-02-20 11:24:21 · 833 阅读 · 2 评论 -
你还在为不认识单词而烦恼吗,不如自己动手作一个简单的单词翻译程序
你还在为不认识单词而烦恼吗,不如自己动手作一个简单的单词翻译程序我们来模拟有道词典的翻译,翻译自己不认识的单词,解决单词不认识的烦恼我们要准备的环境,window10下的PyCharm和requests和json库我们首先要安装好requests和json库pip install requestspip install request安装好要用到的库,就可以正式开始了导入库import requestsimport json我们要模拟有道翻译,所以我们要去有道翻译官网通过抓包工具,抓原创 2021-02-18 14:52:02 · 424 阅读 · 0 评论 -
Python教你几行代码生成一个自己的二维码名片
Python教你几行代码生成一个自己的二维码名片第一步:安装相关的库文件:要导入一库文件from seqno import helpers#安装库seqno:pip install seqno第二步:data=helpers.make_mecard( name='自己的姓名', email='自己的邮箱', phone='自己的电话号码')data.save('某某的的名片.png',scale=10)#scale设置缩放大小生成名片图片:完整代码:f原创 2021-01-27 19:36:28 · 2106 阅读 · 4 评论 -
Python爬虫之简单爬虫之爬取英雄联盟官网的英雄的皮肤
Python爬虫之简单爬虫之爬取英雄联盟官网的英雄的皮肤文章目录Python爬虫之简单爬虫之爬取英雄联盟官网的英雄的皮肤背景:LOL这款游戏有着大量的玩家,这个游戏里面人们津津乐道的皮肤,每一款皮肤的出现都会引起一个轰动。这次我们就来用Python做一个简单的爬虫,对英雄里面的官网的英雄皮肤进行爬取。可以在自己的电脑上查看自己喜欢的英雄的皮肤第一步:第二步:找到url完成代码:背景:LOL这款游戏有着大量的玩家,这个游戏里面人们津津乐道的皮肤,每一款皮肤的出现都会引起一个轰动。这次我们就来用Python原创 2021-01-26 16:45:42 · 864 阅读 · 0 评论 -
turtle之绘制美国队长的盾牌
turtle之绘制美国队长德盾牌文章目录turtle之绘制美国队长德盾牌第一步:导入库turtle第二步,绘制盾牌的圆:第三步:绘制盾牌中间的五角星:最后一步:调用定义五角星的函数:第一步:导入库turtleimport turtle as t第二步,绘制盾牌的圆:def circle(x,y,r,color): t.goto(x,y) t.color(color,color) t.begin_fill() t.circle(r) t.end_fill()circle(0原创 2021-01-25 14:12:36 · 1747 阅读 · 0 评论 -
教你如何用91行代码实现一朵玫瑰花的绘制
教你如何用91行代码实现一朵玫瑰花的绘制。文章目录教你如何用91行代码实现一朵玫瑰花的绘制。主体:初始位置的设定绘制花朵形状:绘制花枝形状绘制一个绿色叶子要用到的工具:Pycharm编译器,windows10环境,turtle库我们准备好前2个后,我们就剩下turtle库的安装pip install turtle #安装好turtle库我们下面就开始实现一朵玫瑰花的绘制了.主体:import turtle as t#定义一个曲线绘制函数def DegreeGurve(n,r,d=1):原创 2021-01-22 09:55:09 · 2658 阅读 · 0 评论 -
Python之递归函数与装饰器
Python之递归函数与装饰器文章目录Python之递归函数与装饰器递归的含义:python中的时间模块装饰器递归函数在函数内部,可以调用其他函数。如果一个函数在内部调用自身本身,这个函数就是递归函数。递归函数特性:必须有一个明确的结束条件;每次进入更深一层递归时,问题规模相比上次递归都应有所减少相邻两次重复之间有紧密的联系,前一次要为后一次做准备(通常前一次的输出就作为后一次的输入)。递归效率不高,递归层次过多会导致栈溢出(在计算机中,函数调用是通过栈(stack)这种数据结构实现的,每原创 2021-01-19 19:56:09 · 623 阅读 · 0 评论 -
Python之文本操作
Python之文本操作文本文件文本文件是一种典型的顺序文件,其文件的逻辑结构又属于流式文件。文本文件是指以 ASCII 码方式(也称文本方式)存储的文件,更确切地说,英文、数字等字符存储的是 ASCII 码,而汉字存储的是机内码。文本文件中除了存储文件有效字符信息(包括能用 ASCII 码字符表示的回车、换行等信息)外,不能存储其他任何信息,比如图片、视频等等。我们常见的 txt 文件就是文本文件。Python 的 open 方法用于打开一个文件,并返回文件对象,在对文件进行处理过程都需要使用到这个原创 2021-01-05 22:19:37 · 2743 阅读 · 3 评论 -
Python之正则表达式
Python之正则表达式文章目录Python之正则表达式什么是正则表达式:正则表达式基本符号如何在python中使用正则表达式findallsearch“.*”和“.*?”的区别正则表达式提取技巧[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cTbqLbPy-1609833836283)(C:\Users\Lenovo\Pictures\Saved Pictures\2.jpg)]re.compile 函数字符匹配字符类特殊字符类什么是正则表达式:正则表达式(Regul原创 2021-01-05 16:04:43 · 212 阅读 · 0 评论 -
数据挖掘之Matplotlib的简介
数据挖掘之Matplotlib什么是Matplotib,是二维图表的python库mat-matrix矩阵二维数据-二维图表plot-画图lib-library库matlab 矩阵实验室mat-matrixlab 实验室为什么我们要学习matplotlib可视化是在整个数据挖掘的关键,可以清楚的理解数据,方便选择更合适话的分析方法能将数据进行可视化,更直观的呈现使数据更加客观,更具说服力js库-03 echarts实现一个简单的matplotlib画图import matplo原创 2020-12-26 12:24:26 · 261 阅读 · 0 评论 -
面向对象
面向对象理解面向对象什么是面向对象面向对象编程(Object Oriented Programming),简称OOP,是一种程序设计思想,是以建立模型体现出来的抽象思维过程和面向对象的方法。模型是用来反映现实世界中事物特征的,是对事物特征和变化规律的抽象,是更普遍、更集中、更深刻地描述客体的特征。OOP把对象作为程序的基本单元,一个对象包含了数据和操作数据的函数。面向对象术语简介面向对象常用的术语如下:类:是创建对象的代码段,描述了对象的特征、属性、要实现的功能以及采用的方法等。属性:描述了对原创 2020-12-24 23:22:13 · 74 阅读 · 0 评论 -
Python面向对象的三大特征
Python面向对象的三大特征类的特点从形式上看,对象封装了属性就是变量,而方法和函数是独立性很强的模块,封装就是一种信息掩蔽技术,使数据更加安全。例如,列表(list)是Python的一个序列对象,我们要对列表进行调整,如下所示代码:list1 = ['K','J','L','Q','M']list1.sort()list1['J', 'K', 'L', 'M', 'Q']在上例中,我们调用了排序函数sort()对无序的列表进行了正序排序。封装由此可见,Python的列表就是对象,它原创 2020-12-24 23:21:27 · 168 阅读 · 0 评论 -
python面向对象之类
python面向对象之类类的定义与使用:类的定义类就是对象的属性和方法的封装,静态的特征称为属性,动态的动作称为方法。类通常的语法格式如下:class ClassName:#属性[属性定义体]#方法[方法定义体]类的定义以关键字class开始,类名必须以大写字母开头,类名后面紧跟冒号“:”。类的定义示例如下:class Person: # Python的类名约定以大写字母开头#----类的一个示例----属性skincolor = "yellow" high = 168原创 2020-12-24 23:20:42 · 296 阅读 · 2 评论 -
Python之字符串的几个常见的用法和函数
Python字符串文章目录Python字符串字符串的拼接:字符串长度获取字符串查找字符串函数字符串的拼接:Python 中使用+来合并两个字符串,这种合并字符串的方法叫做拼接。其基本语法如下:result_string = source_string1 + source_string2其中:source_string1:待合并的第一个字符串;source_string2:待合并的第二个字符串;result_string:合并后的字符串。注意:如果需要,在两个字符串之间可以增加相应的原创 2020-12-23 23:34:15 · 276 阅读 · 0 评论 -
Python之循环打印九九乘法表:
Python之循环打印九九乘法表:while循环row=1while row<=9:col=1while col<row: print("%d*%d=%d"%(row,col,row*col,end=" ")) col+=1 pass print() row+=1 pass for循环:for i in range(1,10): for j in range(1,i+1): print("%d*%d=%d原创 2020-12-22 23:44:34 · 175 阅读 · 1 评论 -
Jupyter notebook快捷键操作:
Jupyter notebook快捷键操作:熟练了解并且记住下面技巧,让你快速入门jupyter notebook编码能力快人一步Shift-Enter:运行本单元,选中下个单元Ctrl-Enter:运行本单元Y:单元装入代码状态M:单元装入markdown状态A:在上方插入单元B:在下方插入单元X:剪切选中的单元C:复制选中的单元V:粘贴到下方单元D+D:连续按2次,删除选中的单元Tab:代码补全或缩进Ctrl+/:注释整行或撤销...原创 2020-12-22 20:27:13 · 119 阅读 · 1 评论