python学习笔记
文章平均质量分 58
记录python学习过程
心机小兔
渣男一个
展开
-
爬虫——租房——暴力法
对平台上发布的租房信息进行抓取分析网页(一)这个网站的画相对简单一点,每条信息基本都是存放在一个 li 标签下(二)选择用 BeautifulSoup 进行解析(三)再根据属性值进行定位(四)用 get_text() 获取标签文本这里我就直接数了一下获取到的每一个值,直接列表切割得到数据代码简单易操作,笨人有笨方法,直接上,注释都懒了# 心机小兔的python之路# @Time : 2022/5/20 11:46import requestsfrom bs4 import Beau原创 2022-05-20 13:19:00 · 234 阅读 · 0 评论 -
Scrapy入门
*** scrapy是一个成熟的爬虫框架,刚跟着B站大学开始学,写篇文章当作笔记***具体安装的话参照其他大佬的博客即可(我也是看大佬的博客安装的)scrapy的基本组件1.引擎2.调度器:接收从引擎发送过来的url 完成入列操作3.管道:数据处理(存储数据)4.爬虫程序:完成数据解析5.下载downloader:发送请求 获取响应6.下载中间件:位于引擎和下载器之间 用来处理引擎和下载 器之间的请求和响应7.爬虫中间件:位于引擎和爬虫程序之间scrapy工程的创建*原创 2022-04-24 20:40:01 · 151 阅读 · 0 评论 -
selenium爬取大学排名
爬取大学排名有些网页源码中找不到相应的要爬的数据,其实这不是什么被反扒了,只是网页有可能是动态加载出来,这时候我们可以找到相应的数据接口,找到真正的目标url一样能找到包含我们想要的数据的真正url,就像我今天要讲的这个案例。右键查看网页源码,我们会发现数据虽然存在于网页源码中,但是,我们点一下翻页功能,再观察第一页第二页我们会发现,无论我们怎么翻页,url 都是不变的,这个时候,我们应该考虑网页是不是动态加载出来的。在 “开发者工具”->“网络” 中找看看有没有相应的数据接口,一找果原创 2022-04-12 11:55:34 · 1193 阅读 · 0 评论 -
selenium案例
用selenium爬取JD商品数据selenium还是很强大的,不用去管网页源码,只要页面中存在元素,基本都能爬到,通过驱动的方式实现自动打开浏览器,怎么安装驱动可参考上一篇文章:https://editor.csdn.net/md/?articleId=123694820(一)网页分析通过开发者工具不难发现,每个商品数据都是保存在一个div标签中紧接着就是去定位每一条数据的位置,比如价格数据,是保存在每一个div标签下的一个 i 标签中,其他的也是对应着相应的标签,就不一一列举了(二)需求原创 2022-04-01 17:35:03 · 1103 阅读 · 0 评论 -
selenium+chromedriver+PhantomJS安装配置
爬虫——selenium模块使用selenium是一个web的自动化测试工具,最初是为网站自动化测试而开发的,selenium可以直接运行在浏览器上,它支持所有主流的浏览器,可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,在反反爬虫中也是一个重要的工具,比较强大,但是缺点就是——慢。一般如果要爬的网站是动态加载的,那么可以考虑用selenium,听说号称 “可见即可爬”Selenium+chromedriverselenium让程序连接到浏览器,让浏览器去完成各种操作,是一种自动化原创 2022-03-28 23:04:35 · 613 阅读 · 0 评论 -
第一个爬虫程序
需求分析:1.获取蔬菜品名、最低价、最高价等信息并将其保存为csv文件网页分析F12查看网页源码发现没有需要找的元素相关的信息,不要慌,找到相应数据接口就行了,在开发者工具中就能找到如果网页返回的东西比较多的话,没办法,一个一个去找吧,我也不会,会的大哥麻烦留言指点一下然后就是把这个页面的url复制下来开始敲代码实现比较简单,不需要定义函数或者类啥的,简单粗暴一点# 这个网页还是比较简单好爬的,不需要很大的解析量,不需要导入正则或者bs4之类的包.原创 2022-03-09 12:40:27 · 633 阅读 · 0 评论 -
wxpython的BoxSizer实现登录界面
基于wxpython实现的登录界面原创 2021-12-13 22:38:51 · 457 阅读 · 0 评论 -
wxpython实现一个登录窗口
基于wxpython实现的登录界面原创 2021-12-13 13:17:44 · 2238 阅读 · 0 评论 -
python创建字典,方法+案例说明
python几种创建和删除字典的方法原创 2021-12-11 14:00:08 · 28136 阅读 · 0 评论 -
python的数据类型
一、数据类型python的数据类型与其他语言有的类型基本一致,只是比其他语言多增了几种,或者进行了一些改动,有其他语言基础的兄弟学起来没有啥难度,以下是python常用的数据类型(一)数字(二)字符串类型(三)布尔类型(四)列表(五)元组(六)字典(七)集合二、数值类型数值类型的概念不同于数据类型,数值类型是不可变的,也就是说,数值一旦发生了改变,那就是一个新的对象,每个数值都是一个对象python的数值类型整型(int) 浮点型(float) 复原创 2021-11-19 20:09:15 · 885 阅读 · 1 评论 -
(三)python的基础语法及输入输出
python跟其它语言一样,都有属于自己的一种语法风格,但是在很大程度上,python跟其他语言又很相似不多说,直接开始记录今天所学1.标识符标识符,顾名思义,就是给对象起一个别名,定义一个用来装载数据的“容器”,对象的定义就不多赘述了python的标识符和C、C++以及Java都一样,是严格区分大小写的,比如a = 1A = 2print(a)这两个变量分别代表1和2,当用函数print输出时,以上结果将会输出1python对对象的命名要求与其他语言差不多,我们命名的时候原创 2021-11-17 21:59:41 · 1685 阅读 · 0 评论 -
(二)pip的基本使用
pip是python用来安装第三方库的一个工具,简单说就是一个python专用的下载工具,常用的命令有安装和卸载,比如#普通安装,一般默认安装目标库的最高版本pip install opencv#指定版本安装pip install opencv==4.1.5#卸载某个第三方库pip uninstall opencv#显示已安装的第三方库pip list#或者pip freeze#查看库的详细信息,可查看库的版本及作者等信息pip show numpy#显示库中的文件信原创 2021-11-15 21:10:01 · 1606 阅读 · 0 评论 -
(一)python3.7.8的安装配置
最近上课学到数据分析,用的是python,尝试不参照其他大佬的博客自己安装一波首先需要做的就是先下载(这是废话)进入python官网|:https://www.python.org/点击如下图的Download,进到python的各个版本信息页面然后就是各个版本的选择,我选择3.7.8的,听说3.9以上的版本兼容性还不是很好(如果说错了大佬批评就是),选择跟自己电脑位数相应的版本,选择安装版executeble installer,,embeddable是免安装版本,下载好后解压需要原创 2021-11-12 22:09:55 · 1877 阅读 · 0 评论