爬虫
文章平均质量分 73
yk 坤帝
致力于Python研究的学习者,
熟练掌握Python,爬虫,数据分析,自动化办公,机器学习
展开
-
全网最全python爬虫系统进阶学习(附原代码)学完可就业
5.2(第二天)第一章 爬虫介绍1.认识爬虫第二章:requests实战(基础爬虫)1.豆瓣电影爬取2.肯德基餐厅查询3.破解百度翻译4.搜狗首页5.网页采集器6.药监总局相关数据爬取第三章:爬虫数据分析(bs4,xpath,正则表达式)1.bs4解析基础2.bs4案例3.xpath解析基础4.xpath解析案例-4k图片解析爬取5.xpath解析案例-58二手房6.xpath解析案例-爬取站长素材中免费简历模板7.xpath解析案例-全国城市名称爬取8.正则解析9.正原创 2021-05-02 23:47:14 · 34229 阅读 · 73 评论 -
31个全网最常用python实现(体系学习,学完显著提高代码复用能力)
1. 冒泡排序2. 计算 x 的 n 次方的方法3. 计算 aa + bb + c*c + ……4. 计算阶乘 n!5. 列出当前目录下的所有文件和目录名6. 把一个 list 中所有的字符串变成小写7. 输出某个路径下的所有文件和文件夹的路径8. 输出某个路径及其子目录下的所有文件路径9. 输出某个路径及其子目录下所有以.html 为后缀的文件10. 把原字典的键值对颠倒并生产新的字典11. 打印九九乘法表12. 替换列表中所有的 3 为 3a13. 打印每个名字14. 合并去重原创 2021-05-10 22:52:08 · 29464 阅读 · 61 评论 -
全网最全python爬虫精进(体系学习)学完可就业(附源代码)
个人公众号 yk 坤帝在后台回复 第一关 获取整理资料第 1 关、HTML基础1、HTML 是什么HTML(Hyper Text Markup Language)是用来描述网页的一种语言,也叫超文本标记语言 。1-1、查看网页的 HTML 代码①、显示网页源代码在网页任意地方点击鼠标右键,然后点击“显示网页源代码”。(Windows系统的电脑还可以使用快捷键ctrl+u来查看网页源代码)②、检查windows:在网页的空白处点击右键,然后选择“检查”(快捷方式是ctrl+shift+i)原创 2021-05-17 19:00:33 · 19966 阅读 · 38 评论 -
Python体系练手项目200例(附源代码),练完可显著提升python水平(鲲鹏编程--Python教育新物种)
个人公众号 yk 坤帝后台回复 项目一 获取整理资源1.十转二2.十转八3 十转十六4.字符串转字节5.转为字符串6.十转 ASCII7.ASCII 转十8.转为字典9.转为浮点类型10.转为整型11. 转为集合12.转为切片13.转元组14.转冻结集合15.商和余数16.幂和余17.四舍五入19.门牌号18 查看变量所占字节数20.排序函数21.求和函数22.计算表达式23.真假24.都为真25.至少一个为真26.获取用户输入27.print 用法原创 2021-05-21 17:25:06 · 25737 阅读 · 51 评论 -
百看不如一练, 247 个 Python 实战案例(附源代码)
个人公众号:yk 坤帝后台回复 Python实战案例 获取全部源代码众所周知,我们在学习Pyhont过程中,大都看书枯燥、看视频进度慢,网上查找的学习案例又比较凌乱不成体系。。。百看不如一练,今天为大家搜集了一份Python从入门到进阶的实战案例合集,共计247个案例,185页内容。内容涵盖:· Python基础(90个案例)· Python高级字符串之正则(25个案例)· Python⽂件、⽇期和多线程(26个案例)· Python三⼤利器(迭代器 , ⽣成器 , 装饰器。15个案例).原创 2022-03-21 12:25:43 · 15700 阅读 · 24 评论 -
用python实现模拟登录,突破反爬限制,Selenium库详解(附全部源代码)
个人公众号:yk 坤帝后台回复 模拟登录 获取全部源代码1. 准备工作与Selenium基本使用2. 声明浏览器对象3. 模拟登录4. 在登陆页面查找元素4.1 查找单个元素4.2 查找多个元素5. 元素交互操作6. 交互动作解析7. 执行JavaScript8. 获取元素信息8.1 获取属性8.2 获取文本值8.3 获取ID、位置、标签名、大小9. Frame函数10. WebDriver等待操作10.1 隐式等待10.2 显式等待11. 前进后退12. 添加C.原创 2022-03-20 13:10:50 · 2168 阅读 · 0 评论 -
爬虫BeautifulSoup库基本使用,案例解析(附源代码)
个人公众号:yk 坤帝后台回复 BeautifulSoup 获取全部源代码1. 爬虫解析库汇总2. BeautifulSoup基本使用3. 标签选择器3.1 选择元素3.2 获取名称3.3 获取属性3.4 获取内容3.5 嵌套选择4. 子节点和子孙节点5. 父节点和祖先节点6. 兄弟节点7. 标准选择器7.1 text属性**7.2 find( name , attrs , recursive , text , kwargs )8. CSS选择器8.1 获取属性8..原创 2022-03-19 23:20:27 · 2142 阅读 · 2 评论 -
全网最全Requests库详解,实例引入,代码分析(ip代理,用户认证,证书检测)
个人公众号:yk 坤帝后台回复 requests库详解 获取全部源代码1.什么是Requests2.requests 实例引入3.各种请求方式4.爬虫GET请求解析,代码步骤分析4.1 带参数GET请求4.2 解析json数据4.3 获取二进制数据4.4 添加headers5.爬虫POST请求解析,代码步骤分析6.爬虫响应状态分析6.1 reponse属性分析6.2 返回状态码判断6.3 异常响应码解析7. 爬虫高级操作:文件上传,配置应用8.如何获取cookie?.原创 2022-03-17 17:54:32 · 4977 阅读 · 0 评论 -
Urllib库基本使用、详解(爬虫,urlopen,request,代理ip的使用,cookie解析,异常处理,URL深入解析)
公众号:yk 坤帝后台回复 Urllib库基本使用 获取全部源代码1.什么是Urllib?2.相⽐Python2变化3.urlopen模块4.响应与响应类型4.1 状态码、响应头4.2 request 模块5.Handler与代理6.cookie解析7.异常处理8.URL深入解析8.1 urlparse模块8.2 urlunparse模块8.3 urljoin模块8.4 urlencode模块1.什么是Urllib?Python内置的HTTP请求库urllib.req.原创 2022-03-14 20:25:11 · 2109 阅读 · 0 评论 -
全网最新爬虫开发实战(突破各种反爬、对称秘钥加密、非对称秘钥加密、证书秘钥加密)
个人公众号 yk 坤帝后台回复 爬虫开发实战 获取整理资源第一章:反爬基础简介第二章:requests模块基础01.requests第一血.py02.requests实战之网页采集器.py03.requests实战之破解百度翻译.py第一章:反爬基础简介前戏:1.你是否在夜深人静的时候,想看一些会让你更睡不着的图片却苦于没有资源…2.你是否在节假日出行高峰的时候,想快速抢购火车票成功…3.你是否在网上购物的时候,想快速且精准的定位到口碑质量最好的商品…什么是爬虫:- 通过编写程序,原创 2021-07-09 21:19:31 · 2312 阅读 · 1 评论 -
10000+ppt免费下载领取(python爬取全站ppt)
个人公众号 yk 坤帝后台回复 ppt模板 领取ppt1.缘由前几天参加一个活动,需要制作ppt,制作完之后ppt模板死活不能让人满意。然后就去网上找模板,有些比较适合ppt模板还是收费的,这…,有点恶心,哈哈哈!!今天教大家如何使用python爬虫爬取1万份『ppt模板』,以后制作ppt再也不怕了没有模板了!!!2.相关介绍网站:https://sc.chinaz.com/ppt/free.html一共702页,每页20个ppt模板2.爬虫思路先遍历每一页,获取每一页ppt模板的u原创 2021-06-04 16:13:06 · 3655 阅读 · 3 评论