![](https://img-blog.csdnimg.cn/20210422150604560.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python爬虫系列
文章平均质量分 74
以实战为主
程序猿中的BUG
这个作者很懒,什么都没留下…
展开
-
windows详细安装mysql步骤
目录MySQL详细安装过程及步骤总结MySQL详细安装过程及步骤4.1、双击运行下载好的mysql-installer-community-8.0.25.0.msi,程序运行需要一些时间,请等待一下,如图所示。4.2、运行成功之后,进入类型选择页面,选择了Developer Default(默认安装的步骤),点击“Next”按钮,如图所示。developer default(开发者默认):安装mysql开发所需的所有产品server only(服务器):只安装mysql服务器产品client原创 2021-11-13 13:45:54 · 1773 阅读 · 1 评论 -
什么猫咪最受欢迎?Python爬取全网猫咪图片,哪一款是你最爱的
前言采集目标网页资源地址工具准备开发工具:pycharm开发环境:python3.7, Windows11使用工具包:requests项目思路解析做爬虫案例首先需要明确自己的采集目标,白又白这里采集的是当前网页的所有图片信息,有目标后梳理自己的代码编写流程,爬虫的基本四步骤:第一步:获取到网页资源地址第二步:对地址发送网络请求第三步:提取对应数据信息提取数据的方式一般有正则、xpath、bs4、jsonpath、css选择器第四步:保存数据信息第一步:找数据地址数据原创 2021-11-03 14:26:21 · 1015 阅读 · 4 评论 -
富婆闺蜜非让我用Python给她写个淘宝双十一抢购脚本,那只能安排了
有一个每年双十一就要剁一只手的姐妹是种什么体验?在没有学会Python的时候,就是让我给她各种抢券,现在学会一点Python,就让我给她写个抢购脚本,哎!有什么办法呢,是自己的惯的那也只能宠着了。:::::: hljs-center:::经过我不懈努力的研究,实验最终完成啦!欢迎各位大佬给我看看能不能在优化一下,欢迎指出我的不足。进入正文。。。咱们的爬取目标网站:淘宝工具使用开发工具:pycharm开发环境:python3.7, Windows10使用工具包:selenuim需原创 2021-10-28 13:20:08 · 641 阅读 · 3 评论 -
Python网络爬虫:伪装浏览器
添加超时跳过功能首先, 我简单地将urlop = urllib.request.urlopen(url)改为urlop = urllib.request.urlopen(url, timeout = 2)运行后发现, 当发生超时, 程序因为exception中断. 于是我把这一句也放在try .. except 结构里, 问题解决.支持自动跳转在爬 http://baidu.com 的时候, 爬回来一个没有什么内容的东西, 这个东西告诉我们应该跳转到百度一下,你就知道 .原创 2021-10-25 14:24:41 · 1991 阅读 · 0 评论 -
Python实现解千千音乐网站中的JS加密算法
网络爬虫网络爬虫,不知道大家是否有过了解?今天白又白给大家写个解千千音乐网站中的JS加密算法,如果有哪里不对的,还请大佬们指正。想要和我一起学习爬虫的你,那你首先要掌握一些有关爬虫的基础知识,要知道什么是爬虫?数据是从哪里得来的?先了解一些基础的知识点才能开始真正学习爬虫呀。基础知识问题都是可以在网上查询到的,嘻嘻我对爬虫的工作的理解就是模拟我们通过浏览器获取网页信息的过程,无外乎“发送请求—获得页面—解析页面—抽取并储存内容”从这个过程中,我们可以获取到的信息是,在爬虫工作中需要涉及到前端页面相关原创 2021-10-14 13:25:45 · 498 阅读 · 1 评论 -
Python精准学习内容,爆肝整理129天【不收藏后悔一辈子】
为什么说Python入门容易精通难?Python应用领域广泛,没有具体的学习方向学完基础知识之后会很迷茫,应先确定好学习方向,按照这个学习方向建立学习路径规划。Python 非常适合初学者上手,相比较于其他主流编程语言其语言环境更接近自然语言,具备良好的可读性。Python拥有简单形象直观的语法,有着众多的第三方库,封装了大多数的操作入门Python非常容易,且大多数学习Python都从爬虫开始趣味性也比较丰富;Python对于初学者入门非常简单,但进阶精通Python有一定难度。学习Python分原创 2021-10-08 13:11:34 · 564 阅读 · 2 评论 -
给伸手党的福利:Python 新手入门引导
【国庆假期即将结束,结束后的你是不是要准备静下心来好好学习啦】】这是一篇 Python 入门指南,针对那些没有任何编程经验,从零开始学习 Python 的同学。不管你学习的出发点是兴趣驱动、拓展思维,还是工作需要、想要转行,都可以此文作为一个参考。在这个信息爆炸的时代,以 “Python入门” 为关键字搜索出的结果成千上万。不少小白选手难免会东一榔头西一棒槌,最终看了很多文章,却仍没跨过新手那道门槛。原创 2021-10-06 14:03:24 · 480 阅读 · 1 评论 -
2021最新问题:业余学Python是如何挣钱的?
学python编程能挣钱吗?怎么挣钱?答案是可以的,有两点我都赚到钱的方法,接私活和自媒体。一、赚钱第一种方式:接私活刚学会python那会,就有认识的朋友介绍做一个网站的私活,当时接单赚了4K,后又自己接过开发网站后台接口、做数据处理等事情,都赚了一些。接私活指的是利用自己的技术,在业余时间搞定用户整块需求,对方在开始前预付一部分定金,完工后付剩下金额的过程。Python可以用于接私活的技术,主要集中在这三个,并且按需求量递减:网络爬虫:爬取网站或者APP的数据,把数据提供给用户,或者有的原创 2021-09-23 14:27:58 · 772 阅读 · 1 评论 -
Python零基础入门爬虫原理与数据抓取(二)--HTTP的请求与响应
TTP和HTTPSHTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法。HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)简单讲是HTTP的安全版,在HTTP下加入SSL层。SSL(Secure Sockets Layer 安全套接层)主要用于Web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全。HTTP的端口号为80,HT原创 2021-09-03 14:46:33 · 770 阅读 · 0 评论 -
你知道什么是Python算法和数据结构、抽象数据和面向对象、数组和列表、链表吗?
什么是算法和数据结构?你可能会在网上看到这句话:程序 = 算法 + 数据结构算法(Algorithm):是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制。也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。数据结构(Data Structures):是计算机存储和组织数据的一种方式,可以用来高效地处理数据。举个例子:二分查找就是一个非常经典的算法,而二分查找经常需要作用在一个有序数组上。这里二分就是一种折半的算法思想, 而数组是我们原创 2021-08-17 13:58:22 · 407 阅读 · 0 评论 -
Python零基础入门爬虫原理与数据抓取(一)-通用爬虫和聚焦爬虫
根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用爬虫通用网络爬虫 是 捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。通用搜索引擎(Search Engine)工作原理通用网络爬虫 从互联网中搜集网页,采集信息,这些网页信息用于为搜索引擎建立索引从而提供支持,它决定着整个引擎系统的内容是否丰富,信息是否即时,因此其性能的优劣直接影响着搜索引擎的效果。第一步:抓取网页搜索引擎网络爬虫的原创 2021-08-17 13:57:20 · 549 阅读 · 0 评论 -
Python读取二进制文件代码方法解析
问题有二进制文件中保存了 20 亿个 2 Bytes 的数,需将其读出,每 20000 个数作图,拟合后输出结果。解决# -*- coding: utf-8 -*-"""@author: kurrrr""" import struct def main(): data_file = open('run0035.bin', 'rb') data_temp = data_file.read(2) data_short, = struct.unpack('h', data.原创 2021-08-09 14:17:27 · 3613 阅读 · 3 评论 -
解除网站不允许复制的限制的脚本
文本选中复制某些网站例如某度文库、道客某某等都不允许用户选中文本进行复制,作为一个搞前端的,就感觉离谱,文本都下载到本地了,还不让我复制,于是为了更好的学(复)习(制),实现了一个脚本去解决这些限制。描述首先来看一下效果图,依旧是以某度文库、道客某某为例展示效果,点击复制按钮即可成功复制。脚本下载地址:https://greasyfork.org/scripts/405130-文本选中复制Github:https://github.com/WindrunnerMax/TKScr原创 2021-07-27 16:04:21 · 1878 阅读 · 1 评论 -
26道大题python实战练习-习题
目录Python数学计算,编程练习题实例一:Python数轴、长整型,编程练习题实例二:Python完全平方数,编程练习题实例三Python日期计算,编程练习题实例四Python整数顺序排列,编程练习题实例五Python斐波那契数列应用,编程练习题实例六Python列表数据复制,编程练习题实例七Python乘法口诀计算,编程练习题实例八Python time.sleep方法,编程练习题实例九Python时间格式化,编程练习题实例十Python兔子生兔子算法,编程练原创 2021-07-26 16:07:20 · 2410 阅读 · 3 评论 -
曾经被诺基亚作为卖点的游戏,无数玩家的童年游戏,它就是...
2000年诺基亚最为经典的机型3310正式推出,其中包含三款预装游戏,作为著名的便是贪吃蛇和俄罗斯方块,这也是贪吃蛇和俄罗斯方块系列的第一次亮相,不可否认的是,它们能成为一代经典被玩家们记住,而且后面出现各种各样的贪吃蛇、俄罗斯方块以及连连看。原创 2021-07-24 17:35:25 · 707 阅读 · 0 评论 -
【Python爬虫实战】爬取5K分辨率超清唯美小姐姐壁纸
目录简介使用教程编写思路演示图片全部代码简介壁纸的选择其实很大程度上能看出电脑主人的内心世界,有的人喜欢风景,有的人喜欢星空,有的人喜欢美女,有的人喜欢动物。然而,终究有一天你已经产生审美疲劳了,但你下定决定要换壁纸的时候,又发现网上的壁纸要么分辨率低,要么带有水印。这里有一款Mac下的小清新壁纸神器Pap.er,可能是Mac下最好的壁纸软件,自带5K超清分辨率壁纸,富有多种类型壁纸,当我们想在Windows或者Linux下使用的时候,就可以考虑将5K超清分辨率壁纸.原创 2021-07-22 13:37:25 · 616 阅读 · 4 评论 -
爬取女朋友用我淘宝已购买的宝贝数据,发现了她特殊的秘密...
我和女友是19年在和平精英上认识的,在这之前我已经单身了3年,虽然大家都说电子竞技不需要爱情,但是我幸运,遇到了现在女朋友,本来一个宅男硬生生的被她改变成了在路上也会有小妹妹问我要微信原创 2021-07-21 14:29:46 · 526 阅读 · 4 评论 -
女朋友给我整理的99个Python练习题,说完成之后有惊喜,我既期待又害怕
心惊胆战的我开始了做题,做完题会不会秃头了原创 2021-07-20 17:28:16 · 417 阅读 · 5 评论 -
3年开发小姐姐告诉你做程序员香不香!顺便聊一聊当下有什么的焦虑
目录1、怎么判断自己适合做程序员吗?2、在大厂累吗?薪资待遇咋样?3、做女程序员会被淘汰吗?会有职场歧视吗?4、会有一些困难吗?或者焦虑?5、不是计算机相关怎么进互联网6、最后,干程序员会影响我吃喝玩乐找对象吗?7、总结原创 2021-07-19 12:30:53 · 374 阅读 · 6 评论 -
【纯干货】用Python写30种小游戏给男朋友玩,谈恋爱我是认真的
提示:爱学习哦,不要沉迷游戏,平时打发一下无聊时间最好啦原创 2021-07-14 14:50:23 · 1299 阅读 · 14 评论 -
小学生都会的Python,你该反省反省学学了!
Python到底有何魅力成为教育界新-代宠儿?**为何小学生就能触摸Python门槛并制作作品?**人生苦短,我用Python原创 2021-07-13 12:51:01 · 542 阅读 · 13 评论 -
年薪百万的Python工程师总结的一套面试、笔试题【以及答案】
年薪百万的Python工程师总结的一套面试、笔试题,小白也可以看看,就当做练习题去写也是可以的,里面有基础,高级之分。原创 2021-07-09 12:50:39 · 1303 阅读 · 9 评论 -
Python练习笔记之Redis练习题及答案
目录1、什么是 Redis?2、Redis 相比 memcached 有哪些优势?3、Redis 支持哪几种数据类型?4、Redis 主要消耗什么物理资源?5、Redis 的全称是什么?6、Redis 有哪几种数据淘汰策略?7、Redis 官方为什么不提供 Windows 版本?8、一个字符串类型的值能存储最大容量是多少?9、为什么 Redis 需要把所有数据放到内存中?10、Redis 集群方案应该怎么做?都有哪些方案?11、Redis 集群方案什么情况下会导致整个集群不可用?12、MySQL 里有 20原创 2021-07-07 13:02:56 · 663 阅读 · 5 评论 -
面试8家公司,拿到8份 offer的Mysql100道面试题
无论你的履历如何出众,都不能对面试掉以轻心。原创 2021-07-05 21:01:25 · 679 阅读 · 3 评论 -
用Python写扫雷游戏实例代码分享【还有很多小游戏代码】
超级玛丽、植物大战僵尸、五子棋、外星人入侵、贪吃蛇、打地鼠、吃豆豆、俄罗斯方块、迷宫、小恐龙、跑酷等等三十几种小游戏合集原创 2021-07-05 15:55:33 · 2990 阅读 · 3 评论 -
当你学会了这些,轻轻松松搞定爬虫!
目录什么是 “爬虫”?用 Python 写 “爬虫” 有哪些方便的库:爬虫 需要掌握哪些知识进阶爬虫一些常见的限制方式总结什么是 “爬虫”?简单来说,写一个从 web 上获取需要数据并按规定格式存储的程序就叫爬虫;爬虫理论上步骤很简单,第一步获取 html 源码,第二步分析 html 并拿到数据。但实际操作,老麻烦了用 Python 写 “爬虫” 有哪些方便的库:常用网络请求库:requestsurlliburllib2urllib 和 urllib2 是 Python 自带模块,r原创 2021-07-03 21:43:26 · 365 阅读 · 2 评论 -
6年程序员大佬如何处理Python爬虫ip被封的问题呢?
如何处理Python爬虫ip被封的问题呢?原创 2021-07-03 20:07:17 · 868 阅读 · 3 评论 -
2021年6月全国程序员薪资出炉,大佬您上榜了吗?
6月新鲜出炉的全国程序员薪资~爬了排名26名的薪资,可以看看这是你的薪资吗?原创 2021-06-30 19:42:45 · 527 阅读 · 3 评论 -
【Python爬虫实战】为何如此痴迷Python?还不是因为爱看小姐姐图
为何如此痴迷Python?还不是因为爱看小姐姐图,自从学会了Python想要什么都能拥有,当然除了生小孩原创 2021-06-29 14:55:49 · 1962 阅读 · 44 评论 -
领导让我整理上个季度的销售额,幸好我会Python数据分析,你猜我几点下班
目录数据分析师的就业趋势及发展前景怎么样?一、数据分析师职业发展就业前景如何?二、数据分析师做什么?三、数据分析师就业前景怎么样?四、大数据分析师薪资待遇好不好?数据分析师的就业趋势及发展前景怎么样?根据第三方数据显示,数据分析师的需求量将增长幅度大。即使你不是数据分析师,掌握数据分析技能也是未来必不可少的工作技能之一。国内某大型招聘平台调研数据分析师平均薪酬为9724K左右。数据分析师要掌握数据分析工具,如Excel技能、数据库操作(MySQL/SQL Server/Oracal/Hive等)、T原创 2021-06-28 16:39:51 · 1285 阅读 · 5 评论 -
Python抓取哔哩哔哩up主信息:只要爬虫学的好,牢饭吃的早
目录项目地址:项目特点:快速开始:使用说明:本项目主要功能是爬取部分哔哩哔哩up主信息和up主投稿视频信息,用作数据处理与分析学习(不得用于商业和其他侵犯他人权益的用途)。有此需求的朋友可以了解下本项目项目地址:https://github.com/cgDeepLearn/BilibiliCrawler项目特点:采取了一定的反反爬策略。Bilibili更改了用户页面的api, 用户抓取解析程序需要重构。快速开始:拉取项目, git clone https://githu原创 2021-06-25 15:38:01 · 1472 阅读 · 3 评论 -
【Python爬虫实战】知乎热榜数据采集,上班工作摸鱼两不误,知乎热门信息一网打尽
目录爬取目标工具使用项目思路解析简易源码分享爬取目标网址:知乎热榜 工具使用开发环境:win10、python3.7 开发工具:pycharm、Chrome 工具包:requests,lxml, re项目思路解析对目标网址发送网络请求 获取到网页数据 提取到标题数据 提取图片地址 获取详情内容地址 详情地址并不在a标签内 正则提取详情页面地址 详情url需要进行分割替换简易源码分享import re # 正则表达式import requests原创 2021-06-23 14:29:07 · 783 阅读 · 3 评论 -
闺蜜看我用Python画了一幅樱花图,吵着要我给他介绍程序员小哥哥
#coding=utf-8import turtle as Timport randomimport time# 画樱花的躯干(60,t)def Tree(branch, t): time.sleep(0.0005) if branch > 3: if 8 <= branch <= 12: if random.randint(0, 2) == 0: t.color('snow'...原创 2021-06-23 13:28:45 · 523 阅读 · 3 评论 -
用Python写个超级小恐龙跑酷游戏,上班摸鱼我能玩一天
啥也不多说,先来一个效果图展示原创 2021-06-21 19:39:05 · 3158 阅读 · 13 评论 -
总结全网最详细的Python库总结
库名称简介Chardet 字符编码探测器,可以自动检测文本、网页、xml的编码。colorama 主要用来给文本添加各种颜色,并且非常简单易用。Prettytable 主要用于在终端或浏览器端构建格式化的输出。difflib,[Python]标准库,计算文本差异Levenshtein,快速计算字符串相似度。fuzzywuzzy 字符串模糊匹配。esmre 正则表达式的加速器。shortuuid 一组简洁URL/UUID函数库。ftfy,Unicode文本工具7。unide原创 2021-06-15 20:25:27 · 529 阅读 · 1 评论 -
Python基础学习笔记之数据类型【墙裂推荐】
对于程序员而言,了解编程语言的发展趋势,有助于个人职业成长;而对于想要入行IT的新人而言,最大的疑惑大多来自于不知道该选择哪门编程语言发展前景更好!原创 2021-06-15 17:32:48 · 768 阅读 · 15 评论 -
零基础入门自学Python分为五个阶段
一、Python基础阶段掌握python脚本、python界面编程能力、数据库、基本爬虫、多线程多进程开发能力,可以胜任基本的python开发工作。知识点:1.数据的存储:Python概述、进制以及进制转换、原码、反码、补码、第一个Python程序、终端读取与打印等。2.运算符与表达式:关键字和标识符、算术运算符、python数据类型、赋值运算符、运算符、复合运算符、条件控制语句(if..else...)、逻辑运算符等。3.循环:循环语句之while、循环语句之for、break与conti原创 2021-06-10 20:28:10 · 830 阅读 · 10 评论 -
Python零基础到实践/爬虫/自动化/数据分析与挖掘/机器学习与深度学习 精品就业学习路线资料分享
零基础如何系统地自学Python编程?绝大多数零基础转行者学习编程的目的就是想找一份高薪有发展前景的工作,哪个编程语言就业前景好越值得学习。零基础的同学学Python是一个不错的选择。对于零基础的初学者最迷茫的是不知道怎样开始学习,建议采用视频+书籍的方式进行学习。看视频学习可以迅速掌握编程的基础语法,边看视频边敲代码可以快速入门熟练语法。看书学习并不是要整本书都看,可以把书放到手边当遇到不懂的地方可以当作工具书来用。小编今天分享下Python学习路线:...原创 2021-06-10 14:51:31 · 584 阅读 · 7 评论 -
Python爬虫项目实战—全站 950 套美女写真套图爬虫下载
爬取网站 :http://www.mmjpg.com写代码是一种艺术,来源于生活并且服务于生活想要看妹子的图片怎么办,上网找阿,于是某度之一看排名第一,来头不小,那就决定是你了觉得不能只是走马观花地浏览,所以决定把整个网站的套图全都爬下来,以便以后慢慢品味Just do it配上一杯咖啡以及网易云一个电音歌单,经过指尖的一阵阵翻云覆雨之后,代码算是写好了。测试好,没问题,走你!不知不觉中,套图已全部爬取完成全站 950 套图片,共 3.86 G转存失败重新上传取消..原创 2021-06-08 21:22:14 · 7769 阅读 · 11 评论 -
Python项目实战:下载腾讯漫画的脚本及源码【女朋友在也不担心我花钱购买漫画了】
代码仅供学习交流使用下载腾讯漫画的脚本。空参运行进入交互式模式,支持的参数可以加-h或--help参数查看。GUI版本提供windows下打包好的版本点此下载 <--点开如遇BAE抽风(该页无法显示),尝试右键另存为或用下载工具下载使用cx_freeze打包依赖: python3 第三方类库requests python3-pyqt5 (GUI依赖,不用GUI可不装) ubuntu系列系统使用以下命令安装依赖:...原创 2021-06-07 21:26:30 · 1820 阅读 · 9 评论