- 博客(21)
- 收藏
- 关注
RSS订阅原创 7个 Python小项目，手把手教学——5分钟教会Python新手
1.淘宝模拟登录使用教程点击这里下载下载chrome浏览器查看chrome浏览器的版本号，点击这里下载对应版本号的chromedriver驱动pip安装下列包pip install selenium点击这里登录微博，并通过微博绑定淘宝账号密码在main中填写chromedriver的绝对路径在main中填写微博账号密码#改成你的chromedriver的完整路径地址chromedriver_path = "/Users/bird/Desktop/chromedriver.e
2021-10-23 17:08:26
913
原创 Python爬虫之selenium+极验滑块破解
现在使用B站的小伙伴们越来越多，我也是越来越喜欢B站了，因为有很多的资源可以学习。当然宋宋在B站也有自己的主页：编程界-小蜗牛的个人空间_哔哩哔哩_Bilibili。大家如果需要可以学习学习。此次B站老铁莫怪宋宋拿你作为滑块破解的对象，谁让我这么爱你呢！！！废话不多少我们现在开始，极验给大家简单介绍一下：https://www.geetest.com/，在这里给大家提供了智能组合、滑块验证、点选验证的体验。滑块验证就是其中一部分，而像B站、斗鱼、简书、小米、汽车之家等都是他的客户。如果大
2021-10-15 19:40:49
1696
原创 大佬教你利用 Python 实现多任务进程
一、进程介绍进程：正在执行的程序，由程序、数据和进程控制块组成，是正在执行的程序，程序的一次执行过程，是资源调度的基本单位。程序：没有执行的代码，是一个静态的。二、线程和进程之间的对比由图可知：此时电脑有 9 个应用进程，但是一个进程又会对应于多个线程，可以得出结论：\进程：能够完成多任务，一台电脑上可以同时运行多个 QQ线程：能够完成多任务，一个 QQ 中的多个聊天窗口根本区别：进程是操作系统资源分配的基本单位，而线程是任务调度和执行的基本单位.使用多进程的优势:1
2021-10-15 17:15:48
301
原创 手把手教你使用Python网络爬虫获取B站视频选集内容（附源码）
一提到B站，第一印象就是视频，相信很多小伙伴和我一样，都想着去利用网络爬虫技术获取B站的视频吧，但是B站视频其实没有那么好拿到的，关于B站的视频获取，之前有介绍通过you-get库进行实现，感兴趣的小伙伴可以看这篇文章：You-Get 就是这么强势！。言归正传，经常在B站上学习的小伙伴们可能经常会遇到有的博主连载几十个，甚至几百个视频，尤其像这种编程语言、课程、工具使用等连续的教程，就会出现选集系列，如下图所示。当然这些选集的字段我们肉眼也是可以看得到的。只是通过程序来实现的话，可能...
2021-10-14 19:49:45
1955
2
原创 清华大佬告诉你Python开发者的完美终端工具
Rich 是一个 Python 库，可以为你在终端中提供富文本和漂亮、精美的格式。使用 Rich API 可以很容易的在终端输出添加各种颜色和不同风格。它可以绘制漂亮的表格，进度条，markdown，突出显示语法的源代码及回溯等等，优秀的功能不胜枚举。#1.Rich 兼容性Rich 适用于 Linux，OSX 和 Windows。可与新的 Windows 终端一起使用，Windows 的经典终端仅限 8 种颜色。Rich 还可以与Jupyter NoteBook一起使用，而无需其他...
2021-10-14 19:37:12
112
原创 盘点3种Python网络爬虫过程中的中文乱码的处理方法
这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。前言前几天有个粉丝在问了一道关于使用Python网络爬虫过程中中文乱码的问题，如下图所示。看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，小编在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感！一、思路其实解决问题的关键点就是在于一点，就是将乱码的部分进行处理，而处理的方案主...
2021-10-13 18:25:24
2235
3
原创 清华大佬讲解超详细Python深浅拷贝
前言在很多语言中都存在深浅拷贝两种拷贝数据的方式，Python中也不例外。本文中详细介绍了Python中的深浅拷贝的相关知识，文章的内容包含： 对象、数据类型、引用 赋值 浅拷贝 深拷贝 一、Python对象 我们经常听到：在Python中一切皆对象。其实，说的就是我们在Python中构造的任何数据类型都是一个对象，不管是数字、字符串、字典等常见的数据结构，还是函数，甚至是我们导入的模块等，Python都会把它当做是一个对象来处理。 所有的Python对象都拥
2021-10-13 18:13:46
84
原创 Python是个什么鬼？为什么建筑大牛都在学它？！
“曾梦想仗剑走天涯，哪知一入设计不能自拔。”入行以后，各个都是甲方：排水、暖通、电气、校对、总工、甲方、老板、施工、审图办......都是主子。日复一日，升职加薪没熬来，但是颈椎病、腰间盘突出 、黑眼圈 ......一应俱全。苦则苦矣，既然大环境改变不了，不如改变一下自己。用更合理的方式做设计，最起码能保命????。今天我想和大家分享一下自己的经历，告诉大家怎么用更轻松有效的方式做设计。上周六晚上九点，叮的一声，我收到一条来自甲方爸爸的消息：“效果图的功能布置要改！”刺激！我一下
2021-10-13 17:48:24
586
2
原创 清华大佬都在用的13个好用到起飞的Python技巧！
Python 是当今广泛使用的编程语言之一，在数据科学、科学计算、Web 开发、游戏开发和构建桌面图形界面等各个领域都有应用。Python 因其在各个领域的实用性、与 Java、C 和 C++ 等其他编程语言相比的生产力以及与英语类似的命令而广受欢迎。假如你也是Python学习爱好者，那么今天讲述的13个技巧，真挺香！列表与列表相关的6个操作，介绍如下；1. 将两个列表合并到一个字典中假设我们在Python中有两个列表，我们希望将它们合并为字典形式，其中一个列表的项目作为字典的键，另一个
2021-10-12 18:26:55
129
原创 学Python真香！我用100行代码做了个网站，帮人PS旅行图片，赚个鸡腿吃
受到疫情的影响，想必大家都没有出门游玩，而是都响应国家的号召，待在家里。长期的居家生活，大家肯定会无比的想念美好的自然风光给大家带来的美好体验。 虽然不能出门，但是我们可以利用python来带领大家出去旅游，今天小编就带领大家利用python和Flask实现旅游的小目标，让大家足不出户，就能晒出自己的旅游照。 01功能简介 我们今天实现的小功能就是，利用python来提取我们的人体图像，然后将我们提取的人像跟背景向结合，最后通过flask在界面上进行显示，其流程如下图所示：02提取人像照片 首先是人
2021-10-12 17:58:55
329
原创 Python爬虫之Scrapy框架通用爬虫CrawlSpider
介绍CrawlSpiderCrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。比如如果你想爬取知乎或者是简书全站的话，CrawlSpider这个强大的武器就可以爬上用场了，说CrawlSpider是为全站爬取而生也不为过。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网页中提取出的url进行继续的爬取工作
2021-10-11 18:16:42
580
原创 Python爬虫：设置Cookie解决网站拦截并爬取蚂蚁短租
我们在编写Python爬虫时，有时会遇到网站拒绝访问等反爬手段，比如这么我们想爬取蚂蚁短租数据，它则会提示“当前访问疑似黑客攻击，已被网站管理员设置为拦截”提示，如下图所示。此时我们需要采用设置Cookie来进行爬取，下面我们进行详细介绍。非常感谢我的学生承峰提供的思想，后浪推前浪啊！一. 网站分析与爬虫拦截当我们打开蚂蚁短租搜索贵阳市，反馈如下图所示结果。我们可以看到短租房信息呈现一定规律分布，如下图所示，这也是我们要爬取的信息。通过浏览器审查元素，我们可以看到需要爬取每条
2021-10-10 16:19:13
654
原创 Python爬虫之验证码处理
1、了解常见验证码在日常生活与工作中，在进行各类设计个人账户安全的操作时，往往需要填写各种验证码来进行验证，短信、语音、文字、问答、图片、拖拽、旋转腾挪、拼图接图...千奇百怪，各种各样，种类繁多，花样迭起！就拿奇葩验证码鼻祖的12306来说，如今我们在12306中可以碰到各种有趣，各种类型的验证码的原因，要归功于为抢票事业做出巨大贡献的——黄牛们，它的“进化史”就是一部不断与黄牛和抢票软件“斗智斗勇”的历史。目前我们常见的验证码，无非就是文本、图像以及音频这三大类。而当文本验证码仍
2021-10-10 16:13:29
2036
原创 保姆级爬虫图文教学 ，手把手教你用Python爬取 “实习网”！
① 你要爬取的网站是什么？首先，我们应该清楚你要爬去的网站是什么？由于这里我们想要爬取的是“实习网”中的数据，因此我们可以打开这个网站看看（如图所示）。网站链接：https://www.shixi.com/search/index?由于我们想要爬取“数据分析”岗位的数据。因此，直接在输入框输入数据分析即可。这里是我们要的最终页面链接。????????待爬取链接：https://www.shixi.com/search/index?key=%E6%95%B0%E6%8D%A
2021-10-10 15:41:36
540
2
原创 Python爬虫快速入门，BeautifulSoup基本使用及实践
爬虫，是学习Python的一个有用的分支，互联网时代，信息浩瀚如海，如果能够便捷的获取有用的信息，我们便有可能领先一步，而爬虫正是这样的一个工具。Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。由于 BeautifulSoup 是基于 Python，所以相对来说速度会比另一个 Xpath 会慢点，但是其功能也是非常的强大，本文会介绍该库的基本使用方法，帮助读者快速入门。网上有很多的学习资料，但是超详细学习内容还是非官网莫属，资料传送门：英文官网：http
2021-10-10 15:28:32
281
原创 清华学长力推有关Python爬虫，看这几本书就够了！
网页抓取就是从网站中提取数据，因为有很多网站，已经有很多开发工具可以用来浏览网站（web爬行）寻找特定的数据片段并自动收集它们（web抓取）。收集到的数据大多是非结构化的HTML形式，之后再将其转化为结构化数据，例如电子表格或者某种形式的数据库，以便能够对这些数据加以利用。这些信息对于那些希望了解趋势的公司或寻找他们感兴趣的特定信息的组织来说是非常宝贵的。因此爬虫技术是一门非常受欢迎的技术，今天我们将和大家推荐一些有关数据爬取的好书：1、《Python Automation Cookbook》
2021-10-10 15:13:52
231
原创 Python 新版来袭！3.9.X 安装教程！！
Python是一门面向对象的计算机程序设计语言，以简洁和优雅著称，可以用于网络爬虫、web开发、人工智能、机器学习、数据挖掘及分析等工作，是目前最受欢迎的编程语言之一。目前常见的Python版本有Python2和Python3，Python3不向下（Python2）兼容，同时官方明确表示2020年1月1日不再支持Python2，因此强烈建议大家学习Python3。Python3最新版本已经发行到3.9.2（2021年3月16日），同时还有3.5、3.6、3.7、3.8系列。课代表把目前常用的各个
2021-10-10 15:07:22
334
原创 微软开源最强Python自动化神器Playwright！不用写一行代码！
相信玩过爬虫的朋友都知道selenium，一个自动化测试的神器工具。写个Python自动化脚本解放双手基本上是常规的操作了，爬虫爬不了的，就用自动化测试凑一凑。虽然selenium有完备的文档，但也需要一定的学习成本，对于一个纯小白来讲还是有些门槛的。最近，微软开源了一个项目叫「playwright-python」，简直碉堡了！这个项目是针对Python语言的纯自动化工具，连代码都不用写，就能实现自动化功能。可能你会觉得有点不可思议，但它就是这么厉害。下面我们一起看下这个神器。1. Pl
2021-10-09 18:19:12
601
原创 清华大佬告诉你Python中的for语句 建议收藏
一年四季，循环往复：说到底就是一个循环的问题for语句实际上解决的是循环问题。在很多的高级语言中都有for循环（for loop）。for语句是编程语言中针对可迭代对象的语句，它的主要作用是允许代码被重复执行。看一段来自维基百科的介绍：In computer science, a for-loop (or simply for loop) is a control flow statement for specifying iteration, which allows code to be
2021-10-09 18:09:51
697
原创 如何自学Python？一文讲清楚
今天就给大家分享一下，工作之余，应该如何学习Python？明确目标对于零基础的学员而言，要明确你学习Python仅仅是为了满足好奇心？还是有工作需要，比如办公自动化的需要，转行的需要。不同的目标，所选用的学习内容和相应的学习方法也就会有所不同。比如，仅仅是好奇，其实就不需要系统学习Python的知识了，简单做个了解，能够根据老师的操作，做出一些能满足好奇心的小案例即可。但如果是工作的需要，那就需要踏踏实实打牢基础了。最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以价
2021-10-09 17:57:31
192
原创 超适合初学者简洁易懂，从基础开始学习Python
1、介绍Python 是一种用于通用编程的高级编程语言。它是一种开源、解释型、面向对象的编程语言。Python 是由荷兰程序员 Guido van Rossum 创建的。Python 编程语言的名称来源于英国的小品喜剧系列《Month Python's Flying Circus》。第一个版本于 1991 年 2 月 20 日发布。1.1为什么是 Python？它是一种非常接近人类语言的编程语言，因此易于学习和使用，Python 被各种行业和公司（包括 Google）使用，它已被用于开发 Web
2021-10-09 17:53:00
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人