早起Python

大家好，我是早起。从写公众号开始，不论是私信还是交流群，常常都会有粉丝会问出类似下面的问题 xx网站能不能爬？ 爬xx数据有没有风险？ 其实我并不是爬虫从业人员，充其量算爬虫爱好者，去年也转载过一篇相对理性的文章????请不要污名化爬虫！，年初还因为在公众号分享某网站的反爬破解收到了律师函，算是在作死的边缘徘徊了一波 今天就简单聊一下爬虫那些事儿。当我们谈论爬虫在这里，其实我想吐槽一下，对于大多数非爬虫从业者或者说大部分 Python 爱好者来说，我们写的“爬虫”和大家谈

大家好，我是早起。经常有读者会爬虫学哪个库？其实常用的 Python 爬虫库无非是requests，selenium和scrapy，其实每个库都有他们的特点，对于我来说没有最推荐的库只有最合适库，本文就将基于一个简单的爬虫案例（Python爬取起点中文网）来对比分析三个库 目标需求为批量采集排行榜书籍信息，如下图所示： 页面结构很容易分析出来，排行榜100条书籍信息，一个静态页面包含20条数据。使用不同的第三方库进行数据解析并提取数据，分别是： requests selenium

大家好，我是早起。在使用Python本爬虫采集数据时，一个很重要的操作就是如何从请求到的网页中提取数据，而正确定位想要的数据又是第一步操作，本文将对比几种 Python 爬虫中比较常用的定位网页元素的方式供大家学习 传统 BeautifulSoup 操作 基于 BeautifulSoup 的 CSS 选择器（与 PyQuery 类似） XPath 正则表达式 参考网页是当当网图书畅销总榜：http://bang.dangdang.com/books/best

大家好，我是早起。今天是大年初二，本来是可以好好在家休息，但是考虑到明天就是情人节了，加上最近后台求往期情人节/520/七夕表白文章的代码人数又多了起来，我就再给大家分享一招????每天早上用Python给TA的微信发送问候大致效果如下，只要程序写好了每天早上就会自动给小姐姐发送一条问候消息。 思路分析看上去有点复杂，又要爬天气又要爬路况，但只要将思路分析清楚就能轻松搞定，本项目大致分为三块“ 爬取相关信息（日期、时间、路况） 构建内容并推送消息至微信 每天定

大家好，我是早起。春运即将到来，抢票回家又该提上日程了！在Github上也有很多优秀的开发者开源了一些基于Python的抢票项目，比如一直很火的**12306/py12306**，目前已经累计超40k Star！但如果你尝试使用，会发现由于12306的验证码升级，这两个项目的登陆模块都挂掉了。but不慌，经过一番探索，我找到了一个还能完美使用的抢票项目，并联系到开发者@罐子里的茶呢，了解到只要对登陆模块的一些接口地址进行变更，以及对部分参数的获取逻辑进行调整，就能重新盘活Python抢票项目12306

前言在我们写爬虫的过程中，目标网站常见的干扰手段就是设置验证码等，本就将基于Selenium实战讲解如何处理弹窗和验证码，爬取的目标网站为某仪器预约平台可以看到登录所需的验证码构成比较简单，是彩色的标准数字配合简单的背景干扰****因此这里的验证码识别不需要借助人工智能的手段，可直接利用二值法对图片处理后交给谷歌的识别引擎tesseract-OCR即可获得图中的数字。注：selenium 和 tesseract 的配置读者可自行搜索，本文不做介绍)Python实战首先导入所需模块import

大家好，之前我们已经将疫情可视化的各种操作基本都讲了一遍，从爬取数据到数据分析、建模、可视化甚至有关如何开发疫情实时追踪网站我们都讲了一遍，因此很久没有更新过疫情相关的文章。但最近几乎每天都有小伙伴在后台问我如何获取最新的疫情数据，尤其是历史数据很难找到。在三月份我曾经在疫情数据哪里找，看这篇就够了这篇文章中详细介绍了5种获取疫情数据的方法，不过部分API已经失效，了解到很多读者是为了科研、论文需要使用相关数据，所以今天我们再来聊聊现在如何取得疫情相关数据。全球疫情历史数据难倒大家的大多数是在.

大家好，今天是520相信大家这几天也看了很多用Python表白的文章今天我就给大家分享6种用Python表白的姿势不管什么语言从我在使用Matlab甚至Excel提到情人节就少不了画个爱心在Python中一般使用Turtle来绘制对就是之前画樱花树的那只小乌龟现在我们可以画一个挂满爱心的樱花树当然也可以画个爱心，再配上一句告白气球的歌词看上去好像比用心形函数绘制的静态爱心好看了那么一点但是好像也没有...

大家好，之前给大家分享过Scrapy框架各组件的详细配置，今天就来更新一篇实战干货：CrawlSpider框架爬取数码宝贝全图鉴。可能本文爬的这个网站你不感兴趣，但我希望你能通过下面的爬取分析、操作中学会点什么，写的很详细，如果你对Scrapy感兴趣或者正在学习Scrapy那么本文将是一个极好的练习案例。需求分析主页面分析首先点击http://digimons.net/digimon/chn.html进入中文检索页面查看页面源码有两点发现： 数据不是通过Ajax加载.

大家好，在写博客的这段时间内，后台留言最多的问题除了文章中的代码之外，大致可以分为下面三种 Python是什么/怎么学 学Python看什么书/什么课 我的vscode/pycharm/notebook等怎么配置失败了 那么今天就和各位新手朋友聊一聊在入门阶段该去哪里撸代码。首先在配置开发环境之前先思考自己学Python的方法。如果是跟着视频/相关书籍学的话，那么建议无条件按照对应视频/书本里的环境配置，甚至连相关库都要尽可能一致，因为很可能一点变动就会导致你按照教程做

大家好，520它又要来了所以今天的主题是粉色的为了各位秃头程序员不再头疼本文给大家介绍几种用Python表白的姿势绝不是画个爱心曲线那么简单～用Python将你们的聊天记录/TA的朋友圈文字制作成漂亮的词云图，先来看看效果当然图片你可以随便选择，爱心、玫瑰、钻石都可以，并且关于词云图的绘制方法我们已经讲了很多，比如上面的图就是用Wordcloud制作。唯一的难点就是如何将你们之间的聊天记录导出，因为iOS/android和MAC/Windows的...

大家好，今天我们来讲点Selenium自动化，你是否有特别喜欢的公众号？你有思考过如何将一个公众号历史文章全部文章爬下来学习吗？现在我们以早起Python为例，使用Selenium来实现下面就来详细讲解如何一步步操作，文末附完整代码。Selenium介绍Selenium是一个用于web应用程序自动化测试的工具，直接运行在浏览器当中，可以通过代码控制与页面上元素进行交互，并获取对应的...

系列导读01.Python机器学习之旅｜第一个项目前言大家好，关于数据挖掘或者机器学习的理论我想大家应该都已经了解很多，而数据挖掘的工具例如Pandas、NumPy、Sklearn等在历史文章都有所介绍，因此今天我们将开始第二个案例实战也是使用非常多的IRIS数据集：根据花瓣和花萼的长宽预测鸢尾花的种类。加载数据首先我们打开Jupyter Notebook导入相关库imp...

前言GUI(图形用户界面)想必大家都不陌生，简单来说就是将代码变成可以交互式操作的界面。在Python中就提供了多个图形开发界面的库，比如Tkinter、wxPython、Jython等，本文将使用Tkinter来制作一个简单的快递查询软件，先来看看效果为什么使用Tkinter？因为Tkinter 是 Python 的标准 GUI 库，只要安装好 Python 之后就能直接使用，...

前言近期，全国多地以各种形式投放消费券、消费补贴来鼓励消费，部分城市在首期消费券的基础上，连续追加发放多期消费券。你在的城市撒币了吗？哪个省份最爱撒币？哪个城市撒币最多？跟随本文一起来看看。数据说明如果想从支付宝或者微信等官方网站爬取相关数据会非常困难，因此本文将从专门收集发布此类数据的本地宝网站获取数据，首先打开任意一个城市的消费券信息然后熟练的F12—查找数据包发现不同城市...

我的公众号：早起Python关注第一时间接收最新文章===大家好，NumPy系列讲解已经更新了两期，今天将整理一些相关的题目来实际操作一下，因为在Pandas系列中有涉及到部分NumPy操作因此我也不确定最终会有多少题，暂且先来个20题热热身吧！01数据查看题目：导入并查看NumPy版本难度：⭐答案import numpy as npprint(np.__ver...

说到使用Python进行地理坐标可视化那就一定少不了Pyecharts的身影，本文就对Pyecharts可以制作的四种地图进行简单的评析。Pyecharts—Map首先介绍的是Pyecharts中使用最多的Map()，核心代码仅四行即可生成全国地图，来看下官方Demofrompyechartsimportoptionsasoptsfrompyecharts.charts...

前言在前几天的文章中我们讲解了如何从Word表格中提取指定数据并按照格式保存到Excel中，今天我们将再次以一位读者提出的真实需求来讲解如何使用Python从Excel中计算、整理数据并写入Word中，其实并不难，主要就是以下两步：openpyxl读取Excel获取内容 docx读写Word文件那我们开始吧！需求确认首先来看下我们需要处理的Excel部分数据，因涉及隐私已经将数...

大家好，今天有一个公务员的小伙伴委托我给他帮个忙，大概是有这样一份Word(由于涉及文件私密所以文中的具体内容已做修改)一共有近2600条类似格式的表格细栏，每个栏目包括的信息有： 日期 发文单位 文号 标题 签收栏 需要提取其中加粗的这三项内容到Excel表格中存储，表格样式如下：也就是需要将收文时间、文件标题、文号填到指定位置，...

大家好，最近吵得热热闹闹的“惊雷”不知道大家有没有听过，在我点开听完之后除了感觉辣耳朵之外，另外就在想，既然这”歌“就是读个词，那我用Python能不能整一首，于是乎经过一番操作，成功整出一首程序员版惊雷苏卡不列程序员惊雷其实实现也很容易，不就是生成歌词、再用Python播放BGM并将歌词读出来，所以唯一的困难就是如何生成歌词。而这些在我翻了翻B站、网易云和虎扑之后，轻松get...

本文为Matplotlib进阶修炼系列第三期大家好，在之前的文章中我们分别讲解了如何使用Matplotlib官方文档绘图以及制作折线图实战，那么今天我们继续使用一组数据来练习使用Matplotlib绘制更多的图表。首先启动、导包、读取三连import pandas as pdimport numpy as npimport matplotlib.pyplot as plt...

前言大家好，随着国内疫情逐步好转，一些美食店铺又渐渐开张了，疫情结束你最想吃什么？来一顿痛快的火锅肯定是少不了的活动吧。可是对于选择困难症的我来说，吃饭一小时，挑店一下午，所以今天本文将再次爬取美团网相关数据，以一个消费者的角度去分析如何选择店铺。数据获取与说明本文将基于重庆市火锅数据进行分析，为啥是重庆的火锅，除了辣之外还因为其他城市的火锅店数量相比重庆的火锅店数量就是小巫见大巫...

我的公众号：早起Python===大家好，昨天我们讲解了如何使用Matplotlib官方文档来绘制并调整我们想要的图，那么今天将使用真实数据来练习使用Matplotlib绘图，我们开始吧！首先启动、导包、读取三连import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport warning...

没错，在我们完结了Pandas进阶修炼120题，昨天的NumPy进阶修炼也开启了之后，今天Matplotlib专题系列也登场了！这样Python数据分析可视化三板斧就齐活了，我们开始吧！本文将以我学习Matplotlib绘图的经历手把手教你如何做出想要的图。为了方便讲解，我们使用最最简单的例子来讲解，不过真的简单吗？来看看吧！首先我们导入相关库import matplotlib.py...

我的公众号：早起Python========大家好，上周发布的Pandas进阶修炼120题不知道各位做的怎么样，现在NumPy系列也闪亮登场！在上个系列一直让我很遗憾的就是对一些重要的函数没有进一步讲解(当然有读者制作的b站讲解视频填补了这一空缺)。所以在NumPy系列中，为了系统的学习NumPy的各种操作，类似于Pandas120系列的习题肯定少不了，但是还会有一些理论的讲解，我们开始吧...

大家好，今天是周日，来点愉快的。昨天在读书的时候，看到一个案例说美国有一位大哥，为了找到一个合适的女朋友，写了一段代码拿到了婚恋网站的一些妹子数据，然后使用一些模型对数据进行分类，接着根据分类结果找到合适自己的那一类妹子，最后与这一类妹子逐个约会，在约会了近百次之后，终于快乐的结婚了。我定睛一看，不就爬数据建模分类吗，这些咱也会，虽然有女朋友了，但是为了锻炼技术，我也要操作一番试试，于是找...

更多Python数据可视化案例请关注我的公众号：早起Python========前言大家好，不知道大家会在什么场合使用词云图，对我来说词云图的优点除了它可以展示大量文本数据。从而让读者快速抓住重点，更重要的是词云图好看啊，所以今天给大家分享几种词云图的制作方法。首先我们来思考一下词云图是怎样生成的，简单来说不就是读取文本—>分词—>计算词频—>词云，下面将以我们制作词...

欢迎关注我的公众号：早起Python=====大家好，都说追女孩方法大于态度，学Python也是，今天就给大家分享的是我在用Python编写程序时常用的一些小技巧。1.多次打印同一个字符在Python中，不用特地写一个函数来重复打印同一个字符，直接使用Print就可以tem = 'I Love Python 'print(tem * 3)I Love Python I L...

大家好，说起可视化图表，那么弦图(Chord Diagram)一定是颜值担当了，比如在今天这个特殊的日子我们通过使用百度迁徙数据来可视化展示武汉及其周边城市的迁徙数据????看上去是不是很酷炫，并且还支持交互，接下来我们就讲解如何使用Python制作这样一张弦图～首先我们先简单介绍一下弦图，弦图主要用于展示多个对象之间的关系，连接圆上任意两点的线段叫做弦，弦（两点之间的连线）就代表着两...

大家好，今天我们要讲的是如何使用Pyecharts制作动态排名变化图????制作这样的一个动态图使用到的是Pyecharts中的TimeLine(时间线轮播图)，代码实现起来其实稍有难度，但我希望能通过讲解这样一张动态图的制作过程，来让各位读者可以使用Pyecharts将任何一种图动起来，我们开始吧！首先我们需要思考一下这样一种动态图的生成逻辑，不就是把每天的数据制作成一张条形图然后轮动吗，...

大家好，拖了大概两周，终于将Pandas120题在今天更新完了，为什么会有这个系列，其实内容主要是我在使用Pandas处理数据时遇到的各种问题与解决办法，本来想放在早起的Python工具箱系列中，结果一看记录的还挺多，就单独开一个专题吧。为什是120题，其实在一开始估计会总结200题但是如果做过这120题的读者会发现，有一部分题的方法是类似的，虽然多水80题并不难，但是对于我和读者都是痛苦...

==========今天文章是以图片形式，CSDN排版太难了0.0欢迎关注我的公众号：早起python==========大家好，在使用pandas进行数据分析过程中，回想一下你是怎么对一个数据集进行数据切片，是不是百度：pandas如何提取第x行数据，然后根据一堆结果找到一个能用的就完事了，那么你一定会迷失在pandas中的切片函数:.iloc()、.loc()、.ix()中，本...

========欢迎关注我的公众号：之前python=======要说使用Python中最让人头疼的过程，不是程序崩溃代码报错，而是卡在安装某个依赖库上，因为报错的代码千篇一律但安装失败的情况千奇百怪，因此本文将介绍我在安装第三方库遇到问题时的一般操作。在安装某个库的时候，首先当然是直接pip，比如pip install pandas，可是在某些时候会发现下载速度只有1kb/秒，甚...

==========欢迎关注我的公众号：早起python有问题可以后台给我留言============大家好，最近一直有读者在后台留言说早起能不能写一下怎么获取国外的疫情数据、美国疫情数据怎么爬之类的。为了满足各位，今天就说一下如何爬取美国疫情数据。废话不多说，直接开始，只需一台电脑，按照下面的顺序一步一步执行，爬不下来数据你打我，文末不提供源码，源码一字不少全在文中。首...

==================欢迎关注我的公众号：早起python=================大家好，本文接着更新Pandas进阶修炼120题，Pandas的强大不仅仅因为它自身的强大，更在于当它和NumPy、Matplotlib、Sklearn等库结合使用时发挥的巨大威力，本期就挑选了一些Pandas+NumPy相关的题目供各位读者练习，如果感兴趣，请一定要敲一遍代码。...

前言大家好，又到了Python爬虫+数据分析可视化的专题，今天案例是对美团网杭州市美食团购的数据进行分析，如果已经或者最近有打算开一家美食团购店铺的读者，希望本文能对你有所帮助。数据获取本次案例需要爬取的目标网站为美团网web端杭州市美食页面方法还是和之前的一样，F12查看数据包，找到对应的url再使用requests爬取数据由于这部分操作我们已经使用来很多次，并...

============欢迎关注我的公众号：早起python============前言在还未正式发布的python3.9中，有一个新功能值得关注，那就是任意表达式可以作为装饰器，如果你还不知道装饰器是什么，没关系，跟着本文一个例子搞明白，不过需要你对Python中的类(Class)有一定的了解，因为我们一般在类中使用。一个例子关于装饰器是什么，随便一搜都能找到一堆解释。我...

什么是pdb不知道大家在用Python写代码出现报错时是怎样调试的，从报错提示定位回去一步一步check每一行？如果没有IDE或者命令行写代码时又该怎样快速调试？这时如果使用pdb进行调试将会异常方便。Pdb就是Python debugger ，是python自带的调试器。通过 pdb 我们可以交互式的查看运行过程中变量的值、设置断点、逐行执行代码、查看代码的调用栈等等。并且如果环境没有 ...

==============欢迎关注首发公众号：早起python==============大家好，Pandas进阶修炼120题系列旨在用刷题的方式彻底玩转pandas中各种操作，本期为第二期，我们开始吧～21数据读取题目：读取本地EXCEL数据难度：⭐答案df = pd.read_excel('pandas120.xlsx')本期部分习题与该数据相关...

=============欢迎关注文章首发公众号：早起python=============在『Pandas进阶修炼120题』系列中，我们将对pandas中常用的操作以习题的形式发布。从读取数据到高级操作全部包含。如果你是新手，可以通过本系列完整学习使用pandas进行数据处理的各种方法，如果你是高手，欢迎留言给出与答案的不同解法。本期先来20题热身吧！1创建DataFrame...