ITjianshuzhai的博客

相信小伙伴们都知道今冬以来范围最广、持续时间最长、影响最重的一场低温雨雪冰冻天气过程正在进行中。预计，今天安徽、江苏、浙江、湖北、湖南等地有暴雪，局地大暴雪，新增积雪深度4～8厘米，局地可达10～20厘米。此外，贵州中东部、湖南中北部、湖北东南部、江西西北部有冻雨。言归正传，天气无时无刻都在陪伴着我们，今天小编带大家利用Python网络爬虫来实现天气情况的实时采集。此次的目标网站是绿色呼吸网。绿色呼吸网站免费提供中国环境监测总站发布的PM2.5实时数据查询,更收集分析关于PM2...

过去，在很多金融、市场、行政的招聘中，面试官都会问一句：“你精通 EXCEL 吗？”但今天，他们可能更喜欢问：“你会 Python 吗？”越来越多的企业开始用 Python 处理数据，特别是金融、证券、商业、互联网等领域。在顶级公司的高端职位中，Python 更是成为了标配：Python 究竟有什么法力能让大家如此青睐？举个例子：在过去，如果老板想要获取 A 股所有股票近 2 年的数据，你可能需要登录-查询-下载-记录到excel循环 500 多次，即使你是一个没有感情的...

前言在调试爬虫的时候，新手都会遇到关于ip的错误，好好的程序突然报错了，怎么解决，关于ip访问的错误其实很好解决，但是怎么知道解决好了呢？怎么确定是代理ip的问题呢？由于笔者也在不断学习过程中，所以有些解释可能和Python大佬们的解释不一样，如果有不对的地方，请大家多多提携。感谢大家阅读，好了下面正文开始!代理ip的逻辑在哪里一个scrapy 的项目结构是这样的scrapydownloadertest # 项目文件夹│ items.py # 定义爬取结果存储的数据结...

前言在Python爬虫过程中，有些网站需要验证码通过后方可进入网页，目的很简单，就是区分是人阅读访问还是机器爬虫。验证码问题看似简单，想做到准确率很高，也是一件不容易的事情。为了更好学习爬虫，后续推文中将会更多介绍爬虫问题的解决方案。本篇推文将分享三种解决验证码的方法，如果你有比较好的方案，欢迎留言区讨论交流，共同进步。另外小编也给大家准备了一些爬虫的学习资料，免费分享，在最下面！1.pytesseract很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，...

建议收藏超神利器​很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例的人，却不知道如何去学习更加高深的知识。那么针对这三类人，我给大家准备了很多学习资料，最下面是奥！​相信多数安卓用户都使用过Qpython这款移动端的Python编辑器吧？之前我也研究过一阵子这个工具，但因为一次简单的爬虫让我对它失望之极。Qpython不支持lxml这个模块，然而python中lxml作为最底层的模块，不...