Python开发
文章平均质量分 94
Python进阶者
人生苦短,我用Python
展开
-
1024程序员节|代码改变世界,科技创造未来 Python进阶者联合机械工业出版社好书相赠
送书啦~转载 2022-10-21 09:43:23 · 281 阅读 · 0 评论 -
手把手教你使用Python操控手机微信app(最新教程)
/1 前言/最近在做手机APP自动化测试,需要安appium,并配置环境变量,网上虽然有很多教程,但是随着版本的更新总有各种各样的坑,本文以亲身踏坑经历给大家详细介绍一下如何正确安装appium。/2 第一步:安装Adroid SDK/1、按照网上的教程,先下载Adroid SDK,网址为https://www.androiddevtools.cn/,如下图所示。...原创 2020-02-22 13:06:40 · 7919 阅读 · 6 评论 -
浅谈虚拟环境管理工具virtualenvwrapper
/1 前言/ 过年了,村都被封了,哎,出都出不去,想着干点啥,就把以前没完善的继续完善一下。今天呢,还是继续说Python的虚拟环境,因为上次的虚拟环境,写的并不是太完整,还差一些。因为我写的,主要是针对初学者或者接触过一点的,基础不是太好的,所以用了很多图片,上次的太长了,只能分成两次了,好了,咱们开始正文吧。对了,还没有来得及看虚拟环境上篇的小伙伴可以戳这篇文章:手把手教你如何在Pych...原创 2020-02-04 22:20:11 · 467 阅读 · 0 评论 -
手把手教你进行Python虚拟环境配置
/1 前言/咱们今天就来说一下Python的虚拟环境,可能有的小伙伴会疑惑,Python的虚拟环境有什么用呢?接下来我们一起来探讨一下。/2 虚拟环境的作用/咱们今天就来说一下Python的虚拟环境,可能有的小伙伴会疑惑,Python的虚拟环境有什么用呢?接下来我们一起来探讨一下。我们先来举个例子,来说明为什么需要虚拟环境。我们在学习Python的时候,可能会学到越来越多的...原创 2020-02-02 10:33:44 · 597 阅读 · 2 评论 -
Python大佬手把手带你破解滑动验证码(上篇)
/1 前言/有爬虫经验的各位小伙伴都知道,正常我们需要登录才能获取信息的网站,是比较难爬的。原因就是在于,现在各大网站为了反爬,与爬虫机制斗智斗勇,一般的都加入了图片验证码、滑动验证码之类的干扰,让我们的爬虫半途折返。 本篇文章主要是针对哔哩哔哩的滑动验证码进行讲解和破解。/2方法探讨/ 写这个文章之前,我就在想一个问题,关于破解滑动验证究竟是使用机器学习还是第三方服...原创 2020-01-10 12:47:19 · 8330 阅读 · 5 评论 -
Python大牛带你实现12306全自动抢票,学完后春运回家抢票无忧
随着2018年春节的脚步日益临近,归心似箭的人们都希望能尽快赶回家中。中国人回家过年,是每个人一年中最重要的事,无论你离家远近。在所有的交通工具中,承担着最大客流量的交通工具,毫无疑问是火车。中国庞大的人口与密布的中中国铁路网紧密相连,每一个归家游子的回家欲求逐渐汇聚成春运大潮,成为每年春节都避免不了的现象。另据TechWeb报道 1月8日消息称,2018年春运从2月1日开始至3月12日结束,共计...原创 2019-02-26 15:56:55 · 2300 阅读 · 0 评论 -
企业级Python开发大佬利用网络爬虫技术实现自动发送天气预告邮件
前天小编带大家利用Python网络爬虫采集了天气网的实时信息,今天小编带大家更进一步,将采集到的天气信息直接发送到邮箱,带大家一起嗨~~拓展来说,这个功能放在企业级角度来看,只要我们拥有客户的邮箱,之后建立邮箱数据库,然后我们就可以通过网络爬虫将采集到的信息发送给我们的目标用户,而且每天都可以实现定时发送。对于天气信息,我们采集的目标网站是搜狐天气网,信息内容如下图所示:搜狐天气网...原创 2019-03-02 13:30:22 · 2662 阅读 · 0 评论 -
Python大佬用20行代码带你打造一个微信聊天机器人(附代码)
近来,打开微信群发消息,就会秒收到一些活跃分子的回复,有的时候感觉对方回答很在理,但是有的时候发现对方的回答其实是驴唇不对马嘴,仔细深究发现,原来对方是机器人。今天,小编就带大家用20行代码,带你一起打造一个微信聊天机器人,让你的微信群一直嗨不停~~首先我们需要安装一个微信相关的第三方库,itchat,在Windows上通过命令:pip install itchat,就可以将其安装。其二,...原创 2019-03-02 13:31:37 · 2137 阅读 · 5 评论 -
浅谈Python内置对象类型——数字篇(附py2和py3的区别之一)
Python是一门面向对象的编程设计语言,程序中每一样东西都可以视为一个对象。Python内置对象可以分为简单类型和容器类型,简单类型主要是数值型数据,而容器类型是可以包含其他对象类型的集体,如序列、元组、映射等。在简单类型对象中,Python的数值数据包括整型(int)、长整型(long)、浮点型(float)、复数(complex)及布尔型(bool)等。在容器类型对象中,序列是指元素...原创 2019-03-03 10:49:44 · 411 阅读 · 0 评论 -
企业级开发大佬告诉你学习Python需要用什么开发工具
最近看到学习群里面的小伙伴,对于Python IDE都比较纠结,希望找到一些适合自己的、Python开发工具。小编向企业级大佬请教之后,给大家分享几款Python开发工具,供正在纠结用哪种开发工具的小伙伴们参考~对于学习Python的小伙伴,小编首推的Pycharm。首先,PyCharm用于一般IDE具备的功能,比如, 调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、...原创 2019-02-27 12:12:42 · 2453 阅读 · 0 评论 -
Python、C 还是Java,零基础的小白想学习编程应该挑选哪门语言?
你可能已经听说过很多种流行的编程语言,比如非常难学的C语言,非常流行的Java语言,适合初学者的Basic语言,适合网页编程的Java语言等。今天小编给大家分享一下Python这门计算机程序设计语言。。对于即将毕业或已毕业的大学生、想转行的人或想学习编程的朋友,应该挑选学习Python、C++还是Java?对于许多即将学习编程语言、要面临就业的学生、想转行找工作的人来说,零基础的小白白挑选...原创 2019-02-27 12:14:16 · 1924 阅读 · 0 评论 -
零基础小白入门Python,值得看的几本书籍
Python目前是全球4大流行编程语言之一,根据今年TIOBE最新排名,Python已超越C#,与Java,C,C++一起成为全球前4大最流行语言,指数变化一直呈现出上升的趋势。TIOBE最新排名众所周知,Python应用广泛,涵盖后端开发、游戏开发、网络爬虫、网站开发、数据挖掘、科学运算、大数据分析、云计算。人工智能等领域,感觉像神一样的存在。Python这么火,那么从入门到精通学习...原创 2019-02-27 12:15:38 · 15451 阅读 · 1 评论 -
Python大神利用正则表达式教你搞定京东商品信息
京东(JD.com)是中国最大的自营式电商企业,2015年第一季度在中国自营式B2C电商市场的占有率为56.3%。如此庞大的一个电商网站,上面的商品信息是海量的,小编今天就带小伙伴利用正则表达式,并且基于输入的关键词来实现主题爬虫。首先进去京东网,输入自己想要查询的商品,小编在这里以关键词“狗粮”作为搜索对象,之后得到后面这一串网址:https://search.jd.com/Search?k...原创 2019-02-27 12:16:41 · 2974 阅读 · 3 评论 -
Python程序员爬取《万物理论》10万影评,带你解读霍金的有趣故事
相信昨天的Breaking news(爆搜)是本世纪伟大的物理学家霍金辞世,享年76岁。小伙伴肯定知道霍金的故事肯定很励志,他是智商肯定不是常人能及的,因为他的引领,不断的拓宽了人类对宇宙的认识。作为一名普通吃瓜群众,《时间简史》、《果壳中的宇宙》这些高大上的天书能知道名字就已经十分不错了,如果想看的话,要做好听凉凉的心里准备。不过别慌,看书看不懂,看电影总能更好接受一些吧,关于霍...原创 2019-03-07 16:43:26 · 505 阅读 · 0 评论 -
网页结构的简介和Xpath语法的入门教程
相信很多小伙伴已经听说过Xpath,之前小编也写过一篇关于Xpath的文章,感兴趣的小伙伴可以戳这篇文章如何利用Xpath抓取京东网商品信息以及Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)总结。今天小编继续给大家介绍一些Xpath知识点,希望对大家的学习有帮助。1、Xpath让我们可以使用一种类似于Windows下的文件路径的方式,让我们可以定位到HTML或者XML...原创 2019-03-22 15:35:02 · 323 阅读 · 0 评论 -
盘点几个在手机上可以用来学习编程的软件
前天在悟空问答的时候,很荣幸被邀请参加回答“在手机上可以用来学习编程的软件有哪些?”这个问题,当时在回答的首页看到一个头条大微(小小猿爱嘻嘻)的回答,觉得十分受用,在此将其整理好,发布头条给大家学习,希望对大家学习编程有帮助。感谢大佬提供的解答,原文可以点击拓展链接进行查看。学习编程的软件其实挺多的,下面我简单几个可以在手机上编程的软件,主要分为C/C++,Java,Python,前端网页,L...转载 2019-04-05 20:20:08 · 46906 阅读 · 4 评论 -
关于Scrapy爬虫项目运行和调试的小技巧(上篇)
扫除运行Scrapy爬虫程序的bug之后,现在便可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前,在这里介绍四种小技巧,可以方便我们操纵和调试爬虫。一、建立main.py文件,直接在Pycharm下进行调试很多时候我们在使用Scrapy爬虫框架的时候,如果想运行Scrapy爬虫项目的话,一般都会想着去命令行中直接执行命令“scrapy crawl crawler_name”,其中craw...原创 2019-04-13 23:30:24 · 1324 阅读 · 0 评论 -
在Scrapy中如何利用Xpath选择器从HTML中提取目标信息(两种方式)
前一阵子我们介绍了如何启动Scrapy项目以及关于Scrapy爬虫的一些小技巧介绍,没来得及上车的小伙伴可以戳这些文章:手把手教你如何新建scrapy爬虫框架的第一个项目(上)手把手教你如何新建scrapy爬虫框架的第一个项目(下)关于Scrapy爬虫项目运行和调试的小技巧(上篇)关于Scrapy爬虫项目运行和调试的小技巧(下篇)今天我们将介绍在Scrapy中如何利用Xpath...原创 2019-06-08 13:21:17 · 1022 阅读 · 0 评论 -
如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例
前几天给大家分享了利用Python网络爬虫抓取微信朋友圈的动态(上)和利用Python网络爬虫爬取微信朋友圈动态——附代码(下),并且对抓取到的数据进行了Python词云和wordart可视化,感兴趣的伙伴可以戳这篇文章:利用Python词云和wordart可视化工具对朋友圈数据进行可视化。今天我们继续focus on微信,不过这次给大家带来的是利用Python网络爬虫抓取微信好友总数量和微信...原创 2018-05-20 23:17:07 · 3745 阅读 · 0 评论 -
用Python网络爬虫来抓取网易云音乐歌词
前几天小编给大家分享了数据可视化分析,在文尾提及了网易云音乐歌词爬取,今天小编给大家分享网易云音乐歌词爬取方法。本文的总体思路如下: 找到正确的URL,获取源码; 利用bs4解析源码,获取歌曲名和歌曲ID; 调用网易云歌曲API,获取歌词; 将歌词写入文件,并存入本地。 本文的目的是获取网易云音乐的歌词,并将歌词存入到本地文件。整体的效果图如下所示:...原创 2019-02-26 15:50:44 · 3361 阅读 · 0 评论 -
王者程序员整理的Python网络爬虫和web的系统学习路线图
最近很多小伙伴找小编咨询,如何系统的学习Python?相信这个论题应该困扰了许多想学习Python的人,今天小编给大家讲一下一个零根底的小白,应该如何体系化的学习Python编程语言,在学习的道路上少浪费时间去摸索,少走弯路。相信小伙伴们都知道,目前Python主打的两个方向:其一是网络爬虫,其二是web开发。如果将这两者完美的结合起来,可以说是天作之合。如果你前端和后端都搞得定,那么恭喜...原创 2019-03-05 14:16:14 · 630 阅读 · 4 评论 -
Python正则表达式初识(二)
前几天给大家分享了Python正则表达式初识(一),介绍了正则表达式中的三个特殊字符“^”、“.”和“*”,感兴趣的伙伴可以戳进去看看,今天小编继续给大家分享Python正则表达式相关特殊字符知识点。 1、特殊字符“$”代表的意思是结尾字符。举个栗子,正则表达式“3$”,表示匹配以3为结尾的字符串。代码演示如下图所示。 正则表达式匹配模式“.*3$”代表以3结尾的任意字符的...原创 2018-09-23 14:10:22 · 803 阅读 · 0 评论 -
安装完Python之后,如何设置Python环境变量
人生苦短,我用Python。最近有许多加群的萌新在咨询Python安装的事宜,Python安装问题不大,可以戳这篇文章:。本以为安装Python之后就可以万事大吉,高枕无忧了,往命令行中输入python,发现有下图的错误。明明已经安装了Python,为什么还出现这个错误呢?这里很可能是因为你尚未设置Python环境变量。今天小编就手把手教你如何设置Python环境变量。1、首先确定已经安装好了Py...原创 2018-07-10 11:25:06 · 75402 阅读 · 3 评论 -
利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化,感兴趣的小伙伴可以点击进去看看详情,内容方面不是很难,即使你是小白,也可以通过代码进行实现抓取。今天,小编继续给大家分享如何利用Python网络爬虫抓取微信好友的签名及其可...原创 2018-06-02 15:33:29 · 1844 阅读 · 0 评论 -
如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化展示
大前天我们通过Python网络爬虫对朋友圈的数据进行了抓取,感兴趣的朋友可以点击进行查看,如何利用Python网络爬虫抓取微信朋友圈的动态(上)和如何利用Python网络爬虫爬取微信朋友圈动态——附代码(下)。今天小编带大家通过词云去将其进行可视化,具体的教程如下。1、在Python中做词云,需要用到wordcloud库和jieba分词库,没有安装的伙伴可以直接pip安装即可。2、之后你可能还需要...原创 2018-05-16 13:14:38 · 4213 阅读 · 0 评论 -
利用Python网络爬虫抓取微信好友的所在省位和城市分布及其可视化
前几天给大家分享了如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,感兴趣的小伙伴可以点击链接进行查看。今天小编给大家介绍如何利用Python网络爬虫抓取微信好友的省位和城市,并且将其进行可视化,具体的教程如下。爬取微信好友信息,不得不提及这个itchat库,简直太神奇了,通过它访问微信好友基本信息可谓如鱼得水。下面的代码是获取微信好友的省位信息:程序运行之后,需要扫描进行授权登...原创 2018-05-26 10:56:52 · 3594 阅读 · 0 评论 -
如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入。一、代码实现1、修改Scrapy项目中的items.py文件。我们需要获取的数据是朋友圈和发布日期,因此在这里定义好日期和动态两个属性,如下图所示。 2、修改实现爬虫逻辑的主文件moment.py,首先要导入模块,尤其是要主要将item...原创 2018-05-12 23:40:04 · 16373 阅读 · 31 评论 -
如何用Python网络爬虫爬取网易云音乐歌曲
今天小编带大家一起来利用Python爬取网易云音乐,分分钟将网站上的音乐down到本地。跟着小编运行过代码的筒子们将网易云歌词抓取下来已经不再话下了,在抓取歌词的时候在函数中传入了歌手ID和歌曲名两个参数,其实爬取歌曲也是同样的道理,也需要传入这两个参数,只不过网易云歌曲的URL一般人找不到。不过也不要慌,有小编在,分分钟扫除您的烦恼。网易云歌曲一般会有一个外链,专门用于下载音乐音频的,以赵雷的歌...原创 2018-04-27 23:19:14 · 23583 阅读 · 20 评论 -
Python环境搭建—安利Python小白的Python安装详细教程
人生苦短,我用Python。众所周知,Python目前越来越火,学习Python的小伙伴也越来越多。最近看到群里的小伙伴经常碰到不会安装Python或者不知道去哪下载Python安装包等系列问题,为了方便大家学习Python,小编整理了一套Python安装详细教程,只要大家按照这个步骤来,就可以轻松的搞定Python的安装了。Python具有跨平台性,它几乎可以在任何平台下运行,如:Windo...原创 2018-05-06 10:30:20 · 2658 阅读 · 3 评论 -
Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程
这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。Scrapy是Python网络爬虫的一个框架,十分好用,深得大家的青睐,其工作原理,在在此就不赘述了。 1、正常我们在Python库的时候,只需要利用cmd命令打开命令行窗口,然后输入pip install...原创 2019-01-13 17:41:34 · 844 阅读 · 0 评论 -
一篇文章教会你理解Scrapy网络爬虫框架的工作原理和数据采集过程
今天小编给大家详细的讲解一下Scrapy爬虫框架,希望对大家的学习有帮助。1、Scrapy爬虫框架Scrapy是一个使用Python编程语言编写的爬虫框架,任何人都可以根据自己的需求进行修改,并且使用起来非常的方便。它可以应用在数据采集、数据挖掘、网络异常用户检测、存储数据等方面。Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下图所示。Scrapy爬虫...原创 2019-02-06 22:30:24 · 7042 阅读 · 0 评论 -
利用Python网络爬虫采集天气网的实时信息—BeautifulSoup选择器
相信小伙伴们都知道今冬以来范围最广、持续时间最长、影响最重的一场低温雨雪冰冻天气过程正在进行中。预计,今天安徽、江苏、浙江、湖北、湖南等地有暴雪,局地大暴雪,新增积雪深度4~8厘米,局地可达10~20厘米。此外,贵州中东部、湖南中北部、湖北东南部、江西西北部有冻雨。言归正传,天气无时无刻都在陪伴着我们,今天小编带大家利用Python网络爬虫来实现天气情况的实时采集。此次的目标网站是绿色呼吸...原创 2019-03-01 12:48:10 · 889 阅读 · 2 评论 -
Python网络爬虫四大选择器(正则表达式、BS4、Xpath、CSS)总结
前几天小编连续写了四篇关于Python选择器的文章,分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器,让大家更加深刻的理解和熟悉Python选择器。一、正则表达式正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化,但又存在难以构造、可读性差的问题。当在爬京东网的时候,正则表达式如下...原创 2019-03-01 12:45:32 · 1254 阅读 · 0 评论 -
如何利用CSS选择器抓取京东网商品信息
前几天小编分别利用Python正则表达式、BeautifulSoup、Xpath分别爬取了京东网商品信息,今天小编利用CSS选择器来为大家展示一下如何实现京东商品信息的精准匹配~~CSS选择器目前,除了官方文档之外,市面上及网络详细介绍BeautifulSoup使用的技术书籍和博客软文并不多,而在这仅有的资料中介绍CSS选择器的少之又少。在网络爬虫的页面解析中,CCS选择器实际上是一把...原创 2019-02-28 20:28:33 · 285 阅读 · 0 评论 -
如何利用Xpath选择器抓取京东网商品信息
前几小编分别利用Python正则表达式和BeautifulSoup爬取了京东网商品信息,今天小编利用Xpath来为大家演示一下如何实现京东商品信息的精准匹配~~HTML文件其实就是由一组尖括号构成的标签组织起来的,每一对尖括号形式一个标签,标签之间存在上下关系,形成标签树;XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。京东网狗粮商...原创 2019-02-28 20:27:07 · 3291 阅读 · 0 评论 -
如何利用BeautifulSoup抓取京东网商品信息
昨天小编利用Python正则表达式爬取了京东网商品信息,看过代码的小伙伴们基本上都坐不住了,辣么多的规则和辣么长的代码,悲伤辣么大,实在是受不鸟了。不过小伙伴们不用担心,今天小编利用美丽的汤来为大家演示一下如何实现京东商品信息的精准匹配~~HTML文件其实就是由一组尖括号构成的标签组织起来的,每一对尖括号形式一个标签,标签之间存在上下关系,形成标签树;因此可以说Beautiful Soup库是...原创 2019-02-28 20:24:10 · 2105 阅读 · 0 评论 -
手把手教你如何新建scrapy爬虫框架的第一个项目(下)
前几天小编带大家学会了如何在Scrapy框架下创建属于自己的第一个爬虫项目(上),今天我们进一步深入的了解Scrapy爬虫项目创建,这里以伯乐在线网站的所有文章页为例进行说明。 在我们创建好Scrapy爬虫项目之后,会得到上图中的提示,大意是让我们直接根据模板进行创建Scrapy项目。根据提示,我们首先运行“cd article”命令,意思是打开或者进入到article文件夹下,尔后执行...原创 2019-02-24 21:00:51 · 2947 阅读 · 0 评论 -
手把手教你如何新建scrapy爬虫框架的第一个项目(上)
前几天给大家分享了如何在Windows下创建网络爬虫虚拟环境及如何安装Scrapy,还有Scrapy安装过程中常见的问题总结及其对应的解决方法,感兴趣的小伙伴可以戳链接进去查看。关于Scrapy的介绍,之前也在文章中提及过,今天小编带大家进入Scrapy爬虫框架,创建Scrapy爬虫框架的第一个项目,具体过程如下所示。 1、进入虚拟环境,不知道进入的环境的小伙伴可以戳这篇文...原创 2019-02-22 16:50:47 · 5858 阅读 · 0 评论 -
在windows下如何新建爬虫虚拟环境和进行scrapy安装
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。1、关于虚拟环境的创建可以参考之前发布的两篇博文,在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境(默认情况下)。...原创 2019-02-11 16:51:53 · 1298 阅读 · 0 评论 -
一篇文章带你了解网络爬虫的概念及其工作原理
众所周知,随着计算机、互联网、物联网、云计算等网络技术的风起云涌,网络上的信息呈爆炸式增长。毋庸置疑,互联网上的信息几乎囊括了社会、文化、政治、经济、娱乐等所有话题。使用传统数据收集机制(如问卷调查法、访谈法)进行捕获和采集数据,往往会受经费和地域范围所限,而且还会因其样本容量小、信度低等因素导致收集的数据往往与客观事实有所偏颇,有着较大的局限性。 网络爬虫通过统一资源定位...原创 2019-02-07 11:22:52 · 2651 阅读 · 0 评论