- 博客(53)
- 收藏
- 关注
RSS订阅原创 python基础教程目录，从入门到上手的
因为清晰易读的风格，广泛的适用性，Python已经成为最受欢迎的编程语言之一。在TIOBE 排行榜中位居第四，是名副其实的人工智能第一语言。风靡的另一个原因是，Python有非常多的第三方库。比如用于WEB开发的Django/Flask，用于科学计算的 Numpy/Scipy，用于机器学习的 Scikit-Learn，用于运维的 Supervisor/Fabric，用于网络爬虫的 Beautif...
2019-12-10 16:09:41
1955
1
原创 [Python3网络爬虫开发实战] MongoDB存储
点击蓝色“程序员学府"关注我丫加个“星标”，每天一起快乐的学习MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。在这一节中，我们就来看看Python 3下MongoDB的存储操作。准备工作在开始之前，请确保已经安装好了MongoDB并启动了其服务，并且安装好了P...
2019-12-09 19:34:04
322
原创 [Python3网络爬虫开发实战]使用代理爬取微信公众号文章
本节目标我们的主要目标是利用代理爬取微信公众号的文章，提取正文、发表日期、公众号等内容，爬取来源是搜狗微信，其链接为 http://weixin.sogou.com/，然后把爬取结果保存到 MySQL 数据库。准备工作首先需要准备并正常运行前文中所介绍的代理池。这里需要用的 Python 库有 aiohttp、requests、redis-py、pyquery、Flask、PyMySQL...
2019-12-08 20:56:03
936
原创 [Python3网络爬虫开发实战] 分布式爬虫原理
分布式爬虫原理我们在前面已经实现了 Scrapy 微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。分布式爬虫架构在了解分布式爬虫架构之前，首先回顾一下 Scrapy 的架构，如图 13-1 所示。Scrapy 单机爬虫中有一个本地爬取队列 Queue，这个队列是利用...
2019-12-08 20:41:08
534
原创 [Python3网络爬虫开发实战] 图形验证码的识别
本节我们首先来尝试识别最简单的一种验证码，图形验证码，这种验证码出现的最早，现在也很常见，一般是四位字母或者数字组成的，例如中国知网的注册页面就有类似的验证码，链接为：http://my.cnki.net/elibregister/commonRegister.aspx，页面如图 8-1 所示：图 8-1 知网注册页面表单的最后一项就是图形验证码，我们必须完全输入正确图中的字符才可以完成注册...
2019-12-08 19:33:38
408
1
原创 [Python3网络爬虫开发实战] 极验滑动验证码的识别
上节我们了解了图形验证码的识别，简单的图形验证码我们可以直接利用 Tesserocr 来识别，但是近几年又出现了一些新型验证码，如滑动验证码，比较有代表性的就是极验验证码，它需要拖动拼合滑块才可以完成验证，相对图形验证码来说识别难度上升了几个等级，本节来讲解下极验验证码的识别过程。本节目标本节我们的目标是用程序来识别并通过极验验证码的验证，其步骤有分析识别思路、识别缺口位置、生成滑块拖动路...
2019-12-08 19:27:10
525
原创 [Python3网络爬虫开发实战] 微博宫格验证码的识别
本节我们来介绍一下新浪微博宫格验证码的识别，此验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了我们应该的滑动轨迹，我们需要按照滑动轨迹依次从起始宫格一直滑动到终止宫格才可以完成验证，如图 8-24 所示：图 8-24 验证码示例鼠标滑动后的轨迹会以黄色的连线来标识，如图 8-25 所示：图 8-25 滑动过程我们可以访问新浪微博移动版登录页面就可以看到如上验证码，链接...
2019-12-08 18:42:17
233
原创 [Python3网络爬虫开发实战] 点触点选验证码的识别
上一节我们实现了极验验证码的识别，但是除了极验其实还有另一种常见的且应用广泛的验证码，比较有代表性的就是点触验证码。可能你对这个名字比较陌生，但是肯定见过类似的验证码，比如 12306，这就是一种典型的点触验证码，如图 8-18 所示：我们需要直接点击图中符合要求的图，如果所有答案均正确才会验证成功，如果有一个答案错误，验证就会失败，这种验证码就可以称之为点触验证码。另外还有一个专门提供点...
2019-12-08 17:01:17
535
原创 [Python3网络爬虫开发实战] 模拟登录并爬取 GitHub
我们先以一个最简单的实例来了解模拟登录后页面的抓取过程，其原理在于模拟登录后 Cookies 的维护。本节目标本节将讲解以 GitHub 为例来实现模拟登录的过程，同时爬取登录后才可以访问的页面信息，如好友动态、个人信息等内容。我们应该都听说过 GitHub，如果在我们在 Github 上关注了某些人，在登录之后就会看到他们最近的动态信息，比如他们最近收藏了哪个 Repository，创...
2019-12-08 16:51:20
1108
原创 [Python3网络爬虫开发实战]Cookies 池的搭建
Cookies 池的搭建很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做 SEO，不会对所有页面都设置登录限制。但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看全文等，这些页面都需要登录账号才可以查看和爬取。一些页面和接口虽然可以直接请求，但是请求一旦...
2019-12-08 16:40:37
1044
原创 [Python3网络爬虫开发实战] Charles 的使用
Charles 的使用Charles 是一个网络抓包工具，我们可以用它来做 App 的抓包分析，得到 App 运行过程中发生的所有网络请求和响应内容，这就和 Web 端浏览器的开发者工具 Network 部分看到的结果一致。相比 Fiddler 来说，Charles 的功能更强大，而且跨平台支持更好。所以我们选用 Charles 作为主要的移动端抓包工具，用于分析移动 App 的数据包，辅助完...
2019-12-08 15:53:19
923
原创 [Python3网络爬虫开发实战] Appium 的基本使用
Appium 的基本使用Appium 是一个跨平台移动端自动化测试工具，可以非常便捷地为 iOS 和 Android 平台创建自动化测试用例。它可以模拟 App 内部的各种操作，如点击、滑动、文本输入等，只要我们手工操作的动作 Appium 都可以完成。在前面我们了解过 Selenium，它是一个网页端的自动化测试工具。Appium 实际上继承了 Selenium，Appium 也是利用 Web...
2019-12-07 22:00:32
733
原创 [Python3网络爬虫开发实战] Appium 爬取微信朋友圈
Appium 爬取微信朋友圈接下来，我们将实现微信朋友圈的爬取。如果直接用 Charles 或 mitmproxy 来监听微信朋友圈的接口数据，这是无法实现爬取的，因为数据都是被加密的。而 Appium 不同，Appium 作为一个自动化测试工具可以直接模拟 App 的操作并可以获取当前所见的内容。所以只要 App 显示了内容，我们就可以用 Appium 抓取下来。本节目标本节我们以 ...
2019-12-07 21:52:16
3102
1
原创 Python tuple(元组)
元组（tuple）跟列表（list）非常相似，二者之间的差异就是元组不可改变，list是可以改变的创建元组(tuple)跟list的中括号不同，元组用圆括号把所有项括起来，元素之间用逗号分隔：In [15]: mytuple = ('a', 'b', 3, 8.9, [1,2])In [16]: mytupleOut[16]: ('a', 'b', 3, 8.9, [1, 2])I...
2019-12-06 23:15:27
289
原创 Python list(列表)
Python的基本数据类型有整数，浮点数，布尔，字符串，它们是最基本的数据。在实际编程中，我们要经常组织由很多基本数据组成的集合，这些集合的不同组织方式就是：数据结构，今天讲的是数据结构中的Python list(列表)。数据结构就是一些数据组合得到的“复合”数据类型。 Python内置的数据结构有：列表(list)元组(tuple)字典(dict)集合(set)在Python语言中，...
2019-12-06 23:09:29
172
原创 Python的运算对象、运算符、表达式和语句
编程的本质就是数据和运算，数据由基本数据类型、数据结构来表示，运算就是对这些数据的各种操作，基本的加减乘除、是非判断、流程控制等等。这些操作就是今天我们要讲的运算符、表达式和语句。前面我们学习Python的基本语法时，讲到了Python程序的行的概念，这个行再细分就是运算符(Operators)、运算对象(Operands)、表达式(Express)、语句(Statements)。提示：运算和...
2019-12-06 23:03:54
852
原创 Python基本数据类型
计算机的本质就是计算，在其内部是0和1的比特位的变化，对外表现就是数据的变化。那么，计算机都能处理什么数据呢？本质上，数据都是以字节（Byte）存储的，表现上看，它们就是整数、浮点数和字符串等。Python的基本数据类型也不外乎于此整数和浮点数就跟数学中的一样，而字符串就是各种字符的组合。数值类型：整数(int)、浮点数(float)int和float是Python中为整数和浮点数保留的关键...
2019-12-06 22:20:46
515
原创 Python 集成开发环境（IDE）: VS Code
工欲善其事必先利其器”中的“器”，对于一个程序员来说就是编辑器、编译器（或解释器）、调试器等工具，这些器具（工具）帮助我们快速的写出程序，运行程序和解决其中的bug。这些工具的集合就构成了我们的集成开发环境。前面，我们已经介绍了Python解释器，官方的Python shell已经更好用的IPython shell。编辑器是什么编辑器这个名字对于初来乍到的小猿们来说听起来可能很神秘，但是我们...
2019-12-06 22:10:14
807
原创 Python 库/模块的pip安装和IPython的使用
接着上节继续讲一讲Python交互式解释器（也叫作：Python shell）。除了官方的Python shell，其实还有更好的，它们就是IPython、bpython、ptpython。IPython的安装和使用它们比官方的更高级、更人性化、更方便。老猿我最常用（取代官方）的是ipython，它的好处以后再详谈，让我最喜欢的两个特点是：Tab键补全模块名后面输入点（.）后按Tab键，就...
2019-12-06 22:05:39
178
原创 Python 基本语法
Python 作为一门计算机语言自然有它自己的语法规则，就像英语、汉语都有自己的语法规则一样。Python的语法以简洁著称，它以行、缩进、注释、标识符、保留关键字等几方面来规定了自己的语法。下面我们先看一段Python代码：、Python 的行在Python里面，行分为逻辑行和物理行。物理行就是以行结束符(\n)结尾算作一行，通常一个物理行也就是一个逻辑行。但有时候，一个逻辑行可以包含多个...
2019-12-06 22:02:20
141
原创 Python 库/模块的pip安装和IPython的使用
接着上节继续讲一讲Python交互式解释器（也叫作：Python shell）。除了官方的Python shell，其实还有更好的，它们就是IPython、bpython、ptpython。IPython的安装和使用它们比官方的更高级、更人性化、更方便。老猿我最常用（取代官方）的是ipython，它的好处以后再详谈，让我最喜欢的两个特点是：Tab键补全模块名后面输入点（.）后按Tab键，就...
2019-12-06 21:52:12
671
原创 Python开发环境的安装配置
要学习Python，我们首先要安装配置好Python的运行环境。那么安装Python 2 还是 Python 3 呢？Python 2 廉颇老矣，Python 3 正值壮年，当然是要选择Python 3 喽。在写这篇文章时，最新的稳定版Python3 的版本是Python 3.7.1。我们就选择这个版本来安装、配置我们的开发环境。Python 是一门开源跨平台的高级编程语言，几乎可以运行在任何...
2019-12-06 21:37:37
261
原创 为什么使用Python
笔者是一个使用Python十几年的老猿，其间使用Python完成了很多各种各样的工作，有网络爬虫、网站应用、自然语言处理和系统运维自动化等方面。深深感受到Python的便捷给工作带来的高效率，也希望这种高效率能带给更多的人，包括程序员也包括非程序员。近几年，Python的发展非常快，无论是语言本身的完善提高，还是各行各业的应用都有十足的进步。于是，笔者紧跟最新的Python 3.7的特性，并结合...
2019-12-06 20:52:28
227
原创 python学习基础：Tensorflow基础（机器学习开源软件库）
Tensorflow是Google推出的机器学习开源神器，对Python有着良好的语言支持，支持CPU，GPU和Google TPU等硬件，并且已经拥有了各种各样的模型和算法。目前，Tensorflow已被广泛应用于文本处理，语音识别和图像识别等多项机器学习和深度学习领域。基础框架分为三层：应用层、接口层和核心层应用层提供了机器学习相关的训练库、预测库和针对Python、C++和Java等...
2019-12-04 19:03:26
1890
原创 python学习教程：Python字典中你必须知道的用法
介绍字典（dict）是Python中内置的一个数据结构，由多个键值对组成，键（key）和值（value)用冒号分隔，每个键值对之间用逗号（，）分隔，整个字典包括在大括号中（{})，键必须是唯一的，值可以取任何类型，但是键必须是不可变类型，如字符串，数字或元组。底层使用了hash表来关联key和value,dict是无序的。特点包括：● 查找和插入的速度极快，不会随着key的增加而变慢；● ...
2019-12-04 18:59:02
265
原创 python基础教程：Python中Json模块和Pickle模块的使用
在对数据进行序列化和反序列化是常见的数据操作，Python提供了两个模块方便开发者实现数据的序列化操作，即 json 模块和 pickle 模块。这两个模块主要区别如下：json 是一个文本序列化格式，而 pickle 是一个二进制序列化格式；json 是我们可以直观阅读的，而 pickle 不可以；json 是可互操作的，在 Python 系统之外广泛使用，而 pickle 则是 Pyth...
2019-12-04 18:51:51
160
原创 python学习教程之利用urllib和urllib2访问http的GET/POST详解
本文主要给大家介绍了关于python如何学习访问http的GET/POST的相关内容，使用urllib和urllib2,可以轻松实现对http的访问，下面话不多说了，来一起看看详细的介绍吧。示例详解以下给个例子，实现对http://127.0.0.1/cgi/test的GET与POST使用的是平常意义上的query stringPOST接受json其中，urllib2的Request方...
2019-12-04 18:48:02
120
原创 python基础教程：python以什么划分句块
python以什么划分句块？python以缩进格式来划分句块。这里打开编辑器，新建一个py文件作为示范。创建函数的时候，冒号以后需要进行缩进，标记语句块。在用while的时候，冒号以后需要进行缩进，标记语句块。在用if和else语句的时候，冒号以后需要进行缩进，标记语句块。如果不用标记语句块，是会报错的。每一次冒号以后都是需要标记语句块，而且要根据格式一层一层标记。以上...
2019-12-04 18:45:13
1382
原创 python基础教程：python怎么换行写代码
python怎么换行写代码？Windows换行符是’\r\n’，Unix/Linux的换行符为’\n’，Mac的换行符为’\r’，在python中，对换行符进行了统一处理，定义为’\n。方法一、使用“\”进行换行输入：1、在python中，Python 用反斜线 (“\”) 作为续行符（换行符)，这里以python3.5为例。首先运行终端或者cmd命令行（windows下），执行pyt...
2019-12-04 18:41:30
49413
原创 python基础教程：python怎么调用idle
python怎么调用idle？首先我们点击我们的开始菜单，在开始菜单中安装的python目录下点击‘IDLE(Python 3.6 64-bit)‘,进入IDLE，如下图：下图中的界面就是IDLE的界面，我们可以在这个界面中进行python的变成，在下图的窗口中可以看这里我们在IDLE中使用一个print函数进行简单的测试，我们直接输入"print(“i love fise”)",然后进...
2019-12-04 18:37:44
1474
原创 python基础教程：python怎么粘贴代码
复制如果py文件，IDLE打开程序，选中要复制的内容后右键点击“复制”（ctrl+c好像不行）如果是其他，随意粘贴打开python,右键即可，粘贴完成python不会关闭或者打开cmd,右键点击“粘贴”，粘贴完成cmd关闭ctrl+v均失效疑问：复制的一段文字，打开python，右键可以粘贴。但如果是python桌面快捷方式，右键无法粘贴...
2019-12-04 18:33:45
4916
原创 python基础教程：python为什么要配置环境变量
python为什么要配置环境变量？1、什么是环境变量引用百度百科里面的解释：环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。看到这里我相信大家可能还是有所疑惑，但是，不急，接着看。推荐：《python教程》2、为什么需要环境变量windows系统下，假如我们安装了某一款软件，安装结束后，在安装目录会生成一个该软件的.exe文件，双击该文件，我们...
2019-12-04 18:32:24
2845
原创 python基础教程：python vscode输出乱码
python vscode输出乱码使用Visual Studio Code来编写python代码时，会不会遇到输出中文时出现乱码的现象，而且又没有报错？就像下面图片所示一样：解决方法很简单，一起看下吧1、方法一在python文件头部加入编码申明2、方法二在环境变量里添加一个变量设置:PYTHONIOENCODING=utf-8、3、方法三通过设置编译参数，指定使用UTF-8编...
2019-12-04 18:30:59
363
原创 为什么Python课程这么抢手?值得学习吗？
说起编程行业，大家应该都非常熟悉Python吧，Python是一门入门简单、容易上手的编程语言，而且涉及领域广泛，可就业岗位多，发展也是非常不错的，那么Python课程为什么这么抢手?带你了解一下它的优势。通过目前招聘信息网站上了解到的情况，现在不少企业给出Python开发工程师25k的高薪，其中还有很多知名大型的企业，可以看得出来Python工程师是非常抢手的，自然与Python的优势具有很大...
2019-11-30 15:09:29
415
1
原创 如何伪装成一个彻头彻尾的程序员？
程序员们实际上都是巫师——一群要把咖啡变成代码的、可怜又衣衫褴褛的角色。但我不会巫术，我仅仅只是一个魔术师，我的工作是伪装得一个比真正的程序员更像程序员。我是一个彻头彻尾的骗子，而且相当精于此道。我骗过商人，使他们让我担任技术联合创始人。我愚弄过工程师，让他们向我咨询通用人工智能。我的一举一动极为真实，以至于连司法部都曾经向我征求过要如何使用Visual Basic创建一个图形用户界面（GUI）...
2019-11-30 15:03:29
398
原创 为什么python会火？吸引那么多人零基础学习
在互联网技术飞速发展的今天，随着人工智能和数据分析的兴起，python这门编程语言也逐步的进入了人们的视线，像一颗新星吸引着众人的眼球，企业以及个人，众多人也开始逐渐的向Python开发靠拢。但是那么多的编程语言，为什么偏偏是python语言呢?Python有着自己独特的优势。Python语言简单易学。Python是代表了简单主义思想的一种编程语言，使用户更能够专注于解决问题，而不是注重语言本身...
2019-11-30 15:00:06
151
原创 python开发的前景如何？Python适合做什么？
在如今这个大数据时代里，要想走在潮流前端，就必须要学习所属行业前沿的知识、实用的技术。现下人工智能和数据分析兴起，python就像一颗冉冉升起的新星，吸引着众人的眼球，从其他行业向Python开发转行的人也不在少数。那么Python这门编程语言到底是做什么的?能做什么工作?Python可以用来做网络爬虫。可用于做垂直搜索引擎，计量社会学、复杂网络、数据挖掘等领域实证研究需要着大量的数据，网络爬虫...
2019-11-30 14:58:48
265
原创 Python是现在流行的编程语言吗?前景怎么样?
提及编程行业，不少人的认知都是挣钱、前景好，同时也是一个非常要求非常高的行业，想要进入编程行业中，不仅仅需要掌握一门技术，同时各方面也需要具有非常好的能力，才能够满足挣钱多、前景好的情况。现在编程语言众多，Python作为后起之秀，凭借自身优势受到了大家的喜欢，那么Python真的是现在最流行的编程语言吗?发展前景如何?总的来说，Python现在是比较火的，大学的计算机二级可以考Python，还...
2019-11-30 14:56:44
492
原创 为什么Python比Java简单呢?Python值得学习吗?
编程行业中有很多编程语言，而Python在近几年的呼声是非常高的，很多刚刚起步想要进入学习编程的新手都会犹豫要不要学习Python，毕竟人工智能、数据分析的首选语言就是Python，为什么Python要比Java简单在哪呢?今天就给大家详细的说说。 Python比Java简单真的简单吗? 首先说说Java，Java是一种严格的类型语言，意味着必须声明变量名，相对比之下，动态类型的Pytho...
2019-11-30 14:54:55
1671
原创 Pylint：更高层级的 Python 样式强制程序
当你想要争论代码复杂性时，Pylint 是你的朋友。Pylint 是更高层级的 Python 样式强制程序。而 flake8 和 black 检查的是“本地”样式：换行位置、注释的格式、发现注释掉的代码或日志格式中的错误做法之类的问题。默认情况下，Pylint 非常激进。它将对每样东西都提供严厉的意见，从检查是否实际实现声明的接口到重构重复代码的可能性，这对新用户来说可能会很多。一种温和地将其引...
2019-11-30 14:51:32
234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人