- 博客(51)
- 收藏
- 关注
RSS订阅原创 零基础学 Python3（24）：Selenium 获取某大型电商网站商品信息
人生苦短，我用 Python目标先介绍下我们本篇文章的目标，如图：本篇文章计划获取商品的一些基本信息，如名称、商店、价格、是否自营、图片路径等等。准备首先要确认自己本地已经安装好了 Selenium 包括 Chrome ，并已经配置好了 ChromeDriver 。如果还没安装好，可以参考前面的前置准备。分析接下来我们就要分析一下了。首先，我们的搜索关键字是 iPhone ...
2019-12-31 20:49:34
333
原创 零基础学 Python3（22）：2019 豆瓣电影排行
人生苦短，我用 Python引言从本篇的标题各位同学应该已经猜到了，本篇又到了实战环节~~~2019 已经快过完了，按照本文推送的时间预估，到 2020 应该还有十来天的时间，又到了各个公司出各种 2019 榜单的时间，小编这里呢，就先帮豆瓣搞一个 2019 电影评分排行榜，希望豆瓣官方看到不要打我。郑重声明： 本文仅限用作学习等目的。分析还是先看一下我们要爬取的页面：链接：...
2019-12-31 20:49:33
968
原创 零基础学 Python3（21）：解析库 pyquery 入门
人生苦短，我用 Python引言前面一篇我们介绍了 Beautiful Soup 中可以使用 CSS 选择器，但是好像他的 CSS 选择器并没有想像中的强大。本篇就介绍一个对 CSS 选择器更加友好的类库 —— pyquery 。它在语法上更加贴和 JQuery ，估计会成为各位后端开发人员的福音。首先，还是先敬上各种官方地址：官方文档：https://pyquery.readt...
2019-12-31 20:49:25
97
原创 零基础学 Python3（20）：解析库 Beautiful Soup（下）
人生苦短，我用 Python引言前面一篇我们介绍的选择方法都是通过属性来进行选择的，这种方法使用起来非常简单，但是，如果 DOM 结构比较复杂的话，这种方法就不是那么友好了。所以 Beautiful Soup 还为我们提供了一些搜索方法，如 find_all() 和 find() ， DOM 节点不好直接用属性方法来表示，我们可以直接搜索嘛~~~find_all()先看下语法结构：...
2019-12-31 20:49:22
87
1
原创 零基础学 Python3（19）：解析库 Beautiful Soup（上）
人生苦短，我用 Python引言首先当然是各种资料地址敬上：官方网站：https://www.crummy.com/software/BeautifulSoup/官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/中文文档：https://www.crummy.com/software/BeautifulSoup/...
2019-12-23 21:59:55
231
原创 零基础学 Python3（18）：Xpath 进阶
人生苦短，我用 Python引言文接上篇，我们接着聊，上篇我们介绍了 Xpath 一些常用的匹配方式， DOM 节点我们可以匹配出来了，这并不是我们的最终目的，我们是要从这些节点中取出来我们想要的数据。本篇我们接着介绍如何使用 Xpath 获取数据。文本获取我们先尝试下获取第一篇文章的题目，获取节点中的文本我们可以使用 text() 来进行获取，如图：代码如下：在学习过程中有...
2019-12-23 21:59:54
129
原创 零基础学 Python3（20）：解析库 Beautiful Soup（下）
人生苦短，我用 Python引言前面一篇我们介绍的选择方法都是通过属性来进行选择的，这种方法使用起来非常简单，但是，如果 DOM 结构比较复杂的话，这种方法就不是那么友好了。所以 Beautiful Soup 还为我们提供了一些搜索方法，如 find_all() 和 find() ， DOM 节点不好直接用属性方法来表示，我们可以直接搜索嘛~~~find_all()先看下语法结构：...
2019-12-23 21:59:54
93
原创 零基础学 Python3（17）：Xpath的基本操作
人生苦短，我用 Python引言前面两篇我们介绍了 Requests 的使用，原本是想再来一个实战的，正准备搞事情的时候想起来上次实战还给自己挖了一个坑， Xpath 还没介绍，还是乖乖的先介绍解析库吧。简介XPath ，全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。它最初是用来搜寻 XML 文档的，但是它同样适用于 HT...
2019-12-23 21:59:52
170
原创 零基础学 Python3（16）：Requests 进阶操作
人生苦短，我用 Python超时设置前面我们在介绍 urllib 的时候也介绍过超时，我们现在来看下在 Requests 中的超时应该怎么写。import requestsr = requests.get("https://www.geekdigging.com/", timeout = 1)print(r.status_code)具体的执行结果小编就不贴了。注意time...
2019-12-23 21:59:50
219
原创 零基础学 Python3（15）：写一个简易的抽奖程序
不知道有多少人是被这个头图骗进来的：）事情的起因是这样的，上周有同学问小编，看着小编的示例代码敲代码，感觉自己也会写了，如果不看的话，七七八八可能也写的出来，但是一旦自己独立写一段程序，感觉到无从下手。其实这个很正常，刚开始学习写代码，都是跟着别人的套路往下写，看的套路少，很难形成自己的套路，这就和做数学题是一样的，做一道题就想会所有的题目，这个可能性微乎其微，都是通过大量的练习来摸索到自己...
2019-12-13 20:50:18
320
原创 零基础学 Python 爬虫（13）：urllib 基础使用（三）
人生苦短，我用 Python引言前面两篇基础，我们介绍请求发送的过程。不知道各位同学有没有想过这样一个问题，如果在爬虫运行的过程中，网络突然波动了下，比如突然网速很慢很慢，造成当前的请求超时，程序很可能会直接挂掉。这种处理方式显然不是我们希望看到的，我们希望看到的肯定是如果当前的请求挂掉，那就挂掉，不要影响其他的请求或者是下一次的请求。那么，我们在发送请求的时候，异常处理就显得十分...
2019-12-13 20:50:09
655
原创 零基础学 Python爬虫（11）：urllib 基础使用（一）
人生苦短，我用 Python引言看到本篇实战的同学有没有很激动，经过了前面十篇基础内容的折磨，终于等到实战章节了，有没有一种激动之情。想到一句歌词：终于等到你~~~首先，官方文档地址敬上：官方文档地址：https://docs.python.org/3/library/urllib.html在前面的前置准备中，我们一起安装了很多第三方的请求类库，在介绍这些第三方的类库前，我们...
2019-12-13 20:50:00
304
原创 零基础学 Python 爬虫（12）：urllib 基础使用（二）
人生苦短，我用 Python引言上一篇我们聊了 urlopen 的基本使用姿势，但这几个简单的参数并不足以构建一个完整的请求。对于复杂的请求，例如需要添加请求头就显得无能为力，这时我们可以选择使用 Request 。Request官方文档：https://docs.python.org/zh-cn/3.7/library/urllib.request.html首先来看一下 Requ...
2019-12-13 20:50:00
114
原创 零基础学 Python爬虫（10）：Session 和 Cookies
人生苦短，我用 Python引言先说一个题外话，今天老司机翻车了，内容小编今天来不及写了，后面会整理下，分享给大家。在介绍 Session 和 Cookies 之前，先介绍一个另外的概念 —— 静态网页和动态网页。静态网页静态网页就是我们上一篇写的那种 html 页面，后缀为 .html 的这种文件，直接部署到或者是放到某个 web 容器上，就可以在浏览器通过链接直接访问到了，常用...
2019-12-05 16:09:29
146
原创 零基础学 Python爬虫（9）：爬虫基础
人生苦短，我用 Python爬虫的核心什么是爬虫，讲点通俗易懂的，爬虫就是爬取网页，从中按照一定规则提取信息，重复以上过程自动化重复完成的程序。一只爬虫，第一件事情就是要爬取网页，这里主要是指获取网页的源代码。在网页的源代码里，会含有我们所需要的信息，而我们要做的事情就是从源代码中将这些信息提取出来。我们请求网页的时候， Python 为我们提供了很多库来做这件事情，比如官方提供的...
2019-12-05 16:09:27
285
原创 零基础学 Python爬虫（8）：网页基础
人生苦短，我用 Python先赞后看是个好习惯网页的组成我们的数据来源是网页，那么我们在真正抓取数据之前，有必要先了解一下一个网页的组成。网页是由 HTML 、 CSS 、JavaScript 组成的。HTML 是用来搭建整个网页的骨架，而 CSS 是为了让整个页面更好看，包括我们看到的颜色，每个模块的大小、位置等都是由 CSS 来控制的， JavaScript 是用来让整个网...
2019-12-05 16:09:26
92
原创 零基础学 Python爬虫（7）：HTTP 基础
人生苦短，我用 Python网络的起源这个其实是一个冷知识，各位同学可以猜测一下计算机网络的起源是在哪里。硅谷？大学？实验室？有点接近了，但还不够准确。准确的答案是在美苏冷战背景下的美国国防部 。对的，你没看错，是美国军方 ，最先进的技术总是先应用于军事领域，随着时间的推移才会慢慢的民用化。1968年，在美国国防部高级计划局的领导下，阿帕网（ ARPANET ）诞生了。ARPA...
2019-12-05 16:09:23
165
原创 零基础学 Python爬虫（6）：前置准备（五）爬虫框架的安装
人生苦短，我用 Python我们这几篇总共介绍了基本类库的安装、 Linux 基础、 Docker 基础和本篇的爬虫框架的安装。主要是内容有些多，小编怕写在一起各位同学看不下去，所以才分成多篇内容。pyspider 安装pyspider 是由国人 binux 开源的强大的网络爬虫框架。 pyspider 自带 WebUI （这个很关键），这样我们可以实时的看到更多的数据，并且它还带有脚...
2019-12-05 16:09:22
226
原创 零基础学 Python爬虫（5）：前置准备（四）数据库基础
人生苦短，我用 Python本篇文章，我们接着介绍基础内容，数据库。爬虫将数据爬取完成后，总要有地方存放吧，这个数据存在哪里呢？当然是数据库中，那个说放在 Excel 里的，你给我站住！当然 Excel 也是可以使用的，并且第三方也对 Excel 的操作提供了类库支持，但是，SQL 库还是一个老码农的坚持。数据库现在分为关系型数据库，非关系型数据库和新型数据库。还是换英文吧，说...
2019-12-03 16:30:45
182
原创 零基础学 Python爬虫（3）：前置准备（二）Linux基础入门
人生苦短，我用 Python](https://www.geekdigging.com/2019/11/20/2586166930/)Linux 基础CentOS 官网： https://www.centos.org/ 。CentOS 官方下载链接： https://www.centos.org/download/ 。Linux 目前在企业中广泛的应用于服务器系统，无论是写好的代码...
2019-12-03 16:29:36
159
原创 零基础学 Python爬虫（4）：前置准备（三）Docker基础入门
人生苦短，我用 PythonDocker 基础首先说一件事情，前段时间，Mirantis 这家公司宣布收购了 Docker 的企业业务和团队。并且在官网上也挂出了相关的文字。没别的意思，相关的新闻通告一下。Docker 官网地址：https://www.docker.com/什么是 Docker ？emmmmm，说实话，Docker 是什么并不好说，下面通过四点大致解释下 Do...
2019-12-03 16:29:36
181
原创 零基础学 Python爬虫（2）：前置准备（一）基本类库的安装
人生苦短，我用 Python本篇内容较长，各位同学可以先收藏后再看~~在开始讲爬虫之前，还是先把环境搞搞好，工欲善其事必先利其器嘛~~~本篇文章主要介绍 Python 爬虫所使用到的请求库和解析库，请求库用来请求目标内容，解析库用来解析请求回来的内容。Python不难学，主要是师傅带进门，加一份武功秘籍，从工具安装到项目制作，一步到位，无论你是想学习Python,爬虫在网上接项目赚...
2019-12-03 16:29:33
536
1
原创 零基础学 Python爬虫（1）：开篇
从题目大家应该已经猜到了，小编要开始更新一个新的系列《零基础学 Python爬虫》，建议没有 Python 基础第一次接触的同学先看下小编之前更新的《零基础学Python3系列》，大致了解下 Python 的语法规则以及一些基础用法。学习需要循序渐进啊！每一个系列都是我的学习总结，学习分享，至于我是在哪里学的捏！每次文末下方，我们的学习圈，欢迎大家，付出都是会有收获的！希望大家也要加油哟！先自...
2019-12-03 16:29:31
319
原创 碎片化的信息时代，该如何学好一门编程语言
在如今这个社会，我们的时间被各类 APP 撕的粉碎。刷知乎、刷微博、刷朋友圈；看论坛、看博客、看公号；等等形形色色的信息和知识获取方式一个都不错过。貌似学了很多，但是却感觉没什么用。要解决上面这些问题，首先要分清楚一点，什么是信息，什么是知识。那什么是信息呢？你一切听到的、看到的，都是信息，比如微博上的明星出轨、微信中的表情大战、抖音上的段子视频。那什么是知识呢？就是指那...
2019-12-02 21:59:09
157
原创 零基础学Python3（23）：Excel 基础操作（上）
人生苦短，我选Python不知道各位同学有没有见过有关 Python 操作 Excel 的广告。小编是见过好多次的，还只需 ￥9.9 就能学习，今天小编就为大家带来免费的 Python 操作 Excel 的入门教程。仔细看，仔细学，本文价值 ￥9.9 哦~~~这牛逼吹得我自己都有点脸红。既然要操作 Excel ，那我们就需要先建立一个 Excel 。首先在 Excel 中创建 ...
2019-12-02 21:59:07
200
原创 零基础学Python3（24）：Excel 基础操作（下）
人生苦短，我选Python在这里首先恭喜各位看到本篇连载的同学，本篇连载为 《零基础学Python3 基础系列》 最后一篇，恭喜各位在学习 Python 的道路上迈出了坚实的一大步。写入 Excel首先当然是安装第三方模块：pip install openpyxl首先我们需要先创建一个 WorkBook ：import xlsxwriterworkbook = xlsxw...
2019-12-02 21:59:07
358
1
原创 零基础学Python3（22）：time 和 calendar 模块简单使用
人生苦短，我选Pythontime 模块今天我们要介绍的是一个会经常用到的模块—— time ，顾名思义，这是一个时间相关的模块。前面我们也介绍过常用模块，比如 os 模块，在使用这些模块前，我们需要先将它导入进来。 time 模块的导入方式如下：import time先来一个简单的样例吧：for i in range(0, 5): print(i) time.s...
2019-12-02 21:59:03
113
原创 零基础学Python3（21）：生成器基础
人生苦短，我选Python生成器我们前面聊过了为什么要使用迭代器，各位同学应该还有印象吧（说没有的就太过分了）。列表太大的话会占用过大的内存，可以使用迭代器，只拿出需要使用的部分。生成器的设计原则和迭代器是相似的，如果需要一个非常大的集合，不会将元素全部都放在这个集合中，而是将元素保存成生成器的状态，每次迭代的时候返回一个值。比如我们要生成一个列表，可以采用如下方式：lis...
2019-12-02 21:59:01
85
原创 零基础学Python3（19）：基础异常处理
人生苦短，我选Python首先，程序在运行的过程中，产生了异常，这时，我们可能会有两种想法，第一种是针对这个异常做某些特殊的处理来进行程序的降级处理；第二种是希望程序忽略这个异常继续执行下去，这个异常可能并不干扰主逻辑的执行。那这个时候我们怎么办呢？有编程经验的同学马上就想到了，那我们去 try 它啊，在 Python 中，我们同样可以去 try 它，从字面意思上理解就已经非常清晰明确...
2019-12-01 17:23:30
134
原创 零基础学Python3（20）：迭代器基础
人生苦短，我选Python迭代器迭代器可以简单的理解为 for 循环， Python 除了 for 循环为我们准备了另一种访问集合元素的方式。特点：可以记住遍历的位置的对象。迭代器从集合的第一个元素开始访问，直到所有的元素访问结束。迭代器只能向前不能后退。但是判断一个对象是否有迭代器，除了看它能不能使用 for 循环外， Python 也为我们提供了更加专业的方法—— is...
2019-12-01 17:23:30
86
原创 零基础学Python3（17）：基础数据类型（函数）（下）
人生苦短，我选Python变量作用域变量的作用域是指在程序中命名的变量产生想过的范围。没看懂？没关系，我们写个示例慢慢品。a = 0def print_1(): a = 1 print('a =', a) def print_2(): a = 2 print('a =', a)print_a()显示结果如下：a ...
2019-12-01 17:23:24
65
原创 零基础学Python3（18）：基础文件操作
人生苦短，我选Python绝对路径和相对路径在介绍文件操作之前，我们先介绍两个概念，绝对路径和相对路径。先百度下看下百度的解释：绝对路径：是指目录下的绝对位置，直接到达目标位置，通常是从盘符开始的路径。完整的描述文件位置的路径就是绝对路径。相对路径：相对路径就是指由这个文件所在的路径引起的跟其它文件（或文件夹）的路径关系。不知各位同学看懂了没，没看懂我再举个栗子给各位加深下理...
2019-12-01 17:23:24
112
原创 零基础学Python3（16）：基础数据类型（函数）（上）
人生苦短，我选Python函数提到函数，没有接触过编程的同学会不会想到这个：y = f(x)但是，我们在 Python 中使用到的函数和数学中的函数没有半毛钱关系（额，可能稍微有点关系）。在 Python 中，我们使用函数是为了简化问题，将同一类的操作定义为一个函数，在遇到相同的问题调用对应的函数，类似于 y = f(x) ，x = 1 的时候 y = 1 ， x = 2 的时...
2019-12-01 17:23:19
84
原创 零基础学Python3（14）：基础数据结构（集合）（上）
人生苦短，我选Python集合首先了解一下什么是集合？集合（set）是一个无序的不重复元素序列。注意关键词：无序、不重复。集合和字典一样，是无序的，so：{3, 2, 1} 和 {1, 2, 3} 是一样的。集合的元素不可重复，so：{1, 2, 2} 是不存在的，只会存在 {1, 2}。集合里的元素需要是不可变类型。创建集合一般来讲，我们创建集合会使用大括号 {} 或...
2019-12-01 14:45:46
98
原创 零基础学Python3（15）：基础数据结构（集合）（下）
人生苦短，我选Python集合内置方法集合和列表、字典、元组等一样，都提供了很多的内置方法。既然是集合，那我们先看下这张经典的韦恩图（Venn diagram）：具体的实现代码如下：在学习过程中有什么不懂得可以加我的python学习扣扣qun，784758214群里有不错的学习视频教程、开发工具与电子书籍。与你分享python企业当下人才需求及怎么从零基础学习好pytho...
2019-12-01 14:45:45
126
原创 零基础学Python3（12）：基础数据结构（字典）（上）
人生苦短，我选Python字典我先问一下，有没用过字典的么？我们先看一下现实中字典长啥样。嗯，这本字典看起来很有年代感了。那么 Python 中的字典是什么样呢？我们一边看代码一边聊：创建字典字典由一组键(key)值(value)对组成的，类似于：{key1: value1, key2: value2}这样一种形式。字典的每个键值(key=>value)对用冒号...
2019-12-01 14:45:39
99
原创 零基础学Python3（13）：基础数据结构（字典）（下）
人生苦短，我选Python字典内置函数 & 方法（如果是来看表情包的，可以退出去了，本篇无表情包）字典提供了很多内置方法对字典进行操控。老规矩，一边看代码一边介绍。dict.keys()作用： 返回一个迭代器，可以使用 list() 来转换为列表，该列表包含所有的 key。在学习过程中有什么不懂得可以加我的python学习扣扣qun，784758214群里有不错...
2019-12-01 14:45:38
100
原创 零基础学Python3（11）：基础数据结构（元组）
人生苦短，我选Python元组（tuple）在 Python 中，元组和列表是非常类似的一种数据结构，如果前面有好好看过有关列表的文章的话，只需要抓住一些核心点，可能这篇文章会显得有些多余。先简单介绍一下元组和列表的区别：元组的元素不能修改元组使用小括号，列表使用方括号创建元组用逗号隔开的就是元组，但是为了美观和代码可读性，一般加小括号。在学习过程中有什么不懂得可以加...
2019-12-01 14:45:37
89
原创 零基础学Python3（10）：基础数据结构（列表）（下）
人生苦短，我选Python列表切片一说到列表切片不知道各位同学有没有想起来前面我们讲过的字符串切片，没想起来的同学为自己的记忆默哀 3 秒钟吧。开个玩笑：）可以返回去看看之前的文章。列表切片是指将列表其中的一部分切出来。语法： list[起始索引:终止索引:步长间隔]注意： 这里的终止索引和字符串切片是一样的，并不会取到。下面直接上代码，解析已经添加在注释中。其实我就是懒，...
2019-11-30 17:28:24
79
原创 零基础学Python3（11）：基础数据结构（元组）
人生苦短，我选Python元组（tuple）在 Python 中，元组和列表是非常类似的一种数据结构，如果前面有好好看过有关列表的文章的话，只需要抓住一些核心点，可能这篇文章会显得有些多余。先简单介绍一下元组和列表的区别：元组的元素不能修改元组使用小括号，列表使用方括号创建元组用逗号隔开的就是元组，但是为了美观和代码可读性，一般加小括号。tuple1 = "Python...
2019-11-30 17:28:23
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人