关注
分享
文章平均质量分 87
在本专栏，我会全方面详细讲解Python-爬虫的知识，里面包含前端，数据解析，正则表达式，数据库，MongoDB，多线程，scrapy框架等基本知识点
温轻舟
愿轻舟的每一位读者，都能有所收获
展开
-
智慧的网络爬虫之JavaScript基础
JavaScript，是一种轻量级的面向对象的编程语言，既能用在浏览器中控制页面交互，也能用在服务器端作为网站后台（借助Node.js），因此 JavaScript是一种全栈式的编程语言。原创 2024-06-28 17:26:19 · 889 阅读 · 0 评论 -
智慧的网络爬虫之CSS概述
CSS主要作用是定义网页的样式。如网页元素的位置、大小、颜色等，也是前端及爬虫入门必须要学习的内容原创 2024-06-28 17:21:31 · 1243 阅读 · 0 评论 -
Python基础语法汇总【保姆级小白教程】
我将 Python语法分为以下14个章节：1.Python基础概念；2.变量与数据类型；3.输入与输出&运算符；4.条件判断；5.while 循环；6.for...in... 循环；7.字符串操作；8.列表&元组&集合；9.字典和序列操作；10.函数；11.三器一闭；12.文件操作；13.面向对象；14.模块&异常处理，本篇文章将逐一为大家讲述.。。。原创 2024-01-13 05:36:54 · 1145 阅读 · 0 评论 -
十九：爬虫最终篇-平安银行商城实战
这是一个webpack的经典案例，难度适中，主要是要理解webpack的流程。对应三个参数该如果获取，先后的逻辑分析清楚就会非常简单原创 2024-01-08 21:58:28 · 1668 阅读 · 0 评论 -
十八：爬虫-JS逆向（下）
本篇文章详细讲述了多种加密算法及fiddler抓包工具的使用，并在文末详细讲解了雪球网的代码案例原创 2024-01-07 23:38:49 · 1999 阅读 · 1 评论 -
十七：爬虫-JS逆向（上）
JS逆向是指通过分析和破解JavaScript代码，获取反爬措施的规则和实现方式，从而绕过反爬措施，实现爬虫的抓取。JS逆向需要具备一定的`JavaScript`编程能力和代码分析能力，对于爬虫开发者来说是一项高级的技能原创 2024-01-05 21:54:36 · 3227 阅读 · 0 评论 -
十六：爬虫-验证码与字体反爬
验证码是一种计算机程序设计技术，用于确定用户是人类而不是机器；字体反爬指的就是浏览器页面上的字符和调试窗口或者源码中的内容，显示的不一样，这就是字体反爬原创 2024-01-04 14:22:25 · 2554 阅读 · 0 评论 -
十五：爬虫-Scrapy-redis分布式
Scrapy分布式爬虫意味着几台机器通过某种方式共同执行一套爬取任务原创 2024-01-03 02:06:46 · 1597 阅读 · 0 评论 -
十四：爬虫-Redis基础
Redis 全称 Remote Dictionary Server（远程字典服务），它是一个基于内存实现的键值型非关系（NoSQL）数据库， 用来缓存一些经常被访问的热点数据、或者需要耗费大量资源的内容，通过把这些内容放到 Redis 中，可以让应用程序快速地读取它们原创 2024-01-01 21:50:14 · 1533 阅读 · 0 评论 -
十三：爬虫-Scrapy框架（下）
本文主要是对Scrapy的总结及对前面知识点的回顾原创 2023-12-30 21:13:07 · 2170 阅读 · 0 评论 -
十二：爬虫-Scrapy框架（上）
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架(异步爬虫框架)，通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片，Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度原创 2023-12-29 03:48:26 · 1874 阅读 · 0 评论 -
十一：爬虫-selenium工具
selenium是一个web的自动化测试工具，最初是为网站自动化测试而开发的，selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏原创 2023-12-27 19:14:24 · 2606 阅读 · 0 评论 -
十：爬虫-多线程
电脑中时会有很多单独运行的程序，每个程序有一个独立的进程，而进程之间是相互独立存在的，比如下标中的QQ播放器、小鹅通等等。进程可以简单的理解为一个可以独立运行的程序单位，它是线程的集合，进程就是有一个或多个线程构成的。而线程是进程中的实际运行单位，是操作系统进行运算调度的最小单位原创 2023-12-25 11:46:34 · 1566 阅读 · 2 评论 -
九：爬虫-MongoDB基础
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引，本篇文章简单介绍了MongoDB的下载和安装以及基本操作，为后续的爬虫学习打下基础原创 2023-12-23 02:51:17 · 1606 阅读 · 0 评论 -
八：爬虫-MySQL基础
本篇文章详细的介绍了MySQL数据库的安装与使用；并讲述了MySQL的基本操作及其应用语法原创 2023-12-21 20:54:15 · 1794 阅读 · 0 评论 -
七：爬虫-数据解析之正则表达式
正则表达式又称规则表达式,（Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个语法规则的字符串，通常被用来检索、替换那些符合某个模式（规则）的文本。原创 2023-12-19 23:01:37 · 1391 阅读 · 0 评论 -
六：爬虫-数据解析之BeautifulSoup4
bs4（Beautiful Soup 4）简单来说：Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据，它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。BeautifulSoup会帮节省数小时甚至数天的工作时间原创 2023-12-17 22:14:51 · 1081 阅读 · 0 评论 -
五：爬虫-数据解析之xpath解析
本篇文章主要讲述了数据解析中的xpath解析，及相对路径的定位语法。最后以爬取豆瓣top250首页作为示例总结原创 2023-12-10 21:26:03 · 2219 阅读 · 2 评论 -
四：爬虫-Cookie与Session实战
本篇文章讲述了Cookie基础知识，和Cookie案例 -- 12306查票示例实战原创 2023-12-09 23:46:22 · 1383 阅读 · 0 评论 -
三：爬虫-网络请求模块（下）
本篇主要讲解了网络请求模块中的Requests模块，并在文章最后用360翻译 -- 一个中英文互译程序作为本篇文章的爬虫示例原创 2023-12-06 23:33:12 · 1969 阅读 · 1 评论 -
HTML5基础知识详讲
网页是构成网站的基本元素，它是一个包含HTML标签的纯文本文件，通常是由图片；链接；视频；声音；文字等元素组成。通常我们所看到的网页，常以 .htm 或 .html 后缀结尾的文件，因此将其俗称为HTML文件。HTML；CSS；JS是学习爬虫的基础，是必须要了解的，此篇文章我讲述了HTML5对于爬虫所要必备的基础知识原创 2023-12-01 23:40:26 · 1771 阅读 · 2 评论 -
二：爬虫-网络请求模块(上)
网络请求模块就是帮助浏览器（客户端）向服务器发送请求的。在Python3之前的版本（Python2版本）中所使用的网络请求模块是urllib模块；在Python3现在的版本中通过urllib模块进行升级 有了现在所使用的requests模块，也就是requests模块是基于urllib模块进行开发的。本篇文章讲解的是urllib模块原创 2023-11-30 23:54:01 · 1814 阅读 · 0 评论 -
一：对爬虫的简单认识
网络爬虫又称为网络蜘蛛；网络蚂蚁；网络机器人等，可以自动高效地从互联网的海量信息中浏览获取到我们感兴趣的信息，在浏览信息的时候需要按照我们制定的规则进行，而这些规则就是网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索，也就是代替人去模拟浏览器进行网页操作。在本篇文章中需掌握http与https协议，以及如何去抓包原创 2023-11-28 23:51:33 · 2659 阅读 · 2 评论