- 博客(14)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy 爬虫模板--CrawlSpider
从这篇文章开始，我将利用三篇文章分别讲解 Scrapy 爬虫模板。 Scrapy 爬虫模板包含四个模板：Basic ：最基本的模板，这里我们不会讲解；CrawlSpiderXMLFeedSpiderCSVFEEDSpider这篇文章我先来讲解一下 CrawlSpider 模板。零、讲解CrawlSpider 是常用的 Spider ，通过定制规则来跟进链接。对于大部分网站我们可以...
2019-12-25 23:38:43
1816
2
原创 Scrapy spider 主要方法
Spider 类是 Scrapy 中的主要核心类，它定义了爬取网站的规则。 Spider 是循环爬取，它的而爬取步骤是：start_requests 方法用 start_urls 中的 URL 初始化 Request ，然后将请求返回结果 Response 作为参数传递给 parse 方法；parse 是回调函数，它分析传递过来的 Response 的内容，从中提取出 Item 对象、 di...
2019-12-23 23:43:55
1574
原创 搞懂线程池（一）
创建线程是一个很代价很高的操作，每个异步操作创建线程都会对 CPU 产生显著的性能影响。为了解决这个问题我们引入了线程池的概念，所谓的线程池就是我们提前分配一定的资源，把这些资源放在资源池中，每次需要用到的使用从里面取出一个，用完后再放回去。线程池一般用在需要创建大量的短暂的且开销大的资源里。.NET 中的线程池位于 System.Threading.ThreadPool 类，它接受 CLR 的管...
2019-12-22 12:13:18
1461
原创 Scrapy Shell
这篇文章很简单，可以说是 Scrapy 系列中最短最简单的文章。本篇文章主要讲解 Scrapy Shell 的相关知识。零、 Scrapy ShellScrapy Shell 是一个交互终端，可以在没有启动 Spider 的情况下调试代码。我们在开发爬虫时会经常利用它来测试我们编写的 XPath 或者 Css 表达式是否可以提取到正确的数据。它的语法也很简单：scrapy shell [ur...
2019-12-18 23:47:46
1047
原创 线程同步 （二）
下面我们接着讲线程同步相关的知识点，本节主要讲解以下四小节的内容：CountDownEventBarrierReaderWriterLockSlimSpinWait零、CountDownEventCountdownEvent 是一个同步基元，它在收到一定次数的信号之后，将会解除对其等待线程的锁定。 一般用于必须使用 ManualResetEvent 或 ManualResetEve...
2019-12-17 23:24:30
1218
原创 Scrspy 命令
Scrapy 中的命令在开发中会经常用到，可以说没有命令就没有 Scrapy ，下面我就来讲解一下 Scrapy 常用的命令。零、命令分类Scrapy 具有两种类型的命令，分别是项目命令和全局命令。所谓的项目命令就是在项目中执行的命令，而全局命令则是指不需要在项目中运行的命令（感觉这段有点废话，o(*≧▽≦)ツ）。项目命令项目命令包含如下 7 个。命令说明craw...
2019-12-15 14:59:36
1418
原创 Windows Service 小品
我们通过 Windows 服务可以创建在 Windows 会话中长时间运行的应用程序。服务可以跟随计算机一起启动，并且可以暂停、停止和重启。Windows 服务和 Windows Form 程序最大的不同点是 Windows 服务没有任何用户界面。Windows 服务一般用于后台处理数据，例如批量信息发送、定时执行任务、进程监视等方面。并且还可以针对不同的登录账户执行不同的服务操作等。对于创建 W...
2019-12-15 13:09:24
942
原创 线程同步（一）
当多个线程同时对同一个内存地址进行写入时，由于CPU时间调度上的问题写入数据会被多次的覆盖，所以就要使线程同步。所谓的同步就是协同步调，按预定的先后次序进行运行。线程同步是指多线程通过特定的设置来控制线程之间的执行顺序，也可以说是在线程之间通过同步建立起执行顺序的关系。.Net 为我们提供了多种线程同步的解决方案：使用原子操作，一个操作只占用一个量子时间，一次就能完成，在当前操作完成后其他线程...
2019-12-11 15:00:45
1238
原创 线程基础必知必会（二）
这篇文章将在上篇文章的基础上，进一步讲解线程的相关知识。这篇文章涉及到的知识点有 线程优先级、前台与后台线程、线程参数、lock、Monitor 和 线程异常处理 。这篇要比上一篇难度有一点提高，但是大家不用担心，我依然会用大量的代码来展示每个知识点，并且对于其中的难点我会详细讲解。下面我们就开始学习基础知识的第二篇。一、线程优先级.NET 给我们定义了多种线程优先级，它们都位于 Thread...
2019-12-11 13:56:58
2916
原创 线程基础必知必会（一）
从这篇文章开始，我将利用两篇文章讲解线程的基础知识，本篇文章涉及到了 创建线程、线程等待、线程暂停、线程终止 和 线程状态检测 相关的内容。这篇文章及其下一篇文章是这个专题的基础中的基础，因此我会用简单易懂的语言和示例代码来讲解，以求您在阅读完文章后能为后续线程其他只是打下坚实的基础。学习这张篇文章你需要具备 C# 语言基础和 Microsoft Visual Studio 2015 及以上任何版...
2019-12-11 13:56:33
6965
1
原创 准备工作与简介
简介C# 可以说是当今所有开发语言中最好的开发语言，微软会每隔一段时间就推出一个新的 .NET Framework 框架，随着每次新框架的推出 C# 语言也会增加新的功能。而且每次更新微软都会为 C# 提供更多的向后兼容特性，因而 C# 越来越庞大越来越复杂，尤其是 C# 的多线程编程，微软提供了大量的方法方式供我们选择，但是这又导致部分开发人员在面对一些场景时会纠结到底选择哪种多线程方式，对于...
2019-12-11 11:14:56
875
原创 Python 正则表达式急速入门
正则表达式在程序开发中会经常用到，比如数据（格式）验证、替换字符内容以及提取字符串内容等等情况都会用到，但是目前许多开发人员对于正则表达式只是处于了解或者是基本会用的阶段。一旦遇到大批量使用正则表达式的情况（例如网络爬虫）可以说基本上就抓瞎了。这篇文章我将带领大家利用 Python 来学习一下正则表达式。在阅读这篇文章前你需要掌握 Python 基础知识，或者具有其他开发语言的基础知识也可以，因为...
2019-12-10 21:31:59
1106
原创 SQL Server 每日一题--每月销售额
零、故事某销售公司每月都会统计每个销售人员当月的销售额，作为提成的标准。年底公司经理想看到本年每月每名销售的销售额，然后将这些数据作为今年发年终奖的参考。一、问题请编写出 SQL 语句，查询每名销售每个月的销售额。查出的格式如下：姓名一月二月三月四月五月六月七月八月九月十月十一月十二月张三121314343525null12010...
2019-12-01 22:22:36
3120
1
空空如也
下载了最新的微信开发者工具，创建小程序报错，有谁遇到过？该怎么解决
2021-10-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人