- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy Pipeline
Scrapy 中的 Pipeline 为我们提供了处理数据的功能，在实际开发中我们经常使用它来清洗/验证数据、去重和数据保存。在一个项目中会存在多种 Pipeline ，每个 Pipeline 都是一个 class ，其中包含了一些处理的 Item 的方法。 Item 会在这些 Pipeline 中按顺序依次传递，如果其中一个 Pipeline 丢弃了 Item ，那么后面未执行到的 Pipeli...
2020-01-20 01:52:31
2949
原创 细说.NET 缓存
在项目开发中缓存可以说是一直的存在，但是缓存技术具体该怎么用用在哪里，对于大多数开发人员来说并不知道，甚至有些开发人员认为缓存使用过于复杂。那么通过这篇文章各位读者可以充分理解缓存的使用和原理。 一、什么是缓存 缓存能干什么 缓存可以提高系统性能、提高稳定性和可用性。同样缓存也可以减少交互的通信量、降低系统处理量和降低磁盘开销。下面我针对前面所说的内容从六条进行一个简单的概述。 提高系统性能...
2020-01-18 23:52:12
2500
原创 var lady first
C# 中的隐式类型的局部变量是为了支持匿名类型而出现的，并且也是为了解决一部分查询操作返回的结果是 IQueryable 类型，而另一部分查询返回的结果是 IEnumerable 类型导致的把 IQueryable 当作 IEnumerable 来使用，进而无法使用 IQueryProvider 提供的增强功能。在这里一定会有读者担心如果没有把变量的类型写明是不是会造成类型安全问题。那么，在这里我...
2020-01-14 00:16:41
1765
原创 6搞懂线程池（二）
抱歉各位多线程专栏托更这么久，这篇文章我们继续讲线程池的相关知识，其中将涉及到如下知识： 取消异步操作 等待事件处理器及超时 计时器 BackgroundWorker 零、取消异步操作 这一小节将引入两个类 CancellationTokenSource 和 CancellationToken 。这两个类是在 .NET 4.0 中被引入的，因此如果需要使用这两个类我们必须在 .NET 4.0 ...
2020-01-13 00:05:57
1943
原创 三、项目结构讲解
这篇文章我将讲解海绵清单的项目结构。在讲解项目结构前，我要先了解一下在项目中使用的 ORM 框架。在这个项目里所使用的 ORM 框架是 Entity Framework 。 Entity Framework 是微软以 ADO.NET 为基础所发展出来的对象关系对应解决方案。该框架曾经为 .NET Framework 的一部分，但 version 6 之后从 .NET Framework 分离出来。...
2020-01-11 19:37:21
1677
原创 喜欢我的文章的话欢迎给我点赞啊
点击链接，给我点赞：[http://m234140.nofollow.ax.mvote.cn/opage/d52f7ab5-39eb-3744-598a-646d8b0d1976.html]
2020-01-10 12:48:55
1955
原创 Scrapy 爬虫模板--SitemapSpider
SitemapSiper 允许我们通过网站的 Sitemap 文件中的 URL 来爬取一个网站。Sitemap 文件包含整个网站的每个网址链接，其中包含了上次更新时间、更新频率以及网址的权重（重要程度）。常见的 Sitemap 文件格式有 TXT 、 XML 和 HTML 格式，大部分网站是以 XML 格式来显示的。下面我们来看一下 CSDN 网站的 Sitemap 文件格式。 我们来讲解一下上...
2020-01-08 23:47:48
1815
原创 二、需求分析
这篇文章我将进行项目需求分析，只有需求确定的项目才能保证项目的开发进度。 零、客户端需求。 基本功能： 清单分类：全部清单、年度清单、季度清单、月度清单、周清单、日清单、自定义清单； 清单详情：清单内容、子清单列表； 提醒：邮件提醒、短信提醒； 登录：手机号登录、邮箱登录、用户名登录； 注册：手机号验证注册、手机号密码注册、邮箱验证注册、邮箱密码注册、用户名注册； 统计：年/季/月/周/日统...
2020-01-07 00:43:27
1034
原创 Scrapy 爬虫模板--CSVFeedSpider
这一篇文章我要讲解一下 Scrapy 爬虫模板中的 CSVFeedSpider 模板，该模板可以说是目前 Scrapy 中最简单的模板，因此这篇文章不会有太长的篇幅。CSVFeedSpider 模板主要用于解析 CSV 文件，它是以行为单位来进行迭代，每迭代一行调用一次 parse_row() 方法。该模板常用属性如下： delimiter：字段分隔符，默认英文逗号分隔； quotechar：C...
2020-01-06 00:11:34
1242
原创 一、项目概述和项目基本结构
项目概述 从今天开始，我将带领大家来动手开发一款 App 《海绵清单》。这个名字是从海绵宝宝动画片里得来的，在动画片中海绵宝宝习惯将要做的事列成一个清单，每做完一个就打一个对勾。因此，我们就以这个清单为原型，来设计并开发我们的电子清单。 开发海绵清单用到的开发语言是 C#，开发工具是 VS2019 和 WebStorm 。我们将利用 Web Api 作为服务端，Vue 作为客户端，来开发一款安卓 ...
2020-01-02 21:45:47
1830
原创 Scrapy 爬虫模板--XMLFeedSpider
XMLFeedSpider 主要用于 RSS 的爬取。RSS 是基于 XML 的信息局和技术。这篇文章的最后一下小结我会利用爬取经济观察网 RSS 的例子来讲解它的具体用法。现在我们先看一下 XMLFeedSpider 的常用属性。 零、常用属性 iterator：迭代器，主要用来分析 RSS 源，可用的迭代器有三种： iternode：高性能的正则表达式迭代器，是默认迭代器 html：加载...
2020-01-01 22:58:44
1154
原创 C# 监控 Windows 文件夹
您是否为无法看到孩子在电脑上存储的图片而发愁，您是否为无法监控员工在电脑上存储的东西而发愁，那么今天给您推荐的这款产品绝对是您不二的选择，它是由美国大厂生产，完全符合国际标准的产品，完美支持 Windows 98 以上系统，他就是 FileSystemWatcher 牌监控仪。他会侦听文件系统更改通知，并在目录或目录中的文件更改时引发事件。下面我们就来看看他的细节。 零、细节特征 常用的方法有：...
2020-01-01 13:57:21
2326
空空如也
下载了最新的微信开发者工具，创建小程序报错，有谁遇到过？该怎么解决
2021-10-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人