- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 个人对爬虫框架的一些认知（一）
首先从任务的发起开始，我们画一个简单的流程图：爬虫运行简要示意图 一个优秀的爬虫框架，应当是要有个好的监控和异常处理记录，以及各爬虫运行在上面地方的一个简要记录信息。以企查查站点为例，一个爬虫的整体分层架构入下图所示：企查查爬虫架构图 每个爬虫以一个单独的文件目录存在，下一级分4层文件目录，Mark记录该爬虫的说明信息，怎么抓取的，有什么防...
2019-05-22 18:00:57
30519
原创 个人对爬虫框架的一些认知（二）
今天给大家传授一个爬虫框架任务源相对通用的模型： 下面这个我是以mysql数据库为例，以好315网-企业招商信息获取为一个演示效果，其他的数据库和站点按照这个思路走可以了。 大致解释下每个字段所代表的意思和为什么要这么做： 构建这个模型的核心思想就是如何做到请求链接的一个区别标志和去重的一个问题，目前能想到的比较简单实用的就是将url压缩成MD5值存储起来...
2019-05-30 09:40:54
22376
原创 WinForm在Datagridview控件显示Datatable数据
这期给大家简单讲解下Datagridview控件的一个使用，链接数据库直接导入数据也是可以的，下面放下C#的代码：private void skinButton1_Click(object sender, EventArgs e){ skinDataGridView1.ReadOnly = true; //建立个数据表 DataTable dt = new Data...
2019-05-23 16:16:08
35218
1
转载 C#正则表达式参考
技术分享，侵删。原文链接：https://blog.csdn.net/wuzhanwen/article/details/79643362正则表达式就是由普通字符（例如字符a 到 z）以及特殊字符（称为元字符）组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。本文详细地列出了能在正则表达式中使用，以匹配文本...
2019-05-23 11:02:39
28263
原创 关于Http请求GBK乱码转化的问题
class POST请求GBK乱码转化 { public void Start() { //将需要传入的中文参数转化为GBK格式 string INFO = System.Web.HttpUtility.UrlEncode("北京市国家税务局", Encoding.GetEncoding("GBK")); ...
2019-05-22 19:13:18
35737
转载 C# WinForm开发系列 - CheckBox/Button/Label/ProgressBar
包含自定义颜色显示的CheckBox,水晶效果按钮,透明圆角Label,Vista效果的ProgressBar等控件(文章及相关代码搜集自网络,仅供参考学习,版权属于原作者!).1.自定义颜色显示的CheckBoxcoloredcheckcontrols.zip2.逼真的仿Vista效果的按钮控件crystalbutton.rarVistaButton.rar3...
2019-05-17 17:43:30
34089
转载 CSS介绍
技术分享，侵删。原文链接：https://www.cnblogs.com/yuanchenqi/articles/5976755.html
2019-05-05 18:03:28
34072
转载 HTML介绍
技术分享，侵删。原文链接：https://www.cnblogs.com/yuanchenqi/articles/5976755.htmlHTML介绍前端概述import socketdef main(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.bind(('...
2019-05-05 18:00:56
34678
高质量C++_C编程指南
2015-09-22
C言语学习笔记心得录
2014-08-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人