go基础
文章平均质量分 74
路上走着
这个作者很懒,什么都没留下…
展开
-
go爬虫设计(单机版)
爬虫总体架构: 爬虫实现方案: 单机版 单机版架构主要模块有:处理引擎(Engine) 解析器(Parser) 下载器(Fetcher)流程:请求处理模型=请求URL + URL对应的Parse0: 先向引擎发起一个种子请求处理模型(URL+Parse) 1: 引擎将请求放入任务队列中 2: 引擎从任务队列中取出请求处...原创 2018-07-19 10:29:10 · 292 阅读 · 0 评论 -
go学习笔记 - 接口
接口是golang最重要的特性之一,在Go中,接口interface其实和其他语言的接口意思没什么区别。interface理解其为一种类型的规范或者约定。一种类型是不是“实现”了一个接口呢?就看这种类型是不是实现了接口中定义的所有方法。接⼝是一个或多个方法签名的集合,任何非接口类型只要拥有与之对应的全部方法实现 (包括相同的名称、参数列表以及返回值。),就表示它"实现" 了该接口,无需显式在该类型...原创 2018-07-25 09:23:18 · 219 阅读 · 0 评论 -
go网络编程基础
socketsocket原理Socket 原理Socket 连接,至少需要一对套接字,分为 clientSocket,serverSocket 连接分为3个步骤:(1) 服务器监听:服务器并不定位具体客户端的套接字,而是时刻处于监听状态; (2) 客户端请求:客户端的套接字要描述它要连接的服务器的套接字,提供地址和端口号,然后向服务器套接字提出连接请求; (3) 连接确认:当服...原创 2018-07-19 23:28:23 · 225 阅读 · 0 评论 -
go爬虫设计(并发版)
在单机版的基础上,将耗时最长,等待时间做多的进行并发 ,也就是Fetch模块Fetch的输出就是Parse的输入,也就是可以把Fetch和Parse合成一个模块 -- worker模块func ( ConcurrentEngine) Run(seeds ...Request){ var requests []Request for _, r := range seed...原创 2018-07-20 20:16:23 · 1666 阅读 · 0 评论