Go分布式爬虫学习笔记(十一)

	- 在 Go 的早期版本中，可以使用 go get 指令从 GitHub 或其他地方获取 Go 项目代码。这时程序会默认将代码存储到`​ $GOPATH/src ​`​目录下。

• 演进

  • 2015 年，Go1.5 版本首次实验性地加入了 Vendor 机制。项目的所有第三方依赖都可以存放在当前项目的 Vendor 目录下，再也不用为了应用不同版本的依赖对 GOPATH 环境变量“偷梁换柱”了，Go 编译器优先感知和使用 Vendor 目录下缓存的第三方包。

  • vgo

    • R: Russ Cox博客 vgo vgo源码 vgo-module

    • 主要思路

      • 语义版本控制
      • 最小版本选择
      • 引入 Go Modules

    • 2018 年 5 月，Russ Cox 的提案被接收，此后 vgo 代码被并入了 Go 主干，并正式命名为 Modules。

  • 2018 年 8 月，Go 1.11 发布，Modules 作为官方试验一同发布。

  • 2019 年 9 月，Go1.13 发布，只要目录下有 go.mod 文件，Go 编译器都会默认使用 Modules 来管理依赖。同时，新版本还添加了 GOPROXY、GOSUMDB、GOPRIVATE 等多个与依赖管理有关的环境变量。

‍

Go Modules

• 历史问题

  • 能不能让 Go 工程代码脱离 GOPATH？
  • 能否处理版本依赖问题并且自动选择最兼容的依赖版本？
  • 能否在本地管理依赖项，自定义依赖项？

• import 路径问题: Go Modules 可以通过在 go.mod 文件中指定模块名来解决这一问题。mod文件第一行指定模块名。

• 代码捆绑和版本控制问题: Go 官方的 Go Modules 提供了一种可以在文件中同时维护直接和间接依赖项的集成解决方案。一个特定版本的依赖项也被叫做一个模块（moudle），一个模块是一系列指定版本的 package 的集合。

  • 如何查找并把所有依赖包下载下来?
  • 某个包下载失败怎么办?
  • 所有项目之间如何进行依赖的传导?
  • 如何选择一个最兼容的包?
  • 如何解决包的冲突?
  • 如何在项目中同时引入第三方包的两个版本?

• 为了加快构建程序的速度，快速切换、获取项目中依赖项的更新，Go 维护了下载到本地计算机上的所有模块的缓存，缓存目前默认位于 $GOPATH/pkg/mod 目录下
  打开后会看到各个模块及其版本信息
  ​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aMFcPAOk-1679673376808)(https://assets.b3logfile.com/siyuan/1658627274984/assets/image-20230322083435-fyttdvf.png)]​

Go Modules实践

• 初始化

• R: 1.17后加速依赖拉去和编译特性

• 引入第三方模块

• 下载第三方模块

• 更新第三方模块

  • 修改mod文件

  require github.com/dreamerjackson/mydiv latest 
  //或
  require github.com/dreamerjackson/mydiv master 
  
  

  • 将指定 commit Id 复制到末尾

  require github.com/dreamerjackson/mydiv c9a7ffa8112626ba6c85619d7fd98122dd49f850。
  
  

  • 在终端的当前项目中，运行 go get github.com/dreamerjackson/mydiv​​。
  • 使用上面任一方式保存文件后，再次运行 go mod tidy，版本即会进行更新。
  • go.sum 中不仅存储了直接和间接的依赖，还存储了过去的版本信息。

• replace: 将依赖的模块替换为另一个模块，例如由公共库替换为内部私有仓库

  • replace 还可以用于本地调试场景，这时我们可以将依赖的第三方库替换为本地代码，便于进行本地调试。

• exclude: 排除某一模块特定的版本
  如果当前项目中，exclude指令与require指令对应的版本相同，那么 go get 或 go mod tidy 指令将查找高一级的版本。

• retract: 不依赖指定模块的版本或版本范围。
  当版本发布得太早，或者版本发布之后发现严重问题时，撤回指令就很有用了。
  例如，对于模块example.com/m，假设我们错误地发布了 v1.0.0 版本后想要撤销。这时，我们就需要发布一个新的版本，tag 为v1.0.1 。

• 依赖移除:
  当我们不想使用此第三方包时，可以直接在代码中删除无用的代码
  接着执行go mod tidy, 会发现 go.mod 和 go.sum 又空空如也了。

‍「此文章为3月Day11学习笔记，内容来源于极客时间《Go分布式爬虫实战》，强烈推荐该课程！/推荐该课程」

‍

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！