崔庆才py3网络爬虫开发实战学习记录

本人纯新手小白，自学完《python编程从入门到实践》后，正在学习《崔庆才python3网络爬虫开发实战》，从第一章安装开始就遇到各种问题无数，有的问题甚至花费了4-5小时去查询原因和答案。对学习热情、学习进度影响颇大（完全没有指责作者的意思，大部分问题都是因为我很小白和蠢）。因此决定每天记录自己的学习过程以及中途遇到的问题与解决方案，希望能为未来学习这本书的小伙伴提供一点点帮助。

也有可能有的问题是尚未解决，关于此类我会特别注明的。

本人配置：win10+vscode+python3.7，egde浏览器

-----------------------------------------------------------0307更新-------------------------------------------------------------------------
第一章 开发环境配置（下文无特殊说明均指windows下安装）

1.1Python3的安装

• 作者推荐直接用下载安装包来安装，python官网：https://www.python.org/downloads/
• 下载版本个人推荐3.7版本而非3.8版本，因为之后有些插件尚不支持3.8
• 推荐下载executable installer后缀的文件
• 安装时点击add to path，就可以忽略P3P4的内容
• 其余无问题，按书上操作即可

1.2请求库的安装

• 本章中所有有pip安装的都可以用pip安装来完成，使用镜像网站速度更快，以requests安装为例，输入:pip3 install requests -i https://pypi.doubanio.com/simple/（此处参考：将pip源更换到国内镜像 ）
• requests，selenium，aiohttp无问题

1.2.3 ChromeDriver的安装

• ChromeDriver也可以换成Edge（是的我就是这么没事找事）（另一个也是因为chrome需要翻墙，当时刚刚进行到第12页的我并不想翻墙）
• 对于Edge来说，打开浏览器右上角三个点点-设置-关于Microsoft Edge可以看到自己的版本号
• 然后前往https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/，按照自己的版本下载相应的driver
• 将下载文件拖到Python的Scripts目录下即可
• 验证安装（因为我用的edge，所以直接用的python内验证的方式）
• GeckoDriver，PhantomJS我没装

1.3解析库的安装

• lxml，Beautiful Soup，pyquery直接用pip无问题
• tesserocr和tesseract，推荐前往https://pypi.org/project/tesserocr/ ，进行安装下载。将下载文件放置在python/Scripts 下，即可使用pip安装（这个不需要镜像网站）
• 按照网站说法，只要下载一个这个放在不需再安装tesseract，但是我亲测好像还是需要，如果有不需要能正常使用的小伙伴可以说一下。如果安装的话，tesseract部分正常按书上的方法安装即可。

1.4数据库的安装：整章无问题

1.5存储库的安装

• PyMySQL，Pymongo，redis-py无问题
• redisdump：先装ruby，然后在cmd里执行gem命令

1.6Web库安装

• flask，tornado无问题

未完待续