开启人生的第一篇博客——scrapy学习

开启人生的第一篇博客！

最近在学习使用Scrapy框架进行爬虫，在学习的过程中遇到了很多的问题，在遇到问题时会上网搜索解决办法，其中大部分问题的解决方法都来自于大佬们的博客，每当解决一个问题时都会有小小的喜悦，这种喜悦来自于解决问题的博客，因此对博客以及博主们有了一种敬畏之情，也从心底产生了一种写博客的冲动，以此来记录自己的学习过程，同时希望可以给自己一种不断坚持的动力，当然如果可以给其他人解决掉一点点困惑，一切就更加有意义。
言归正传，第一篇博客要总结一下自己学习到的Scrapy框架的知识与遇到问题。

1.使用的编辑器

学习爬虫项目主要使用的编辑器是pycharm，这个编辑器自认为最大的好处就是用到的包大都可以在settings中找到推荐并安装，不需要自行安装，由于我安装pycharm时间大约在三个月前，具体配置记得并不是很清楚，所以不作为重点哦，具体使用以及python环境的配置可以上网搜索其他博客，相关介绍超级多！

2.scrapy项目结构

3.爬虫相关的命令

• 创建scrapy项目
  在Terminal中输入创建Scrapy项目的命令：scrapy startproject projectname（此处为自定义的项目名称）点击回车，出现下列命令，表示scrapy项目创建完成。
  
• 创建爬虫
• 接着在Terminal中输入cd projectname，点击回车（注意：此步骤是切换到创建的项目名称下面，一定要执行，否则会遇到各种问题，踩过很久的坑）
  继续输入scrapy genspider spidername（爬虫名）website.com(要访问的网站) ，点击回车，出现下列命令，爬虫建立完毕。
  
• 编写爬虫
  网上有很多优秀的博客介绍了爬虫的具体编写，在此不做介绍，可自行搜索。
• 运行爬虫
  使用命令：scrapy crawl spidername点击回车即可运行爬虫。

4.遇到的问题

最近遇到的一些版本问题和未安装某些包的问题，这些问题在运行结果提示中都可以轻易解决，遇到的最大的问题就是将爬取的中文数据保存为csv格式时，在编辑器中打开csv格式，而在excel中打开则是中文乱码，在查找了很多文件之后这个问题终于得到了解决，并不是代码的问题，而是excel的编码格式问题，对excel进行如下设置后，再运行爬虫保存的中文数据不再是乱码问题：
方法1：打开乱码的excel表格→数据→获取外部数据→自文本→选择乱码的csv文件→选择“分隔符”，下一步→勾选“逗号”，去掉“Tab键”，下一步→完成→勾选“创建新的工作表”，确认→关闭excel，保存更改，替换，确认
方法2：右击excel表格，选择“打开方式”→记事本→另存为，保存为ansi格式→再打开excel，乱码消失 这种方式下会造成pycharm中csv文件乱码，因此不提倡