SY的博客

前言项目需求需要爬取评论数据，在此做一个记录，这里爬取的是web端的数据，以后可能会考虑爬取android app中的数据。一、安装并创建Scrapy项目scrapy官方文档：https://docs.scrapy.org/en/latest/intro/install.htmlscrapy是一个比较好用的python爬虫框架，官方文档写得也比较详细。可以直接运行以下命令安装：pip install Scrapy安装完毕后，需要创建Scrapy项目，相当于是一个爬虫框架项目，在想要放置项目

很早就想写一个自己的网站，但仅仅是自用的话租服务器又不太划算，发现可以直接在github上搭免费的个人网页，就开始着手搭建了。在github上创建仓库直接右上角new repository：在repository name里填上“自己的名字+.github.io”，也就是前面的Owner名，这里由于我已经创建过了所以有提示。然后就可以直接在这个仓库里面写代码了，直接Creat new f...

注册打开网页版github：https://github.com/ ，直接注册一个账号就行。此时就可以直接在网页上创建自己的仓库并添加代码进去了，不过想要使本地仓库能够实时与其同步而不用自己手动上传的话还需要下载桌面版git。桌面版下载与配置下载地址：git-scm.com ，选择匹配电脑的合适版本下载并安装，安装时我按默认勾选。安装好之后打开Git Bash，可以勾选安装后自动打开，也可以...