Rshomon的博客

Scrapy框架 创建scrapy项目 使用命令 scrapy starproject [爬虫项目名称] 创建基础爬虫文件 scrapy genspider [爬虫名字] [爬虫作用域] //默认使用basic模板 创建crawl爬虫文件 scrapy genspider -t crawl [爬虫名字] [爬虫作用域] //使用crawl模板创建 数据清洗 xpath 获取到response.xpath() --直接获取xpath对象 定义Item Item 是保存爬取到的数据的容器；其使用方法和

CSS3 网页分成三个部分 结果（HTML） 表现（CSS） 行为（javascript） CSS 层叠样式表 网页实际上是一个多层的结果，通过CSS可以分别为王爷的每一层设置样式 最终我们能看到的只是网页最上面一层 总之一句好，CSS用于来设置网页中元素的样式 CSS基础使用 使用CSS来修改元素的样式 第一种样式（内联样式，行内样式）： 在标签内部通过style属性来设置元素的样式 问题： 使用内联样式，样是只能对一个标签生效 如果虚妄影响到多个元素必须在每一个元素中都复制一遍 并且当样式发

Django+Uwsgi+Nginx部署 这几天一直在捣腾Django部署，一只菜鸡的上山路 如果什么不对，还请多多指教。 参考：如何使用Django与uWSGI,Uwsgi文档 Linux使用的是ubuntu18版本，自带python3.6 更新Linux资源 sudo apt-get update sudo apt-get upgrade 安装pip3 sudo apt install py...

运行爬虫中显示中文 在自定义Spider中的parse函数，使用response.body_as_unicode(),输出就可以。 保存爬取的html在本地 with open("XXXX.html",'w',encoding='utf-8') as f: f.write(response.body_as_unicode()) 即可解决使用scrapy不显示中文、 ...