Python(Scrapy/Django)
文章平均质量分 65
Damionew
不告诉自己去完成,可能永远无法完成
展开
-
使用Python爬虫Scrapy框架爬取数据
时隔数月,国庆期间想做个假期旅游的分析展示。1、通过Python爬取旅游网站上数据,并存储到数据库2、通过Echart/FineReport/Superset等数据分析工具对数据展示环境:Win10Python:3.7Scrapy:1.5.1使用Pycharm开发Scrapy文档教程中有Scrapy的安装指导,不过在Windows下安装当初确实遇到许多坑使用方法...原创 2018-09-29 14:09:19 · 1508 阅读 · 0 评论 -
使用Scrapy爬取豆瓣电影排行榜
网站ICP备案已经完成,是时候搞一波个人网站了,先搞个电影板块,就算没看过,看看影评跟别人扯的时候也好装作自己不是周末宅的样子环境:python3.7;scrapy1.5工具:Chrome;Pycharm1.在项目路径使用命令行执行scrapy startproject projectName项目结构如下具体可参考Scrapy官方文档2.在Pycharm中打开该项...原创 2018-12-04 17:08:08 · 1179 阅读 · 0 评论 -
Django-PythonWeb框架的安装与使用
Django-中文名:姜戈,采用MVC模型的Web框架。Django有一个管理工具,叫Django-admin.py,可以通过它来创建项目,其实类似Scrapy框架。环境:Win10;Python3.7有几种安装方式:1、使用pip安装比如当前Django最新版为2.1.4,我使用最简陋的方式:Microsoft Windows [版本 10.0.17134.471](...原创 2018-12-14 09:03:23 · 454 阅读 · 0 评论 -
JavaWeb传输文件流到Django
实现内容:1、使用Springboot搭建JavaWeb项目,上传文件(图片)到后台,后台进行转码(Base64)2、通过HTTPURLConnection向PythonWeb(Django)发送POST请求,文件放入输出流中3、Django获得请求将流转成图片文件保存在本地,并返回一个结果给Java端Java代码:https://github.com/Damionew/djang...原创 2018-12-17 15:54:13 · 1000 阅读 · 0 评论 -
当爬虫遇到emoji表情
场景:爬虫爬取豆瓣电影影评时遇到一些用户的用户名和影评中有emoji表情符号,存储到数据库的时候出现报错:Incorrect string value: '\xF0\x9F\x98...' for column 'name'Mysql此时的字符集是utf-8那么问题来了,utf-8的一个字符最大3个字节,而emoji却是4个字节,这就导致存入失败可以通过以下命令查看SHOW...原创 2018-12-18 15:46:04 · 2783 阅读 · 0 评论