Python
青春神马
学习路上有你有我
展开
-
Python3.x使用Scrapy将爬取数据存储成Json
Python3.x使用Scrapy将爬取数据存储成Json豆瓣电影排名前250链接 https://movie.douban.com/top250注:前提安装好python及所需的环境1.scrapy安装pip install scrapy如果提示:no module named ‘win32api’ 则使用下面方式解决pip install pypiwin322.创建项目(进入要创建的目录)scrapy startproject [项目名称]例如:scrapy startpr原创 2020-09-17 11:03:29 · 997 阅读 · 0 评论 -
Python3.x使用Scrapy将爬取数据存储到MySQL
Python3.x使用Scrapy将爬取数据存储到MySQL豆瓣电影排名前250链接 https://movie.douban.com/top2501.scrapy安装pip install scrapy如果提示:no module named ‘win32api’ 则使用下面方式解决pip install pypiwin322.创建项目(进入要创建的目录)scrapy startproject [项目名称]例如:scrapy startproject douban_scrapy原创 2020-09-17 10:48:09 · 261 阅读 · 0 评论 -
Python3.x使用requests库将爬取数据存储到MySQL
Python3.x使用requests库将爬取数据存储到MySQL豆瓣电影排名前250链接 https://movie.douban.com/top250导入模块库import requests from lxml import etree #灵活地处理 XML 和 HTML页面的库import timeimport pymysql #PyMySQL是在 Python3.x 版本中用于连接 MySQL 服务器的一个库2.定义处理类class Douban: def __i原创 2020-09-17 09:57:16 · 523 阅读 · 0 评论