- 博客(4)
- 收藏
- 关注
RSS订阅原创 cookies模拟登陆新浪微博
#encoding=utf-8import requestsfrom lxml import etreefrom multiprocessing.dummy import Poolcook={"Cookie":"xxxxxx"}# cook = {"Cookie":""}# url = 'https://weibo.cn/u/1890493665'url = 'xxx'html...
2018-05-21 17:15:39
438
原创 python盗墓笔记爬虫爬虫scrapy_redis——MongoDB存储
目标网站：盗墓笔记小说网站目标网址：http://www.daomubiji.com/目标内容： 盗墓笔记小说的信息，具体内容包括： 书标题 章数 章标题 输出结果保存在MongoDB中####################################记得每次清空redis增加：每一章的正文settings中添加：...
2018-05-11 16:09:39
649
原创 python的scrapy爬虫——豆瓣电影top250爬虫练习——保存到CVS文件
xxx\doubanmovie\doubanmovie\items# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.html# import scrap...
2018-05-04 15:47:58
1567
原创 scrapy爬虫基础
生成文件夹在cmd中运行scrapy startproject doubantest（后跟文件夹名字）遇到的问题：跟视频中不一样，豆瓣电影top250加了反爬虫机制，解决办法是在settings.py中加入agent，方法参见百度经验：如何用pycharm编写scrapy项目：[8]user-agent：https://jingyan.baidu.com/article/e52e36151bdf2...
2018-05-03 17:43:47
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人