你真有意思的博客

努力成为码农,再成为程序员

python爬虫表单总结

动态内容,ajax的数据在XHR里面,刷新可以查看新抓的包里面有没有自己想要的数据。IF-TargetVerb: POSTIF-TargetContent: [{"Lbl":"attachmentWrapper",&q...

2018-05-28 17:14:56

阅读数:74

评论数:0

wordcloud库

安装:http://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud下载python -m pip install wordcloud-1.4.1-cp36-cp36m-win_amd64.whlw = wordcloud.WordCloud(&a...

2018-05-10 21:05:49

阅读数:32

评论数:0

关于爬虫错误信息

1.raise ValueError('Missing scheme in request url: %s' % self._url)结局问题: 1.下载图片files_url需要list类型       2.http不要忘记加

2018-05-09 15:13:39

阅读数:46

评论数:0

dateutil库

安装:pip install python-dateutil导入:from dateutil.parser._parser import parse方法:parse(strtime).timestamp()#时间戳,浮点数类型          parse(strtime).date()#字符串类...

2018-05-07 12:44:34

阅读数:61

评论数:0

jieba库

精    确   模式:jieba.lcut(s)#不存在冗余全    模      式:jieba.lcut(s,cut_all = True)#存在冗余搜索引擎模式:jieba.lcut_for_search(s)#存在冗余

2018-05-06 22:23:36

阅读数:37

评论数:0

scrapy连接myqsl

在pipeline中:def __init__(self): self.connect = pymysql.connect( host='localhost', port=3306, db='****', user='root...

2018-05-06 14:02:20

阅读数:344

评论数:0

RIDES

github下载地址:https://github.com/MSOpenTech/redis/tags启动命令redis-server redis.windows.conf启动失败:连接失败:1.redis-cli.exe2.shutdown3.exit4.redis-server redis.w...

2018-05-04 16:01:36

阅读数:155

评论数:0

XPATH

今天学习了scrapy中的spiders部分,爬虫名name,start_url起始点,以及xpath的语法:nodename选取此节点的所有子节点。/从根节点选取。//从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。.选取当前节点。..选取当前节点的父节点。@选取属性。bookstor...

2018-05-03 15:48:18

阅读数:21

评论数:0

scrapy框架

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。安装scrapy的时候用的是pip安装的,一直报错twisted,于是下载Twisted.whl再pip install Twisted也是失败,必须到文件所在位置,再pip install Twisted-18.4.0-cp36...

2018-05-02 11:35:27

阅读数:27

评论数:0

HTTP首部字段

通用首部字段Cache-Control 控制缓存的行为Connection 逐跳首部、连接的管理Date 创建报文的日期时间Pragma 报文指令Trailer 报文末端的首部一览Transfer-Encoding 指定报文主体的传输编码方式Upgrade 升级为其他协议Via 代理服务器的相关信...

2018-05-02 08:20:24

阅读数:24

评论数:0

HTTP状态码

200 ok204 no content206 partial content301 Moved Permanently永久性重定向。该状态码表示请求的资源已被分配了新的 URI,以后应使用资源现在所指的 URI。302 Found临时性重定向。该状态码表示请求的资源已被分配了新的 URI,希望用...

2018-05-02 08:18:42

阅读数:21

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭