- 博客(3)
- 收藏
- 关注
RSS订阅原创 python爬虫入门笔记:五个爬虫实列(jd,亚马逊爬取,关键词,图片, ip)
jd爬取实列 import requests url = "https://item.jd.com/100007381674.html#crumb-wrap" try: r= requests.get(url) r.raise_for_status()//状态码不是200 会产生异常 r.encoding = r.apparent_encoding print(r...
2019-09-02 00:48:49
2149
原创 python爬虫入门:爬虫规则及类型
爬虫规则 爬虫类型 小规模,不敏感数据 -request 爬取整个网站数据内容 -scrapy 搜索引擎 -定制开发 爬虫骚扰服务器,带来巨大开销 法律问题许多内容归公司所有 泄漏个人隐私 反爬 来源审查:限制user-agent 发布公告:robot协议 robot协议:告知哪些可爬,哪些不能,在网站根目录 user-agent:对于用户 disallow:不允许爬的页面 ...
2019-09-02 00:47:04
301
原创 python爬虫入门:工具及requests库介绍
python ide介绍 文本类 idle sublime text 集成工具 wing vs eclipsepy pyCharm -集成度最高 科学技术,数据分析工具 canopy Anaconda website is the API requests库 最简单的爬虫库,且支持python3 安装 pip install requests Looking in indexes:...
2019-09-02 00:44:07
6101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人