- 博客(3)
- 收藏
- 关注
RSS订阅原创 Python爬虫--Scrapy框架
这两天学习了Scrapy框架，它是一种专门用于爬虫的框架。 在安装完Scrapy后，首先在命令行里创建一个项目： 创建好项目后，便可以看到scrapy的结构大概是这样的： 第一步需要在items.py这个文件里设置爬取内容分成的各个属性： import scrapy class DmozItem(scrapy.Item): # define the fields for your ...
2019-08-14 21:15:32
118
原创 Python爬虫----代理ip的测试
今天针对ip的检测写出了一段代码： from urllib import request, error from bs4 import BeautifulSoup import re if __name__ == '__main__': url = 'http://ip.webmasterhome.cn/' # 使用代理的步骤 # 1.设置代理IP,进入代理网站选...
2019-08-13 20:59:51
394
原创 Python爬虫---制作爬取网页图片的爬虫
最近在b站上学习了python基础编程入门，其中比较有意思的是用python写爬虫的项目 代码如下： import urllib.request from bs4 import BeautifulSoup import re import ssl import os def find_img(page_url): html = openurl(page_url) soup...
2019-08-12 17:50:56
246
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人