爬虫
爱编程的小黑
编程弱鸡,希望和大家交流分享
展开
-
python爬取校花网
没有库得需要自己导入。 在file中的setting中,点击左下角的Project:xiaohua的 Python Interpreter,搜索需要的库(哪个红色波浪线就下载哪个)进行加载 from urllib import request #re 是正则表达式模块 import re #初始化url from bs4 import BeautifulSoup first_url = "http://www.xiaohuar.com/daxue/" #发送一个请求 header = { #us原创 2021-07-07 22:46:23 · 184 阅读 · 1 评论 -
安装scrapy模块,创建一个Scrapy爬虫项目,并运行
创建一个Scrapy项目,首先需要所需要的模块 一丶安装scrapy框架所有模块 1.第一个安装的依赖库是lxml ,命令是: pip install lxml 2.第二个依赖库是pyOpenSSL,安装步骤为 进入https://pypi.org/project/pyOpenSSL/#downloads 下载wheel文件; 在命令行窗口执行pip install (需要加上你下载文件的路径名)\pyOpenSSL-18.0.0-py2.py3-none-any.whl 3.第三个依赖库是Twisted原创 2021-07-07 22:39:43 · 919 阅读 · 0 评论