![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python爬虫学习
文章平均质量分 77
Python爬虫学习
一个爬坑的Coder
这个作者很懒,什么都没留下…
展开
-
pyinstaller打包scrapy
首先安装pyinstallerpip install pyinstaller我们想要的效果: 点击EXE文件, 然后运行scrapy程序, 也就是运行EXE时候需要执行这条命令scrapy crawl 爬虫名第一种方式(行不通, 但是容易想到)scrapy提供了一个模块cmdline, 我们首先可以在scrapy项目的scrapy.cfg同级目录下, 创建一个crawl.py文件, 里面存在爬虫命令from scrapy import cmdline# cmdline.execute原创 2021-01-29 14:14:56 · 859 阅读 · 0 评论 -
Scrapy爬虫框架, 基本使用
个人学习笔记文章目录1. 安装Scrapy2. Scrapy五大组件3. 初步使用1. 安装Scrapy我的Python版本是3.8首先安装twistedpip install twisted出现问题: 下载出现问题, 提示Microsoft Visual C++ 14.0 is required解决办法: 使用离线包进行安装或者安装这个微软组件, 这里我是使用离线包链接:https://pan.baidu.com/s/1Ork5rctPg6DsW7izpc_O6w提取码:66.原创 2021-01-17 15:21:56 · 481 阅读 · 0 评论 -
Python 爬虫基础部分
GET请求 import urllib.request import urllib.parse url = "http://www.baidu.com/s?" keyword = input("请输入你要搜索的关键字:") # 带上请求头,为了模拟访问网站是浏览器运行的,而不是脚本运行 headers = { ...原创 2020-03-03 17:25:56 · 167 阅读 · 0 评论 -
Python 爬虫handler和opener
urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能1. 最基础的用法 import urllib.request import urllib.parse url = "http://www.baidu.com/" headers = { 'user-agent': 'Mozilla/5.0 (Windows...原创 2020-03-03 17:25:22 · 211 阅读 · 0 评论