Datawhale爬虫(第5期)入门第一练

最新推荐文章于 2024-08-08 14:28:23 发布
最新推荐文章于 2024-08-08 14:28:23 发布
阅读量263 收藏
点赞数 1
分类专栏： python 文章标签： python 爬虫 python2与python3共存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39906001/article/details/88047813
版权
本文介绍了如何在Python2和Python3共存的环境下配置爬虫环境，包括修改Python可执行文件名，处理pip兼容问题，创建虚拟环境及安装所需包。接着讲解了HTTP的GET和POST请求，HTTP状态码及其含义，以及如何添加请求头进行数据抓取。
摘要由CSDN通过智能技术生成

首先环境配置

— 因为我司开发用的是python2.7，故我需要配置下环境，纪念以下踩的坑（本次学习，我安装的是python3.4.4）—

大家可以去python官网 python下载对应版本

注意勾选这里这里说一下python2 和 python3 共存的问题
在这里插入图片描述

对python文件夹做如下更改python.exe ===> python2.exe
pythonw.exe ===> pythonw2.exe

在这里插入图片描述

win+R 打开cmd窗口测试以下：

最低0.47元/天 解锁文章
胡_胡
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Datawhale打卡任务 Task 05爬虫入门与综合应用
u011333939的博客
11-28 1804
Task 05爬虫入门与综合应用 Task 05爬虫入门与综合应用 5.0 前言 5.1 Requests简介 5.1.1 访问百度 5.1.2 下载txt文件 5.1.3 下载图片 5.2 HTML解析和提取 5.3 BeautifulSoup简介 5.4 实践项目1：自如公寓数据抓取 5.5 实践项目2：36kr信息抓取与邮件发送 5.0 前言 对于自动化办公而言，网络数据的批量获取完数据可以节约相当的时间，因此爬虫在自动化办公中占据了一个比较重要的位置。 因而本节针对爬
【Jupyter安装】no such option -U处理
ohyeszhang的博客
03-09 6618
windows安装jupyter时处理no such option -U错误。
Jenkins专栏（三）执行报错合集
weixin_45072910的博客
09-14 953
1、执行.sh脚本报错Permission denied 2、用java命令执行脚本报错 java: command not found
python3.5更新版本引发的一系列问题ERROR: Command errored out with exit status 1
Migu4423的专栏
12-04 2334
Microsoft Windows [版本 6.1.7601] 版权所有 (c) 2009 Microsoft Corporation。保留所有权利。 C:\Users\EL113>pip3 install pyecharts Fatal error in launcher: Unable to create process using '"d:\software\python38\p y...
命令行更新python已安装包报错no such option: --update
weixin_63374027的博客
12-28 795
所以错误解决，祝大家共同进步！纯粹是不小心打错了，人家本来是。不能按自己想法乱打。
pip 时报错 no such option: --bulid-dir 的解决办法
zhangkongzhongyun的专栏
10-21 2132
根据第二个提示，找到的原因是PyCharm依赖于"–build-dir"参数安装第三方库，但该参数在最新的23.0版pip中已删除。link.https://stackoverflow.com/questions/65085956/pycharm-venv-failed-no-such-option-build-dir.最近在学习路径规划相关内容，在运行GitHub上下载例程时缺少“plotly”库，根据网上查到的安装步骤操作，结果安装失败，下面将对错误进行分析并给出正确的解决方案。
Python爬虫技术入门到高级第五章
04-06
Python爬虫技术入门到高级第五章 本章节主要介绍了爬虫技术的基础知识，包括爬虫技术概述、网络协议和 HTTP 协议、Python 基础、爬虫工具介绍、数据存储和处理、动态网页爬取、反爬虫技术、数据清洗和预处理、...
Python爬虫技术入门到高级第一章
04-06
【Python爬虫技术入门到高级】第一章主要涵盖了爬虫技术的基本概念、工作原理以及相关工具和技术的介绍。以下是对这些内容的详细说明： 1. **爬虫技术概述** - 爬虫技术是为了自动化获取互联网信息而设计的程序，...
新IT老爬虫第11期-单P观看1
08-03
摘要目前运营商提供广域网接入的MSTP（Multi-Service Transfer Platform）链路应用非常广泛。在使用MSTP链路的情况下，我们会经常
爬虫第一课
01-09
爬虫第一课，Python3+Pip环境配置，视频主要讲Python3和pip的环境配置
Python爬虫技术入门到高级第三章
04-06
Python爬虫技术入门到高级第三章 本章节主要介绍了 Python 爬虫技术的基础知识，包括爬虫技术概述、网络协议和 HTTP 协议、Python 基础、爬虫工具介绍、数据存储和处理、动态网页爬取、反爬虫技术、数据清洗和...
python安装pygame的一些坑_python安装pygame方法
weixin_39911056的博客
11-26 238
1. 一定用管理员权限来运行win shell,Windows PowerShell2. python看版本号Python 3.8.63. 下载pygamehttps://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame按38版本下载64位的whl4. 升级pippython.exe -m pip install –upgrade pip如果不好用,就执行这个D...
已解决Usage：pip [options] no such option: —verson
努力让自己发光，对的人才能迎着光而来
01-05 1万+
已解决（pip查看版本报错）Usage：pip [options] no such option: —verson
pip install PyInstaller安装失败 no such option: --no-user
热门推荐
camille靖的博客
09-28 3万+
以管理员方式运行程序 一、安装 1、安装pywin32   pip命令安装：pip install pywin32（推荐） pip命令安装：pip install pywin32-ctypes 2、安装Pyinstaller   pip命令安装：pip install PyInstaller 如果还出现 no such option: --no-user，改为提示的命令行.: D:...
windows下安装 M2Crypto
wjc1231313的博客
04-09 6836
为了在windows下安装M2Crypto走了许多弯路。特此在此记录下。安装M2Crypto使用python里的pip安装功能安装即可。步骤：1、首先下载安装python 2.7版本 。下载完成后把python的路径加入到环境变量中2、安装pip 。pip的下载地址为：https://pypi.python.org/pypi/pip#downloadspip的安装教程可参考这里：https://b...
pip 升级出错
u010100466的专栏
08-16 5758
pip 在升级时，一般使用python -m pip install --upgrade pip而在windows系统下，升级可能会遇到类似 AttributeError: 'NoneType' object has no attribute 'bytes'这样的提示。解决方案easy_install -U pip
Linux pyinstaller打包python脚本报错：ImportError: No module named _vendor.six
Expec-乐的博客
01-17 3125
错误信息 [root@test test]# pyinstaller test.py Traceback (most recent call last): File "<string>", line 2, in <module> ImportError: No module named _vendor.six Traceback (most recent call la...
大模型微调工具-torchtune
最新发布
weixin_40777649的博客
08-08 1005
1.定义2.安装3. 案例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值