20170718 【学习记录】使用anaconda写爬虫

最新推荐文章于 2024-09-28 16:08:22 发布
最新推荐文章于 2024-09-28 16:08:22 发布
阅读量7.5k 收藏 9
点赞数 1
分类专栏： 学习笔记 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacky2leslie/article/details/75347211
版权
这篇博客记录了作者使用Anaconda环境中的Python 3.6进行爬虫学习的过程。通过requests库模拟浏览器抓取网页数据，并结合BeautifulSoup解析HTML，利用CSS选择器提取所需信息。虽然在爬取中尝试了time.sleep()进行延迟访问以避免被屏蔽，但在实际运行中仍遇到连接失败的问题。
摘要由CSDN通过智能技术生成

此anaconda中的python版本是3.6

# coding:utf-8
# 
# 把qq.ip138.com/train/上面的列车时刻表抓取解析出来，输出在命令行显示，并存入一个文件train_time.text
# 
import requests
import time
from bs4 import BeautifulSoup
import random

BSLIB = 'html5lib'
BASE_URL = 'http://qq.ip138.com'
UA = ["Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (X11; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0", "Mozilla/5.0 (X11; Linux x86_64; rv:54.0) Gec
最低0.47元/天 解锁文章
jacky2leslie
关注
专栏目录
爬虫学习（1）：手把手教你Anaconda与jupyter安装配置与使用
全栈川川
10-11 1万+
Anaconda与jupyter安装配置与使用
在Anaconda进行网络爬虫
zxy_chuan的博客
12-24 3929
requests:导入库 安装：pip install requests 方法： r=requests.get('url')：发送请求获取资源对象，并且返回 资源对象 requests.request(代码标签)：构造请求 requests.head():获取网页头信息 注意：如果访问失败 r.request....
Anaconda安装scrapy爬虫框架(图文版)
fallwind_of_july的博客
07-22 2269
本篇博文主要介绍如何利用Anaconda软件安装scrapy爬虫框架 安装步骤： 1.安装Anaconda 安装scrapy框架前我们需要有Anaconda软件，内置了python环境。下载地址： https://www.anaconda.com/download/ 2.联网环境下自动下载依赖包，安装scrapy框架 使用Win+R快捷键打开cmd命令窗口，输入conda install scra...
高效Python开发：Anaconda使用全攻略
CoderJia的学习之路
09-03 2082
Conda：Anaconda的包和环境管理工具。它支持多版本Python环境的创建和管理，并且可以跨平台运行。Anaconda 适合那些需要频繁切换 Python 环境或在项目中使用不同版本库的开发者和数据科学家。
爬虫入门-Anaconda Python3.7安装
qq_39154774的博客
04-15 558
官网下载 https://www.anaconda.com/distribution/ 百度经验安装过程 https://jingyan.baidu.com/article/eae078275a31851fec5485b8.html 安装后检查报错 This Python interpreter is in a conda environment,but the environment ha...
使用anaconda创建爬虫spyder工程
weixin_40763897的博客
12-31 1679
到此spyder的环境就创建好了，接下来我们来使用这个环境来开发。使用anaconda 创建spyder工程是很方便的。
爬虫学习任务笔记概要（第四次）–实战某新闻爬取项目含代码
12-21
大作业要求： 1、了解ajax加载 2、通过chrome开发工具，触发请求，并获取数据 3、用到selenium库 ...driver=webdriver.Chrome(executable_path="C:\Program Files\Anaconda3\chromedriver.exe") driver.get("ht
python学习第二周：爬虫—使用URL管理器
最新发布
chai_chaijie的博客
09-28 547
URL管理器这段代码实现了一个简单的URL管理器（UrlManager），用于管理新发现的URL和已经访问过的URL。这种管理器通常在网络爬虫（Web Crawler）或搜索引擎的爬虫系统中非常有用，以避免重复访问相同的URL。使用了requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML内容。是爬取http://www.xxx.xxx网站上的信息。
爬虫学习笔记
Zikade0627的博客
02-19 1763
爬虫 1. 简单的爬虫 from urllib.request import urlopen url = "https://ssr1.scrape.center/" resp = urlopen(url) message = resp.read().decode("utf-8") print(message) with open("my_spyder.html", mode="w") as f: f.write(message) print("
2022年网络我的网络爬虫学习心得
weixin_65692201的博客
12-24 2311
2022年网络我的网络爬虫学习心得
Anaconda 使用指南
weixin_39274753的博客
08-13 3081
Anaconda 使用指南 参考文章: 致Python初学者：Anaconda入门使用指南 Anaconda使用总结 概述 很多学习python的初学者甚至学了有一段时间的人接触到anaconda或者其他虚拟环境工具时觉得无从下手, 其主要原因就是不明白这些工具究竟有什么用, 是用来做什么的, 为什么要这么做, 比如笔者一开始也是不明白为啥除了python之外我还需要这么一个东西, 他和p...
爬虫学习一：anaconda安装教程+pycharm安装教程
weixin_44444442的博客
03-26 381
python安装 anaconda安装python 安装python有两种途径一个是下载安装anaconda，一键式配置环境变量，一个是下载python安装包手动配置变量，显然anaconda更为方便且有更多的库，因此下载anaconda来安装python是首选的方式途径。 官网下载anaconda即可，下载链接—>anconda individual版本。 在安装过程中，勾选上添加anaconda至环境变量即可一键式配置python的变量。 安装完成后再cmd输入conda即可检验是否安装成功。
【网络爬虫-01】Anaconda的安装
qq_46060468的博客
02-05 262
安装 Anaconda 注意之处 配置环境变量 如果是windows的话需要去 控制面板\系统和安全\系统\高级系统设置\环境变量\用户变量\PATH 中添加 anaconda的安装目录的Scripts文件夹 D:\English_Name\Anaconda3\Scripts （上述来自网上，个人尝试失败） 成功尝试 验证：打开命令行(最好用管理员模式打开) 输入 conda --version 管理虚拟环境 技巧：之前安装一些python，担心冲突，可采用添加别名
python-(6-1)爬虫---anaconda环境准备
oldboy1999的博客
10-31 628
python-(6-1)爬虫---anaconda环境准备
python 爬虫(一) anaconda+scrapy 安装
热门推荐
彦文的专栏
05-03 1万+
anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。是一个库比较全的IDE对于新手来说 省掉了很多环境依赖的问题 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 有它之后写爬虫一般只需要配置就可以跑了。 1. 下载anaconda 下载地址 2. 安装anaconda 直接默认安装就好 3. 安装scr...
anaconda3使用scrapy框架进行网络爬虫到mysql workbench
lairifangtian的博客
04-16 534
1、随便找一个创新创业网址：https://www.sohu.com/a/257107420_100000347
Anaconda的开发环境介绍以及简单爬虫的应用
qq_44723773的博客
11-10 2405
开发环境的介绍 anaconda 基于数据分析和机器学习的集成环境 jupter anaconda提供的一个基于浏览器的可视化开发工具 jupter的基本使用 在终端汇总录入jupter notebook的指令启动Jupter可视化开发工具 jupter notebook的指令录入对应的默认的目录结构就是终端对应的目录结构 new->text file ：新建一个任意后缀名的文本文件 new->python 3 : 新建一个基于jupter的源文件（xxx.ipynb） ce
python爬虫-Anaconda环境+requests模块
lubuhan的博客
10-17 1183
python爬虫第一天（Anaconda搭建+requests模块）
anaconda怎么爬虫
11-23
Anaconda是一个强大的Python数据科学平台，它内置了许多用于数据分析和科学计算的库和工具。要使用Anaconda进行爬虫，可以按照以下步骤进行操作： 1. 安装Anaconda：首先，需要从Anaconda官网下载适合操作系统的Anaconda安装包，并按照安装向导进行安装。 2. 创建并激活虚拟环境：为了保持项目的独立性和可复现性，可以使用conda命令创建一个虚拟环境。例如，可以使用以下命令创建一个名为"web_scraping"的环境： ```shell conda create --name web_scraping ``` 创建环境后，可以使用以下命令激活此环境： ```shell conda activate web_scraping ``` 3. 安装必要的库：在虚拟环境激活后，可以使用conda命令安装所需的库。例如，要使用常见的爬虫库BeautifulSoup和Requests，可以使用以下命令进行安装： ```shell conda install beautifulsoup4 requests ``` 可以根据爬虫的需求安装其他所需的库。 4. 编写爬虫代码：使用所需的库，可以开始编写爬虫代码。使用BeautifulSoup解析HTML页面、使用Requests库发送HTTP请求并获取网页内容，以及使用其他库进行数据处理等。根据需要可参考相关文档和教程。 5. 运行爬虫代码：保存好爬虫代码文件后，在虚拟环境激活状态下，可以使用Python命令运行爬虫代码。例如，如果爬虫代码保存在名为"spider.py"的文件中，可以使用以下命令运行它： ```shell python spider.py ``` 爬虫代码将执行，根据代码的逻辑获取所需的数据并进行处理。 以上就是使用Anaconda进行爬虫的基本步骤。请注意，进行爬虫活动时需要遵循相关法律和道德规范，并尊重网站的爬虫规则和使用条款。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值