python爬数据小试牛刀--beautifulSoup使用

最新推荐文章于 2021-04-15 16:18:11 发布
最新推荐文章于 2021-04-15 16:18:11 发布
阅读量947 收藏
点赞数
分类专栏： python android进阶之路 文章标签： python html 编译器 beautifuls
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DG_summer/article/details/72231993
版权
本文介绍了使用Python 2.7和BeautifulSoup库爬取斗鱼首页图片的过程。首先，配置了Python环境和PyCharm编译器。接着，通过分析网页源代码，找到图片链接位于`src`属性下。最后，编写代码进行图片链接的匹配和筛选，通过字符串操作区分jpg、png和gif等不同格式的图片。
摘要由CSDN通过智能技术生成

python爬数据小试牛刀–beautifulSoup使用

1.环境配置
  • 编译环境：python 2.7
  • 编译器：pycharm
  • HTML或XML提取工具：beautifulSoup(安装自行百度)
2.网站分析
  • 网站：斗鱼（http://www.douyu.com）
  • 爬取目标：首页的图片
  • 步骤一：查看图片信息，鼠标右键图片，选择检查

  • 检查
  • 步骤二：分析发现图片连接都在src下面
  • 步骤三：代码编写
  • 导入库
最低0.47元/天 解锁文章
SUMMER_L_L
关注
专栏目录
【Python爬虫系列教程 7-100】小试牛刀，第一个简单的爬虫案例开发，爬取慕课网首页所有课程名称
weixin_54707168的博客
02-28 435
【Python爬虫系列教程 7-100】小试牛刀，第一个简单的爬虫案例开发，爬取慕课网首页所有课程名称
天天基金网高收益基金列表数据保存到Excle中#python爬虫小试牛刀之openpyxl
九幽天诀之扭转乾坤的博客
06-24 6642
天天基金网高收益基金列表数据保存到Excle中#python爬虫小试牛刀之openpyxl 你好！ 学习了openpyxl后，于是迫不及待的想练习一下，于是挑选了具有一定挑战性的天天基金网来进行爬取数据并保存练手，当然自己也搜索了其他人关于天天基金数据爬取的过程，但基本上都无法看懂，可能是我入行不深，这里我介绍一种小白都能看懂的方法，仅供大家参考学习。 1.最终得到的Excel表格： 我喜欢先将结果，将爬取的的数据采用openpyxl模块保存后的结果如下： 由于列表数据比较多，这里只截屏了一部
使用BeautifulSoup4全方位解析爬取全国天气数据
xxgxxw的博客
04-15 496
使用BeautifulSoup4全方位解析爬取全国天气数据 一、小tips # 通过requests的一个get请求去请求数据 response = requests.get(url) response.content -->二进制数据 response.content.decode('utf-8') # 加了decode自动转化为字符串 response.text -->字符串 stripped_strings：获取一个标签下面的子孙节点的文本信息 # 解析网页,
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息
12-21
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息 上节学习了flask简单使用并且爬取网站，本节学习BeautifulSoup爬取天气信息 打开网站：http://www.weather.com.cn/weather/101030100.shtml 可以看到天津天气七天信息 查看网页源代码：分析一天的天气标签 ul li h1 p span i win  下面开始编写代码： BeautifulSoup的详细使用方法就不再介绍网上应该有很多，这里只针对本练习使用。 1.首先导入requests、BeautifulSoup库 import requests from
BeautifulSoup实现中国天气网气温爬取
weixin_45853749的博客
08-03 410
from bs4 import BeautifulSoup import html5lib import requests def parse_urlpage(url): headers = { 'User-Agent':'替换为自己浏览器的即可', 'Cookie':'BIDUPSID=810C1C3680051BCE1BE2F70DEEED10B1; PSTM=1584768178; BAIDUID=810C1C3680051BCEFD14CCEC1FBC147
Python爬虫之BeautifulSoup爬取天气网
Ais永恒
11-30 2477
Python爬虫之BeautifulSoup爬取天气网 代码如下 import requests from lxml import etree from bs4 import BeautifulSoup from pyecharts import Bar ALL_DATA = [] def parse_page(url): headers = { "User-A...
爬虫入门教程之requests，BeautifulSoup库的介绍以及问题解释
有效鸡汤的博客
11-13 667
  HTTP协议 HTTP,超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法,HTTP是一种基于"请求与响应"模式的、无状态的应用层协议。HTTP协议采用URL作为定位网络资源的的标识符。http://host[:post]...
python 爬虫小试牛刀（request，BeautifulSoup库的实战）
Kobe123brant的博客
11-29 227
实战1 实战2 小说章节目录 链接：https://www.37zw.net/0/761/ 网页解析 url = 'http://www.xbiquge.la/0/8/5599.html' response = requests.get(url, headers = {'user-agent':'Mozilla/5.0'}) response.encoding = response.apparent_encoding html = response.text soup = BeautifulS..
python爬虫分布图_Python爬虫之小试牛刀——使用Python抓取百度街景图像
weixin_39857876的博客
12-08 279
之前用.Net做过一些自动化爬虫程序，听大牛们说使用python来写爬虫更便捷，按捺不住抽空试了一把，使用Python抓取百度街景影像。这两天，武汉迎来了一个德国总理默克尔这位大人物，又刷了一把武汉长江大桥，今天就以武汉长江大桥为例，使用Python抓取该位置的街景影像。百度街景URL分析基于http抓包工具，可以很轻松的获取到浏览百度街景时的http请求数据。如下图所示，即是长江大桥某位置点街景...
python爬取百度的工具_Python爬虫之小试牛刀——使用Python抓取百度街景图像
weixin_39816027的博客
12-09 366
之前用.Net做过一些自动化爬虫程序，听大牛们说使用python来写爬虫更便捷，按捺不住抽空试了一把，使用Python抓取百度街景影像。这两天，武汉迎来了一个德国总理默克尔这位大人物，又刷了一把武汉长江大桥，今天就以武汉长江大桥为例，使用Python抓取该位置的街景影像。百度街景URL分析基于http抓包工具，可以很轻松的获取到浏览百度街景时的http请求数据。如下图所示，即是长江大桥某位置点街景...
Python爬虫进阶：BeautifulSoup4实战视频教程
在实际应用中，如描述中的"小试牛刀"部分，作者创建了一个简单的脚本来抓取百度贴吧的图片。首先，使用`urllib`库打开指定的网页，读取HTML内容并关闭连接。接着，通过Beautiful Soup解析这个HTML内容，找到所有的`...
爬虫小工具合集|不会编程也能爬数据
大数据
12-02 8746
当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢？答案是有的，DataCastle为你准备了如下小工具，对于每个小工具你只需要花十几分钟时间，跟着我的步骤走一遍就可以掌握它啦~ 一、Microsoft Excel    首先教大家一个用Excel爬取数据的方法，这里用的M
用requests库、bs4的BeautifulSoup库和pandas爬取房地产网页的房屋出售信息
whatthinking的博客
09-03 962
# -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import pandas as pd # 获取网页源码 def get_html(url): try: res=requests.get(url,timeout=30) # 发送url请求，并将请求到的结果赋值给res res.encoding='gb2312' # 同一改成 GB2312 编码 .
import requests和 from bs4 import BeautifulSoup报错
kuguhuan的博客
09-23 8821
终于解决了，我的妈啊！！ 网上很多答案说：用cmd安装，我也试了，显示也是安装的了，但是导入还是报错。查了两个小时，终于给我发现了！！ 每一个新建的项目都要settings---- 点击Project Interpreter 再点击右边的+号，手动添加。 问题解决！！ ...
android studio 运行项目gradle出错
热门推荐
LightLu
04-20 1万+
错误信息如下： Information:Gradle tasks [:app:clean, :app:generateDebugSources, :app:mockableAndroidJar, :app:prepa..此处省略 :slidingMenuLibrary:preDebugAndroidTestBuild UP-TO-DATE :slidingMenuLibrary:copy
Android查看方法耗时利器---TraceView
LightLu
08-18 6614
1.简介Traceview是android平台配备的一个很好的性能分析工具。它可以通过图形化的方式让我们了解我们要跟踪的程序的性能，并且能具体到method。android开发中可以用来：方法耗时，性能优化2.使用 生成.trace文件 在我们需要追踪的代码中，前后输入： Debug.startMethodTracing(“test”);//设置参数为生成的trace文件名 ####CODE
自定义CrashHandler轻轻松松让你查看程序崩溃
LightLu
01-16 5707
今天测试遇到崩溃，而我又没办法查看，于是老司机教了我一招。 下面是CrashHandler类： package com.bbk.bfcupload.bfcuploadtestdemo.util; import android.annotation.SuppressLint; import android.content.Context; import android.content.pm
利用meta-data的数据，动态更改contetnprovider的authorities
LightLu
12-15 5131
因为业务需要，做个库给应用使用，需要动态的给contentprovider配置uri,于是便用到了meta和${applicationId}，很方便的解决了问题，并且极大的方便了其他应用的使用。 1.在AndroidManifest里面配置meta meta-data android:name="BFC_UPLOAD_HOST_APP_ID" android:value=
android高级工程师应该会的知识
LightLu
06-30 4062
图片来自网上，侵删：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值