Python学习从0开始——项目一day01爬虫

最新推荐文章于 2024-07-07 16:15:09 发布
最新推荐文章于 2024-07-07 16:15:09 发布
阅读量1.2k 收藏 13
点赞数 23
分类专栏： Python 文章标签： python 学习 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qy8189/article/details/137491112
版权

Python学习从0开始——项目一day01爬虫

一、导入代码

在Inscode新建一个python类型的项目，然后打开终端，粘贴以下代码，回车clone项目。

git clone https://gitee.com/52itstyle/Python.git

这个是gitee上找的一个python项目，项目源地址。

二、使用的核心库

requests库是第三方库，使用其提供的API比使用python自带的urllib更为简洁，且能够处理多种HTTP请求，功能也很强大。

#导入requests库
import requests
#导入文件操作库
import os
#bs4全名BeautifulSoup，是编写python爬虫常用库之一，主要用来解析html标签。
import bs4
from bs4 import BeautifulSoup
#基础类库
import sys
#Python 3.x 解决中文编码问题
import importlib
importlib.reload(sys)

三、功能测试

3.1初始代码

初始代码位置：Python/Day01/脚本，打开终端运行命令：

#切换目录
cd Python/Day01/脚本
#输出
/root/Python_02/Python/Day01/脚本
#运行脚本
python3 mzitu_linux.py
#输出报错
File "/root/Python_02/Python/Day01/脚本/mzitu_linux.py", line 21
    save_path = ​'/mnt/data/mzitu'
                ^
SyntaxError: invalid non-printable character U+200B


#打开mzitu_linux.py文件，定位原代码21行，修改save_path
save_path ='./picture'
#打开56、68、72行的注释

#重新运行
python3 mzitu_linux.py
#很慢，把网址复制到浏览器直接拒绝访问
键盘Ctrl+C组合停止运行

3.2新建文件

在脚本的同级目录下新进learn文件夹，新建spider.py文件，将mzitu_linux.py里的内容复制过来
在这里插入图片描述

3.3代码调试

#问题一：网站不可访问。解决：修改爬图地址
#定位代码18行
mziTu = 'https://image.baidu.com/'

#终端执行
cd ../
cd learn/
python3 spider.py
#输出报错
Traceback (most recent call last):
  File "/root/Python_02/Python/Day01/learn/spider.py", line 106, in <module>
    main()
  File "/root/Python_02/Python/Day01/learn/spider.py", line 90, in main
    img_max = soup.find('div', class_='nav-links').find_all('a')[3].text
AttributeError: 'NoneType' object has no attribute 'find_all'

以上报错是正常的，切换爬取网站后，页面元素的解析肯定会发生改变，接下来一步步修改解析。

四、页面元素解析

4.1网页

#进入百度图片的网址
https://image.baidu.com/

键盘F12调出控制台，切换到Element标签页，组合键Ctrl+Shift+C选中合辑的图片，然后审查元素。
在这里插入图片描述
选中’<a>'标签，右键copy>copy emelemt审查元素，关注target和href

<a class="bd-home-content-album-item             
" target="_blank" href="https://image.baidu.com/search/albumsdetail?tn=albumsdetail&amp;word=%E5%9F%8E%E5%B8%82%E5%BB%BA%E7%AD%91%E6%91%84%E5%BD%B1%E4%B8%93%E9%A2%98&amp;fr=searchindex_album%20&amp;album_tab=%E5%BB%BA%E7%AD%91&amp;album_id=7&amp;rn=30" data-type="0"> 
	<div class="bd-home-content-album-item-pic" style="background-image: url(https://t7.baidu.com/it/u=1595072465,3644073269&amp;fm=193&amp;f=GIF); background-color: #EACFC5"> 
	</div> 
	<div class="bd-home-content-album-item-inner-border"></div> 
	<div class="bd-home-content-album-item-title"> 城市建筑摄影专题  </div> 
</a>

选中’<a>'标签，右键copy>copy selector复制选择器

#bd-home-content-album > a:nth-child(1)

由以上可推：根据元素的唯一id：‘bd-home-content-album’可以找到’<div>‘标签内的所有’<a>‘标签，当前复制的’<a>‘标签是其父元素的第一个子’<a>'元素。

4.2修改代码

#修改39行
# 获取页面的栏目地址
    all_a = soup_sub.find('div',id='bd-home-content-album').find_all('a',target='_blank')
# 修改主方法，此页面无分页
def main():
    res = requests.get(mziTu, headers=headers)
    # 使用自带的html.parser解析
    soup = BeautifulSoup(res.text, 'html.parser')
    # 创建文件夹
    createFile(save_path)
    file = save_path
    createFile(file)
    print("开始执行")
    download(mziTu, file)

切换到终端，运行脚本：

python3 spider.py 
#输出报错
开始执行
内页第几页：2
套图地址：https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E6%B8%90%E5%8F%98%E9%A3%8E%E6%A0%BC%E6%8F%92%E7%94%BB&fr=albumslist&album_tab=%E8%AE%BE%E8%AE%A1%E7%B4%A0%E6%9D%90&album_id=409&rn=30
'NoneType' object has no attribute 'find_all'
内页第几页：4
套图地址：https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E5%AE%A0%E7%89%A9%E5%9B%BE%E7%89%87&fr=albumslist&album_tab=%E5%8A%A8%E7%89%A9&album_id=688&rn=30
'NoneType' object has no attribute 'find_all'
内页第几页：6
套图地址：https://image.baidu.com/search/albumslist?tn=albumslist&word=%E4%BA%BA%E7%89%A9&album_tab=%E4%BA%BA%E7%89%A9&rn=15&fr=searchindex_album
'NoneType' object has no attribute 'find_all'

父页面解析的元素和初始代码不同，子页面也不同，继续修改。

4.3子页面

复制打印的套图地址进入子页面，同样的操作，定位子页面图片：

<a class="albumsdetail-item" href="/search/detail?tn=baiduimagedetail&amp;word=%E5%9F%8E%E5%B8%82%E5%BB%BA%E7%AD%91%E6%91%84%E5%BD%B1%E4%B8%93%E9%A2%98&amp;album_tab=%E5%BB%BA%E7%AD%91&amp;album_id=7&amp;ie=utf-8&amp;fr=albumsdetail&amp;cs=1595072465,3644073269&amp;pi=3977&amp;pn=0&amp;ic=0&amp;objurl=https%3A%2F%2Ft7.baidu.com%2Fit%2Fu%3D1595072465%2C3644073269%26fm%3D193%26f%3DGIF" target="_blank" data-index="0" width="310.4" style="width: 310.4px; height: 310px;">
	<img class="albumsdetail-item-img" src="https://t7.baidu.com/it/u=1595072465,3644073269&amp;fm=193&amp;f=GIF" style="width: 310.4px; height: 310px; background-color: rgb(234, 207, 197);">
	<div class="albumsdetail-item-inner-border"></div>
</a>

元素选择器：

#imgList > div:nth-child(1) > a:nth-child(1)

数量元素选择器：

#bd-albumsdetail-content > div.albumsdetail-cover.clearfix > div.albumsdetail-info > div.albumsdetail-info-text > p.albumsdetail-info-num > span

4.4修改代码

#修改53行，也可以根据元素去获取这个数值，在这不是重点，直接赋值了
# 获取套图的最大数量
                pic_max = "791"
#修改62行
                    img = soup_sub_2.find('div',id='imgList').find('img')

#切换终端执行代码
python3 spider.py 
#输出报错
开始执行
内页第几页：2
套图地址：https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E6%B8%90%E5%8F%98%E9%A3%8E%E6%A0%BC%E6%8F%92%E7%94%BB&fr=albumslist&album_tab=%E8%AE%BE%E8%AE%A1%E7%B4%A0%E6%9D%90&album_id=409&rn=30
套图数量：791
子内页第几页：1
https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E6%B8%90%E5%8F%98%E9%A3%8E%E6%A0%BC%E6%8F%92%E7%94%BB&fr=albumslist&album_tab=%E8%AE%BE%E8%AE%A1%E7%B4%A0%E6%9D%90&album_id=409&rn=30/1
'NoneType' object has no attribute 'find'
内页第几页：4
套图地址：https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E5%AE%A0%E7%89%A9%E5%9B%BE%E7%89%87&fr=albumslist&album_tab=%E5%8A%A8%E7%89%A9&album_id=688&rn=30
套图数量：791
子内页第几页：1
https://image.baidu.com/search/albumsdetail?tn=albumsdetail&word=%E5%AE%A0%E7%89%A9%E5%9B%BE%E7%89%87&fr=albumslist&album_tab=%E5%8A%A8%E7%89%A9&album_id=688&rn=30/1
'NoneType' object has no attribute 'find'
内页第几页：6
套图地址：https://image.baidu.com/search/albumslist?tn=albumslist&word=%E4%BA%BA%E7%89%A9&album_tab=%E4%BA%BA%E7%89%A9&rn=15&fr=searchindex_album
套图数量：791
子内页第几页：1
https://image.baidu.com/search/albumslist?tn=albumslist&word=%E4%BA%BA%E7%89%A9&album_tab=%E4%BA%BA%E7%89%A9&rn=15&fr=searchindex_album/1
'NoneType' object has no attribute 'find'

明明已经根据元素选择器来查找了，为什么没有找到元素呢？打印父元素看看：

#63行插入打印父元素
                    print(soup_sub_2.find('div',id='bd-albumsdetail-content'))

#终端执行
python3 spider.py 
#输出
<div id="bd-albumsdetail-content">
</div>

问题找到了，根本原因是该div内的元素是在运行时动态渲染和加载的，造成我们通过浏览器访问是能看到该元素的，但是爬虫爬不到。这就需要我们另想办法解决。
是否是动态渲染，我们可以更早的发现：

打开控制台，切换到network，可以看到多次发送的请求，这些请求网址实际上来自
在这里插入图片描述
查看第一条请求的返回值，随便选择一条发送图片的请求复制参数，在response页Ctrl+F调出搜索框，定位返回值所在位置。
在这里插入图片描述

详细数据如下，稍微调整了一下格式：

linkData: '[{\x22pid\x22:3977,\x22width\x22:1100,\x22height\x22:1100,\x22oriwidth\x22:1200,\x22oriheight\x22:1200,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=1595072465,3644073269&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811557570\x22,\x22contSign\x22:\x221595072465,3644073269\x22},
{\x22pid\x22:3978,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=4198287529,2774471735&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.veer.com\\\/photo\\\/147317368?utm_source=baidu&utm_medium=imagesearch&chid=902\x22,\x22contSign\x22:\x224198287529,2774471735\x22},
{\x22pid\x22:3979,\x22width\x22:1200,\x22height\x22:813,\x22oriwidth\x22:1200,\x22oriheight\x22:813,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=1956604245,3662848045&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809773493\x22,\x22contSign\x22:\x221956604245,3662848045\x22},
{\x22pid\x22:3980,\x22width\x22:1200,\x22height\x22:760,\x22oriwidth\x22:1200,\x22oriheight\x22:760,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2529476510,3041785782&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/805192561\x22,\x22contSign\x22:\x222529476510,3041785782\x22},
{\x22pid\x22:3981,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=727460147,2222092211&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811065917\x22,\x22contSign\x22:\x22727460147,2222092211\x22},
{\x22pid\x22:3982,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2511982910,2454873241&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810968731\x22,\x22contSign\x22:\x222511982910,2454873241\x22},
{\x22pid\x22:3983,\x22width\x22:1200,\x22height\x22:686,\x22oriwidth\x22:1200,\x22oriheight\x22:686,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=825057118,3516313570&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810073156\x22,\x22contSign\x22:\x22825057118,3516313570\x22},
{\x22pid\x22:3984,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3435942975,1552946865&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811932564\x22,\x22contSign\x22:\x223435942975,1552946865\x22},
{\x22pid\x22:3985,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3569419905,626536365&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809770618\x22,\x22contSign\x22:\x223569419905,626536365\x22},
{\x22pid\x22:3986,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3779234486,1094031034&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810970358\x22,\x22contSign\x22:\x223779234486,1094031034\x22},
{\x22pid\x22:3987,\x22width\x22:1200,\x22height\x22:482,\x22oriwidth\x22:1200,\x22oriheight\x22:482,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2397542458,3133539061&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811063723\x22,\x22contSign\x22:\x222397542458,3133539061\x22},
{\x22pid\x22:3988,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2763645735,2016465681&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809771013\x22,\x22contSign\x22:\x222763645735,2016465681\x22},
{\x22pid\x22:3989,\x22width\x22:1149,\x22height\x22:1100,\x22oriwidth\x22:1200,\x22oriheight\x22:1149,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3911840071,2534614245&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810877786\x22,\x22contSign\x22:\x223911840071,2534614245\x22},
{\x22pid\x22:3990,\x22width\x22:1200,\x22height\x22:687,\x22oriwidth\x22:1200,\x22oriheight\x22:687,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3908717,2002330211&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810968672\x22,\x22contSign\x22:\x223908717,2002330211\x22},
{\x22pid\x22:3991,\x22width\x22:1200,\x22height\x22:799,\x22oriwidth\x22:1200,\x22oriheight\x22:799,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=318887420,2894941323&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810056726\x22,\x22contSign\x22:\x22318887420,2894941323\x22},
{\x22pid\x22:3992,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=1063451194,1129125124&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.veer.com\\\/photo\\\/146287060?utm_source=baidu&utm_medium=imagesearch&chid=902\x22,\x22contSign\x22:\x221063451194,1129125124\x22},
{\x22pid\x22:3993,\x22width\x22:800,\x22height\x22:1200,\x22oriwidth\x22:800,\x22oriheight\x22:1200,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3785402047,1898752523&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810970018\x22,\x22contSign\x22:\x223785402047,1898752523\x22},
{\x22pid\x22:3994,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3691080281,11347921&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809782140\x22,\x22contSign\x22:\x223691080281,11347921\x22},
{\x22pid\x22:3995,\x22width\x22:1200,\x22height\x22:799,\x22oriwidth\x22:1200,\x22oriheight\x22:799,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2374506090,1216769752&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.veer.com\\\/photo\\\/146290795?utm_source=baidu&utm_medium=imagesearch&chid=902\x22,\x22contSign\x22:\x222374506090,1216769752\x22},
{\x22pid\x22:3996,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=1285847167,3193778276&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809771315\x22,\x22contSign\x22:\x221285847167,3193778276\x22},
{\x22pid\x22:3997,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3251197759,2520670799&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/814059806\x22,\x22contSign\x22:\x223251197759,2520670799\x22},
{\x22pid\x22:3998,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=602106375,407124525&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/813923414\x22,\x22contSign\x22:\x22602106375,407124525\x22},
{\x22pid\x22:3999,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2906406936,2666005453&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811706433\x22,\x22contSign\x22:\x222906406936,2666005453\x22},
{\x22pid\x22:4000,\x22width\x22:1200,\x22height\x22:798,\x22oriwidth\x22:1200,\x22oriheight\x22:798,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3124693600,356058981&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/805197127\x22,\x22contSign\x22:\x223124693600,356058981\x22},
{\x22pid\x22:4001,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=3646282624,1156077026&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810999167\x22,\x22contSign\x22:\x223646282624,1156077026\x22},
{\x22pid\x22:4002,\x22width\x22:1200,\x22height\x22:797,\x22oriwidth\x22:1200,\x22oriheight\x22:797,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=4158958181,280757487&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810880655\x22,\x22contSign\x22:\x224158958181,280757487\x22},
{\x22pid\x22:4003,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=2371362259,3988640650&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809782065\x22,\x22contSign\x22:\x222371362259,3988640650\x22},
{\x22pid\x22:4004,\x22width\x22:800,\x22height\x22:1200,\x22oriwidth\x22:800,\x22oriheight\x22:1200,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=355704943,1318565630&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/810998065\x22,\x22contSign\x22:\x22355704943,1318565630\x22},
{\x22pid\x22:4005,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=655876807,3707807800&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/809770741\x22,\x22contSign\x22:\x22655876807,3707807800\x22},
{\x22pid\x22:4006,\x22width\x22:1200,\x22height\x22:800,\x22oriwidth\x22:1200,\x22oriheight\x22:800,\x22thumbnailUrl\x22:\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=1423490396,3473826719&fm=193&f=GIF\x22,\x22fromUrl\x22:\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811796379\x22,\x22contSign\x22:\x221423490396,3473826719\x22}]',

拿出一条数据来看：

{\x22pid\x22:4006,
\x22width\x22:1200,
\x22height\x22:800,
\x22oriwidth\x22:1200,
\x22oriheight\x22:800,
\x22thumbnailUrl\x22:
\x22https:\\\/\\\/t7.baidu.com\\\/it\\\/u=1423490396,3473826719&fm=193&f=GIF\x22,
\x22fromUrl\x22:
\x22https:\\\/\\\/www.vcg.com\\\/creative\\\/811796379\x22,\x22contSign\x22:\x221423490396,3473826719\x22}]',

下一篇继续。

岁月无声-往事随风
关注
专栏目录
100天精通Python丨基础知识篇 —— 01、C站最全Python标准库总结
独木不成林，单弦不成音。
06-29 51万+
❤粉丝福利：免费下载海量【PPT模板、简历模板、学习资料】https://app.yinxiang.com/fx/13ce6bbd-f36f-4e92-be53-92dd381ed729
Python爬虫学习日志——day2（requests）
Kyrieki11的博客
05-30 729
requests python 爬虫 网络爬虫
Python如何导入自己编写的py文件
徐大康的博客
11-20 4万+
一. 想要实现的效果 新建文件夹将自编模块集中管理 可在其它py文件内import 自编模块，像import第三方库一样 二. 实现的方法 步骤1：将编号的模块 *.py放入文件夹，在我计算机中是：F:\OneDrive\PythonPrj\_myFunction 步骤2：新建用户/系统环境变量。 变量名：PYTHONPATH 变量值：文件夹路径 然后就可以实现想要的效果了，以下三种import方式均可。 这样做的原理是，Python解释器会去以下三个位置找import的模块： 当前文.
python导入代码步骤_Python中的导入
weixin_39708737的博客
11-30 1803
转自：http://bingotree.cn/?p=569参考《Python学习手册》，强烈建议看下这本书的相关章节。在一些规模较大的项目中，经常可以看到通过imp、__import__导入module的例子。通过这些方法，代码可以灵活的根据需要（如配置文件）导入具体的模块。这篇文章小秦会总结一下python导入的基本知识和几种用法。1.import的过程比如下面这个例子：1import abc这...
python中的导入方式详解
最新发布
Oona_01的博客
07-07 139
在Python中,import 语句的本质是加载并初始化一个模块,使得模块中定义的函数、类、变量等可以在另一个脚本中被访问和使用,下面给大家分享python中的导入方式,感兴趣的朋友一起看看吧。导入的模块会有自己的命名空间，在这个命名空间内定义的所有名称不会与其他模块的名称冲突。在Python中，import 语句的本质是加载并初始化一个模块，使得模块中定义的函数、类、变量等可以在另一个脚本中被访问和使用。对于包含多层级目录结构的模块（即包含子模块或子包的模块），可以直接导入具体层级的模块或对象。
Python八种数据导入方法，你掌握了吗？赶紧收藏!
python_One1的博客
05-05 2641
数据分析过程中，需要对获取到的数据进行分析，往往第一步就是导入数据。导入数据有很多方式，不同的数据文件需要用到不同的导入方式，相同的文件也会有几种不同的导入方式。
Python八种数据导入方法，你掌握了吗？赶紧收藏
程序猿赵高的博客
11-07 5453
大多数情况下，会使用NumPy或Pandas坚持到了这儿，恭喜你，表示你有做开发的潜力，其实我想说的上面的内容还是刚刚开始，刚开始大家不需要多么精通了解这些内容，除了Python方面的知识，每个部分掌握一点儿能进行基本开发就好，主要是不断练习，让自己跳出「舒适区」，进入「学习区」，但是又不进入「恐慌区」，不断给自己「喂招」。
day4 学习python爬虫——接口与常见反爬
weixin_50758400的博客
10-21 1080
day4 学习python爬虫——接口与常见反爬，requests（获取数据接口、获取cookie和使用cookie自动登录使用代理IP获取网页数据）、selenium（获取数据接口、获取cookie和使用cookie自动登录使用代理IP获取网页数据）
Python爬虫学习日志——day1（urllib）
Kyrieki11的博客
05-29 1041
网络爬虫 爬虫 python urllib is not a package
每天30分钟 一起来学习爬虫——day10（解析数据 之 xpath，实例：好段子爬取）
12-21
2. `./`：从当前节点开始往下查找，选择当前节点的直接子节点。 3. `. .`：从当前节点的父节点开始往下查找。 此外，XPath还支持选取属性和使用逻辑运算符： 1. `@`：选取属性，例如`//title/@lang`选取所有lang...
【Python学习 】Python的模块或py文件导入
qq_40903527的博客
11-05 1万+
一、前言 二、python项目中导入模块（py文件）的几种方式 1、直接将py文件放到默认的库位置（特点：高效） 2、将文件放到创建的库位置（特点：方便管理） 3、将模块（模块包含很多py文件）使用pip安装到python库中（特点：安装麻烦，使用时方便） 三、项目中的python文件导入 1、同级文件导入 2、导入文件夹中py文件
python如何导入代码_如何从文件导入python代码？
weixin_35784728的博客
02-03 2106
在其他文件中使用python代码的最简单方法是使用import语句。在你说什么就说什么import xyzPython将尝试查找该文件xyz.py. 它调查sitepackages文件夹(这是python安装目录中的文件夹，其中包含预安装的模块，比如django等)PYTHONPATH环境变量(或系统路径在python中)您当前的目录在您的例子中，您的程序应该有以下行^{pr2}$你的第一行在哪里...
Python中如何导入自己编写的库
Python之家
07-31 2万+
有时候需要自己写一些函数，然后便于自己经常引用，那么如何操作呢：   1:找到标准库和第三方库的位置   首先使用 sys 下的 path 变量查看所有的 python 路径： import sys sys.path 标准库 lib 目录下（home 目录/pythonXX.XX/lib） 第三方库 在 lib 下的 site-packages 目录下  home 目录/pyt...
Python 3.x | 史上最详解的 导入（import）
热门推荐
神是念着倒
07-27 25万+
win10+Python 3.6.3 一、理解一些基本概念 1、包、模块 模块 module：一般情况下，是一个以.py为后缀的文件。其他可作为module的文件类型还有”.pyo”、”.pyc”、”.pyd”、”.so”、”.dll”，但Python初学者几乎用不到。 module 可看作一个工具类，可共用或者隐藏代码细节，将相关代码放置在一个module以便让代码更好用、易懂，让cod...
python导入代码步骤_Python模块详解以及import本质，获得文件当前路径os.path.abspath，获得文件的父目录os.path.dirname，放到系统变量的第一位sys.path...
weixin_29374899的博客
02-03 287
模块介绍1、定义：模块：用来从逻辑上组织python代码(变量，函数，类，逻辑：实现一个功能)，本质就是.py结尾的python文件(文件名:test.py，对应的模块名：test)包：用来从逻辑上组织模块的，本质就是一个目录(必须带有一个__init__.py文件)2、导入方法：import module_name引用脚本里的函数用方法module_name.logger()import mod...
python内建函数是什么_python内建函数是什么意思
weixin_39851261的博客
11-21 161
python的内建函数即是python自带的函数，这种函数不需要定义，并且不同的内建函数具有不同的功能，可以直接使用。以下是部分内建函数用法及说明1、abs()，返回数字的绝对值。2、all()，如果集合中所有元素是true或集合为空集合，返回True。3、any()，如果集合中有一项元素是true，返回True；空集合为False4、ascii()， 返回一个表示对象的字符串。5、bin()，将...
Python中常见的导入方式
南航小菜鸡
04-29 3427
1. 直接导入模块 import 模块名 优点：干净直接 import sys print(sys.path) import os # os是一个模块 import os.path # 注意这里的os.path是一个模块 2.导入包中的一个模块 import 包名.函数名 包使用的注意事项 需要先将包（文件夹）写在sys.path列表中的一个目录下，如果没有需要使用列表的append方法追加进去。 在包中需要再写一个__init__.py文件表示这是一个包，文件可以为空。 import sys sys
python基础一 day20 模块的导入
weixin_30548917的博客
08-20 90
# 内置模块# 扩展的 django# 自定义的 # 文件# import demo# def read():# print('my read func')# demo.read()# print(demo.money)# 先从sys.modules里查看是否已经被导入# 如果没有被导入，就依据sys.path路径取寻找模块# 找到了就导入# 创建这个模块...
pycharm导入python_pycharm导入源码的具体步骤
weixin_39995297的博客
11-24 493
1、打开pycharm，依次点击File、Settings选项；2、点击打开Project Structure选项；3、点击Add Content Root选项，根据需要添加源码文件路径即可。具体方法：首先选中File选项卡，点击Settings选项；然后点击Project Structure选项；最后添加想要导入的文件路径即可。内容扩展：Pycharm 导入其他文件夹源码的2种方法在pychar...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值