爬取百度贴吧的图片和文本_孙笑川吧图片_明星吧特性分析

置顶 已于 2023-12-29 21:47:17 修改
阅读量9.4k 收藏 5
点赞数 4
文章标签： 百度 python 爬虫 网络爬虫 正则表达式 excel 程序人生
于 2023-10-20 16:31:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HYSliuliuliu/article/details/133920065
版权
项目简介
运行结果
源码分享

前言：

百度贴吧相信大家都不陌生，尤其是里面的孙笑川吧，各个都是人才，说话又好听，我超喜欢这里的，加之里面的图片都是一些让人难绷的叼图，所以我就想把孙笑川吧的图片给爬取出来，非常有意思。

另外，各个明星都有各个明星的特点，他们的贴吧中粉丝都在讨论不同的东西，比如“周杰伦吧”里面就总有"jay""七里香"等字眼，”成龙吧“里面就经常出现"大哥""家具"这些词条，为了分析每个明星的粉丝们都在讨论什么，所以我把贴吧里的文字也爬取了出来。

需要注意的是，百度贴吧被爬取的次数有限制，代码大概运行十几次后就会被禁止访问，不过第二天就会恢复。这边建议封完自己的去拿别人的过来封，嘻嘻。

运行效果截图：

有些图片很色情就不放原图了。

代码运行结果：

取每位明星吧里分词后排名前五的词条，相信我不说每列是谁，大家也能猜的出来是谁。

源码分享：

爬取孙笑川吧图片：

import re
import requests
import time
import random
for i in range(1,20):
    url="https://tieba.baidu.com/p/8050287300?pn={}".format(i)
    headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.42X-Requested-With: XMLHttpRequest",
    "Cookie": "XFI=a5bbdd70-642a-11ed-a0a1-91d71200a2e8; XFCS=33EAF997561B674B61CFD3469FEA15054AB500CDFA4D32A88ADF55772AA63245; XFT=Mj3VnuLxUJJ/d0Me3UShbIVroqQzOuWrYIvrpa0nBMQ=; BIDUPSID=BA745359E82F5E0A1F2B091C736EE8CD; PSTM=1650023160; BAIDUID=B3720BA771F1EB781AC45E9BF578CE8E:FG=1; ZFY=o2CTysYrVqiUpL3Di4E8kPdXLULIBxTTVZn8xyENFt4:C; BAIDUID_BFESS=B3720BA771F1EB781AC45E9BF578CE8E:FG=1; BAIDU_WISE_UID=wapp_1660812573465_626; BDUSS=9MZ1ZLU0lEQ3FCZ1hjdTB3anJ2Ulh4SUFGU0J6THFJU0Q2RXcwenQzSUVpbGRqSVFBQUFBJCQAAAAAAAAAAAEAAABuK2~-us3O0tK7xvCwzsLc38IAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAT9L2ME~S9jWk; BDUSS_BFESS=9MZ1ZLU0lEQ3FCZ1hjdTB3anJ2Ulh4SUFGU0J6THFJU0Q2RXcwenQzSUVpbGRqSVFBQUFBJCQAAAAAAAAAAAEAAABuK2~-us3O0tK7xvCwzsLc38IAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAT9L2ME~S9jWk; __bid_n=1839cde069ef62a43f4207; FPTOKEN=30$lMnUx+NkhcziIqjKUNetIdfmhaukrzccGcAgYqG0eTOdAzr07UvVI2dDNNXciG+FqwkZfPNaWbv7v9Yp6TUN5tJVaqUA6iq4KtdupC6OaOVGf8puh4hnGIMohZDLIwZiKcWI/apqpWx2NjEFETAPDSTS3LVhlFDaHfkUiFe8ipXfZ0/lkjIyreNhG0g2uy2AaDNLRErA5LFma/yizGzDn3dZ8MdaI8YR2htj8AdV3yxLvJVF4DGBaq58mT/n728ZJ/ntysH5BaPtA+mg1lJImaYrzlP6yDgzx8z2ReV4r8r43oy5yvGT5GpyoblhiOz+ryDHTJ6wHj8OMyXj/tY7snNwEsBqblN2xqH9FYGPUbNAwHt1pV/uhROsy3ZzSYje|VYqO1EkQ8dy8eW62vQK/eYS5Q1BVpnLEZSrMkNu385U=|10|311a49937aca6ce15b55d87f381fefaa; STOKEN=939f0c0a936030bf02b66d4eb5aa20b366686231255cd17021b959957291cbd6; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1666344120,1667450846,1668434758; BAIDU_SSP_lcr=https://cn.bing.com/; st_key_id=17; wise_device=0; USER_JUMP=-1; XFI=7586dc90-642a-11ed-a0ce-0fec53f1f1b5; XFCS=2B041B127A582EA6FFF97095BEA9EC56068B0F57764DA3C17ACC53D8BC300454; XFT=yWG0OigEzQ5fh4ZHbB5W0rb8LeeN/8TuzIIUQXUmV6M=; ab_sr=1.0.1_ZWQwYjRiYWQxOGY0YzBjMjgzNTU1MzYyMjM5Y2NjMTc3ZmFhNTZlYTM5NGEzMzJmYWQxOTFlYWQzZTg1YTQ2N2VmMzM4M2E5NTU0OTEyMGI3MWRiZmQ4ZWM0YzNkZjY4MDk2YjhlZTlkYjZmZDk3MWIxYTNlMDQzNzkxOTJmNWU1NzNhZjAzNWUzOTJjOGM2MGI5MjI1MTRjYjJlNGQ5NTQwODk4Njg0MmYxODFhYjA1MDdmMjA2NjQyYjE4MjQz; st_data=d5b9f7b5af80ec681b49ceaa652fea7785f2ad5026a601d56116b65ce60b4dcc79af420023f54f4c0741aeb0dc8de114bdd3ceeb3290242f90d195a6c7fbb09c54bd3acef20260ba8bb8966a1b3672128e519e4042d68ad85b03770a58a2e4fe; st_sign=bfc22e6d; tb_as_data=7435724ab3f9915f4a3519e8f1d11ce614f0902ab47f57d9a2a0f307c51ebb081a7c618af0134fa660fe004cd9754b7ad77d18c9a044a197cd64a0e3356c9910ede7142ea8cb3eb8cd50f6ec20557c801060058915f304c11b1117c48dc0f1fcc5099a83a9dcf8039412371b42f1e81e; RT=\"z=1&dm=baidu.com&si=f09dd14d-413e-4059-a2ab-b14805f9503c&ss=laguz51o&sl=2y&tt=1zur&bcn=https%3A%2F%2Ffclog.baidu.com%2Flog%2Fweirwood%3Ftype%3Dperf&ld=1bwxq&ul=1bwt5&hd=1bxib\"; Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1668436993",
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"

    }
    response=requests.get(url,headers=headers)
    html_data=response.text
    img_urls=re.findall('<img class="BDE_Image" src="(.*?)" size=".*?" changedsize=".*?" width=".*?" height=".*?">',html_data)
    # 保持图片
    for x in img_urls:
        n=random.random()
        img_resp=requests.get(x)
        img_name="{}.jpg".format(n)
        with open("img_sun_xiao_chuan/"+img_name,mode="wb") as f:
            f.write(img_resp.content)
        print("over",img_name)
        time.sleep(1)
print("all_over!!!")

将明星贴吧的文本写入excel：

# -*- coding: utf-8 -*-
import xlwt
import requests
import re
import time
import random
from bs4 import BeautifulSoup
from urllib import parse

alist=[]
str=input("请输入你最喜欢的明星名字(李荣浩,周杰伦,陈奕迅等)：")
for i in range(1,10):
    url="https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}".format(parse.quote(str),i*50)

    headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.42X-Requested-With: XMLHttpRequest",
    "Cookie": "XFI=a5bbdd70-642a-11ed-a0a1-91d71200a2e8; XFCS=33EAF997561B674B61CFD3469FEA15054AB500CDFA4D32A88ADF55772AA63245; XFT=Mj3VnuLxUJJ/d0Me3UShbIVroqQzOuWrYIvrpa0nBMQ=; BIDUPSID=BA745359E82F5E0A1F2B091C736EE8CD; PSTM=1650023160; BAIDUID=B3720BA771F1EB781AC45E9BF578CE8E:FG=1; ZFY=o2CTysYrVqiUpL3Di4E8kPdXLULIBxTTVZn8xyENFt4:C; BAIDUID_BFESS=B3720BA771F1EB781AC45E9BF578CE8E:FG=1; BAIDU_WISE_UID=wapp_1660812573465_626; BDUSS=9MZ1ZLU0lEQ3FCZ1hjdTB3anJ2Ulh4SUFGU0J6THFJU0Q2RXcwenQzSUVpbGRqSVFBQUFBJCQAAAAAAAAAAAEAAABuK2~-us3O0tK7xvCwzsLc38IAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAT9L2ME~S9jWk; BDUSS_BFESS=9MZ1ZLU0lEQ3FCZ1hjdTB3anJ2Ulh4SUFGU0J6THFJU0Q2RXcwenQzSUVpbGRqSVFBQUFBJCQAAAAAAAAAAAEAAABuK2~-us3O0tK7xvCwzsLc38IAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAT9L2ME~S9jWk; __bid_n=1839cde069ef62a43f4207; FPTOKEN=30$lMnUx+NkhcziIqjKUNetIdfmhaukrzccGcAgYqG0eTOdAzr07UvVI2dDNNXciG+FqwkZfPNaWbv7v9Yp6TUN5tJVaqUA6iq4KtdupC6OaOVGf8puh4hnGIMohZDLIwZiKcWI/apqpWx2NjEFETAPDSTS3LVhlFDaHfkUiFe8ipXfZ0/lkjIyreNhG0g2uy2AaDNLRErA5LFma/yizGzDn3dZ8MdaI8YR2htj8AdV3yxLvJVF4DGBaq58mT/n728ZJ/ntysH5BaPtA+mg1lJImaYrzlP6yDgzx8z2ReV4r8r43oy5yvGT5GpyoblhiOz+ryDHTJ6wHj8OMyXj/tY7snNwEsBqblN2xqH9FYGPUbNAwHt1pV/uhROsy3ZzSYje|VYqO1EkQ8dy8eW62vQK/eYS5Q1BVpnLEZSrMkNu385U=|10|311a49937aca6ce15b55d87f381fefaa; STOKEN=939f0c0a936030bf02b66d4eb5aa20b366686231255cd17021b959957291cbd6; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1666344120,1667450846,1668434758; BAIDU_SSP_lcr=https://cn.bing.com/; st_key_id=17; wise_device=0; USER_JUMP=-1; XFI=7586dc90-642a-11ed-a0ce-0fec53f1f1b5; XFCS=2B041B127A582EA6FFF97095BEA9EC56068B0F57764DA3C17ACC53D8BC300454; XFT=yWG0OigEzQ5fh4ZHbB5W0rb8LeeN/8TuzIIUQXUmV6M=; ab_sr=1.0.1_ZWQwYjRiYWQxOGY0YzBjMjgzNTU1MzYyMjM5Y2NjMTc3ZmFhNTZlYTM5NGEzMzJmYWQxOTFlYWQzZTg1YTQ2N2VmMzM4M2E5NTU0OTEyMGI3MWRiZmQ4ZWM0YzNkZjY4MDk2YjhlZTlkYjZmZDk3MWIxYTNlMDQzNzkxOTJmNWU1NzNhZjAzNWUzOTJjOGM2MGI5MjI1MTRjYjJlNGQ5NTQwODk4Njg0MmYxODFhYjA1MDdmMjA2NjQyYjE4MjQz; st_data=d5b9f7b5af80ec681b49ceaa652fea7785f2ad5026a601d56116b65ce60b4dcc79af420023f54f4c0741aeb0dc8de114bdd3ceeb3290242f90d195a6c7fbb09c54bd3acef20260ba8bb8966a1b3672128e519e4042d68ad85b03770a58a2e4fe; st_sign=bfc22e6d; tb_as_data=7435724ab3f9915f4a3519e8f1d11ce614f0902ab47f57d9a2a0f307c51ebb081a7c618af0134fa660fe004cd9754b7ad77d18c9a044a197cd64a0e3356c9910ede7142ea8cb3eb8cd50f6ec20557c801060058915f304c11b1117c48dc0f1fcc5099a83a9dcf8039412371b42f1e81e; RT=\"z=1&dm=baidu.com&si=f09dd14d-413e-4059-a2ab-b14805f9503c&ss=laguz51o&sl=2y&tt=1zur&bcn=https%3A%2F%2Ffclog.baidu.com%2Flog%2Fweirwood%3Ftype%3Dperf&ld=1bwxq&ul=1bwt5&hd=1bxib\"; Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1668436993",
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"
    }
    response=requests.get(url,headers=headers)
    html_data=response.text
    txt_content=re.findall('<a rel=".*?" href=".*?" title=".*?" target="_blank" class="j_th_tit ">(.*?)</a>',html_data)
    alist.append(txt_content)
book = xlwt.Workbook(encoding='utf-8',style_compression=0)
sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)
sheet.write(0,0,"粉丝们的文章标题")
for i in range(len(alist)):
        data = alist[i]
        for j in range(len(alist[i])):
            sheet.write(i+1,j,data[j])
savepath = r'C:\Users\黄永生\Desktop\Excel\chenyixun.xls'
book.save(savepath)

 将明星吧里的文本进行分析，统计出词条前五名：

这里有个stopwords用来去除没用的标点符号，主页的另一个文章提供。

import csv
import requests
import re
import jieba
from lxml import etree
import time
import random
from bs4 import BeautifulSoup
from urllib import parse
f=open("data2.txt",'w',encoding='utf-8')
str=input("请输入你最喜欢的明星名字(李荣浩,周杰伦,陈奕迅等)：")
for i in range(1,10):
    url="https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}".format(parse.quote(str),i*50)

    headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.42X-Requested-With: XMLHttpRequest",
    "Cookie": "XFI=a5bbdd70-642a-11ed-a0a1-91d71200a2e8; XFCS=33EAF997561B674B61CFD3469FEA15054AB500CDFA4D32A88ADF55772AA63245; XFT=Mj3VnuLxUJJ/d0Me3UShbIVroqQzOuWrYIvrpa0nBMQ=; BIDUPSID=BA745359E82F5E0A1F2B091C736EE8CD; PSTM=1650023160; BAIDUID=B3720BA771F1EB781AC45E9BF578CE8E:FG=1; ZFY=o2CTysYrVqiUpL3Di4E8kPdXLULIBxTTVZn8xyENFt4:C; BAIDUID_BFESS=B3720BA771F1EB781AC45E9BF578CE8E:FG=1; BAIDU_WISE_UID=wapp_1660812573465_626; BDUSS=9MZ1ZLU0lEQ3FCZ1hjdTB3anJ2Ulh4SUFGU0J6THFJU0Q2RXcwenQzSUVpbGRqSVFBQUFBJCQAAAAAAAAAAAEAAABuK2~-us3O0tK7xvCwzsLc38IAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAT9L2ME~S9jWk; BDUSS_BFESS=9MZ1ZLU0lEQ3FCZ1hjdTB3anJ2Ulh4SUFGU0J6THFJU0Q2RXcwenQzSUVpbGRqSVFBQUFBJCQAAAAAAAAAAAEAAABuK2~-us3O0tK7xvCwzsLc38IAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAT9L2ME~S9jWk; __bid_n=1839cde069ef62a43f4207; FPTOKEN=30$lMnUx+NkhcziIqjKUNetIdfmhaukrzccGcAgYqG0eTOdAzr07UvVI2dDNNXciG+FqwkZfPNaWbv7v9Yp6TUN5tJVaqUA6iq4KtdupC6OaOVGf8puh4hnGIMohZDLIwZiKcWI/apqpWx2NjEFETAPDSTS3LVhlFDaHfkUiFe8ipXfZ0/lkjIyreNhG0g2uy2AaDNLRErA5LFma/yizGzDn3dZ8MdaI8YR2htj8AdV3yxLvJVF4DGBaq58mT/n728ZJ/ntysH5BaPtA+mg1lJImaYrzlP6yDgzx8z2ReV4r8r43oy5yvGT5GpyoblhiOz+ryDHTJ6wHj8OMyXj/tY7snNwEsBqblN2xqH9FYGPUbNAwHt1pV/uhROsy3ZzSYje|VYqO1EkQ8dy8eW62vQK/eYS5Q1BVpnLEZSrMkNu385U=|10|311a49937aca6ce15b55d87f381fefaa; STOKEN=939f0c0a936030bf02b66d4eb5aa20b366686231255cd17021b959957291cbd6; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1666344120,1667450846,1668434758; BAIDU_SSP_lcr=https://cn.bing.com/; st_key_id=17; wise_device=0; USER_JUMP=-1; XFI=7586dc90-642a-11ed-a0ce-0fec53f1f1b5; XFCS=2B041B127A582EA6FFF97095BEA9EC56068B0F57764DA3C17ACC53D8BC300454; XFT=yWG0OigEzQ5fh4ZHbB5W0rb8LeeN/8TuzIIUQXUmV6M=; ab_sr=1.0.1_ZWQwYjRiYWQxOGY0YzBjMjgzNTU1MzYyMjM5Y2NjMTc3ZmFhNTZlYTM5NGEzMzJmYWQxOTFlYWQzZTg1YTQ2N2VmMzM4M2E5NTU0OTEyMGI3MWRiZmQ4ZWM0YzNkZjY4MDk2YjhlZTlkYjZmZDk3MWIxYTNlMDQzNzkxOTJmNWU1NzNhZjAzNWUzOTJjOGM2MGI5MjI1MTRjYjJlNGQ5NTQwODk4Njg0MmYxODFhYjA1MDdmMjA2NjQyYjE4MjQz; st_data=d5b9f7b5af80ec681b49ceaa652fea7785f2ad5026a601d56116b65ce60b4dcc79af420023f54f4c0741aeb0dc8de114bdd3ceeb3290242f90d195a6c7fbb09c54bd3acef20260ba8bb8966a1b3672128e519e4042d68ad85b03770a58a2e4fe; st_sign=bfc22e6d; tb_as_data=7435724ab3f9915f4a3519e8f1d11ce614f0902ab47f57d9a2a0f307c51ebb081a7c618af0134fa660fe004cd9754b7ad77d18c9a044a197cd64a0e3356c9910ede7142ea8cb3eb8cd50f6ec20557c801060058915f304c11b1117c48dc0f1fcc5099a83a9dcf8039412371b42f1e81e; RT=\"z=1&dm=baidu.com&si=f09dd14d-413e-4059-a2ab-b14805f9503c&ss=laguz51o&sl=2y&tt=1zur&bcn=https%3A%2F%2Ffclog.baidu.com%2Flog%2Fweirwood%3Ftype%3Dperf&ld=1bwxq&ul=1bwt5&hd=1bxib\"; Hm_lpvt_98b9d8c2fd6608d564bf2ac2ae642948=1668436993",
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding":"gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"
    }
    response=requests.get(url,headers=headers)
    html_data=response.text
    txt_content=re.findall('<a rel=".*?" href=".*?" title=".*?" target="_blank" class="j_th_tit ">(.*?)</a>',html_data)
    for txt in txt_content:
        f.write(txt)
stopwords = [line.strip() for line in open('hit_stopwords.txt',encoding='utf-8').readlines()]
# print(stopwords)
f1=open('data2.txt','r',encoding='utf-8')
code=[]
for i in f1.read().split(' '):
    words = jieba.lcut(i)
    code+=words
d={}
for word in code:
    if word not in stopwords:
        d[word]=d.get(word,0)+1
ls=list(d.items())
ls.sort(key=lambda s:s[-1],reverse=True)
p=[]
for j in range(5):
    p.append(ls[j][0])
write=csv.writer(open("data1.csv",'w',encoding='utf-8'))
write.writerow(p)  #第一行

因为百度贴吧url链接的特殊性，直接输入明星名字，就能爬取相应贴吧的文本，就比如

直接键盘输入“周杰伦”

如果这篇文章能帮助到你，求点个赞赞。

Guff_hys_python数据结构,大数据开发学习,python实训项目-CSDN博客

氺字数：

百度贴吧是中国最大的中文社区之一，是由百度公司推出的一个以兴趣为基础的社区平台。在百度贴吧上，用户可以创建自己喜欢的话题吧，分享自己的兴趣爱好，与志同道合的朋友交流。百度贴吧涵盖了各种各样的话题，包括影视、音乐、游戏、动漫、美食、旅行等等，用户可以在这里找到和自己兴趣相关的内容，交流经验和见解。

百度贴吧提供了丰富的互动功能，用户可以在贴吧中发帖、回帖、点赞、收藏等，还可以关注自己感兴趣的话题和用户，及时获取最新的信息和动态。同时，百度贴吧也支持图片、视频、音频等多种形式的内容发布，让用户可以更加丰富地表达自己的想法和感受。

百度贴吧作为一个开放、自由的社区平台，秉承着“让每个人都能找到自己的兴趣”的理念，为用户提供了一个交流、分享的空间，让用户可以在这里找到志同道合的朋友，畅所欲言，尽情展示自己的个性和才华。无论是寻找兴趣爱好还是结交朋友，百度贴吧都能满足用户的需求，是一个让人流连忘返的社区平台。

Guff_hys
关注
Python爬虫__爬取贴吧图片和文本
琳小白的博客
09-21 1万+
1. 爬取图片1.1 前言这是一个李清照吧http://tieba.baidu.com/p/3825973883 里面有楼主上传的书法作品，每一楼的格式大致是这样，文本加上书法图片： 我当年年少，还不知道爬虫这个东西，又想把书法图片保存下来，于是一张张地把图片另存为，现在用爬虫来爬取每一楼的书法图片，解放一下人力：1.2 爬取图片的流程可以总结如下：1)爬取网页的html代码；
python爬虫（十一）爬取贴吧图片
hwwaizs的博客
08-27 2053
爬取贴吧图片 需求 打开百度贴吧，找到图片吧，找到每日一图，有577张图片。 在网页中图片是以二进制的形式存在的，我们要先拿到图片的url地址，去发起请求，以二进制保存到本地。 页面分析 光标在任意一张图片处，点右键，检查，光标会定位到图片所在的位置，复制里面的url，去浏览器中可以打开这张图片，但是图片的url值能并非在网页源码中，直接向这个url发起请求并不能得到想要的数据，这时候就需要分析数据接口，去查找数据 点击右键，检查，点击XHR，找到左侧 “list?kw=”的文件，依次点开preview -
【2023最新】Python 百度贴吧 爬取文本作者以及图片
m0_73689941的博客
10-28 3093
【2023最新】超详细!!!Python 百度贴吧 爬取文本作者以及图片 内涵源代码
python爬虫爬取百度图片总结_爬虫篇| 爬取百度图片（一）
weixin_34537864的博客
01-14 3015
什么是爬虫网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。(来源： 百度百科)爬虫协议Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告...
python 用BeautifulSoup爬取贴吧图片
lzh_86的博客
03-05 1855
# _*_ coding:utf-8 _*_ import urllib from bs4 import BeautifulSoup def get_content(url): """ doc.""" html = urllib.urlopen(url) content= html.read() html.close() return content def get_images(i...
requests-BeautifulSoup爬取美女贴吧图片
betonme的博客
10-30 2353
xx才是第一生产力 爬取页面http://tieba.baidu.com/p/2166231880 1.getHtml(url)根据页面链接获取页面内容，值得值得注意的是这里使用了see_lz=1的参数获得只看楼主的页面，防止其他图片的干扰 2.getImgUrl(ulist,html)使用了bs4库的find_all()方法得到所有图片的链接并存储到ulist中 3.downloadIm...
python爬虫之批量爬取百度贴吧评论
小小雨伞的博客
09-20 3251
import requests import re from bs4 import BeautifulSoup # 引入BS库 # 实现run方法 # 1.url列表 # 2.遍历,发送请求,获取响应 # 3.保存 class TiebaSpider: def __init__(self, tieba_name): self.tieba_name = tieba_name self.url_temp = "https://tieba.baidu.com/f?k
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
热门推荐
努力让自己发光，对的人才能迎着光而来
08-21 14万+
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
python怎么批量爬取图片_Python制作批量爬取网络图片的方法
weixin_36130963的博客
02-20 3217
Python制作批量爬取网络图片的方法发布时间：2020-11-17 11:14:24来源：亿速云阅读：86作者：小新这篇文章给大家分享的是有关Python制作批量爬取网络图片的方法的内容。小编觉得挺实用的，因此分享给大家做个参考。一起跟随小编过来看看吧。Python爬虫爬图片需要什么？下面用两种方法制作批量爬取网络图片的方法：第一种方法：基于urllib实现要点如下：1.url_request ...
Python实现的爬取百度贴吧图片功能完整示例
12-25
本文实例讲述了Python实现的爬取百度贴吧图片功能。分享给大家供大家参考，具体如下： #coding:utf-8 import requests import urllib2 import urllib ``` from lxml import etree class Tieba: def __init__(self)...
数据集图片爬取工具image_tool
08-26
用于爬取数据集，缩放图片尺寸。
从“可用”到“好用”，百度智能云如何做大模型的“超级工厂”？
科技云报道
09-25 1175
此外，好未来AI辅导工具xPad2 Pro系列还上线了自研的新功能“AI对话学”，该功能基于九章大模型的解题和讲题能力，通过与学生进行启发式的对话交流，打开题目的黑盒，快速分析出学生的薄弱点，从而使教育更具针对性。为了进一步降低行业大模型的开发门槛，百度智能云推出了千帆·行业增强版，将通用大模型的理解、生成、逻辑、记忆能力，与行业模型的专业能力相结合，搭配体系化的工具和组件，支持从资源管理、大模型服务到应用开发的全过程，把企业定制化的部分从“最后一公里”缩短至“最后一百米”，让行业的应用开发事半功倍。
简单题101. 对称二叉树 （python）20240922
Sep21m_wyy的博客
09-22 398
【代码】简单题101. 对称二叉树 （python）20240922。
第二百五十四节 JPA教程 - JPA 多对多映射示例
最新发布
2301_78772942的博客
09-27 515
第二百五十四节 JPA教程 - JPA 多对多映射示例
python 实现harmonic series调和级数算法
luthane的博客
09-24 939
Hn∑k1n1kHn​k1∑n​k1​其中，𝑛n 是正整数。这个级数是由调和数列（Harmonic sequence）的各元素相加所得的和。调和级数的名字源于泛音及泛音列，即一条振动的弦的泛音的波长依次是基本波长的12131421​31​41​等。调和级数的性质发散性：调和级数是一个发散的无穷级数，也就是说，它的部分和随着项数的增加而无限增长。
ubuntu安装libtorch
meng_152634的博客
09-25 699
nouveau是由第三方为NVIDIA显卡开发的一个开源3D驱动，ubuntu默认集成了nouveau驱动，安装NVIDIA驱动前必须禁用系统自带的显卡驱动nouveau，否则安装NVIDIA驱动时会报错。，一定要确定好安装的CUDA版本是否支持显卡的算力，否则安装成功也无法使用GPU加速。如果cmake版本低于3.18，会出现下面的报错，这是由于低于3.18的cmake不支持CUDA17的编译，需要更新cmake版本。因为安装的CUDA版本为12.1，这里选择最新版的CUDNN 9.4.0进行安装。
Python 类class的用法详解
十七次方
09-22 813
在 Python 中，使用 class 关键字来定义一个类。类定义通常包括类变量、实例变量和方法。
Python 高阶内容：套娃式装饰器巧妙为函数增加功能
敲代码别忘了喝上一杯凉白开。
09-23 565
装饰器是 Python 中一种非常强大且灵活的工具，能够在不修改函数本身的情况下，为函数增加额外的功能。本文介绍了装饰器的基本概念及应用，通过实例演示如何在函数执行前后添加额外操作，如鉴权、数据验证等，类似“套娃”般层层嵌套。文章还通过代码示例展示了如何定义和使用装饰器，以及如何将装饰器与实际业务逻辑结合，实现灵活的功能扩展。这种设计模式不仅可以提升代码的可读性和可维护性，还可以有效减少代码的冗余。掌握装饰器的用法，将为你的 Python 编程技巧增添更多亮点。
python爬取百度云资源分享吧_python爬取百度云盘资源
05-22
在Python中爬取百度云资源需要使用到第三方库requests和BeautifulSoup。下面是一个简单的示例： ```python import requests from bs4 import BeautifulSoup # 构造请求头 headers = { 'User-Agent': 'Mozilla/5.0...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Guff_hys

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值