Pyquery学习笔记

已于 2023-05-09 20:43:41 修改
阅读量827 收藏
点赞数
分类专栏： 爬虫 文章标签： 学习 笔记 爬虫
于 2023-05-02 10:46:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Python_Ghost/article/details/130461943
版权

pyquery

pyqyery允许你对xml文档进行jquery查询，API尽可能类似jquery，pyquery使用lxml进行快速xml和html操作

pyquery是python中强大而又灵活的网页解析库，如果你觉得正则写起来太麻烦，有觉得beautifulsoup语法太难记，如果你熟悉jquery的语法那么，pyquery就是你的绝佳的选择

初始化

基于标签选择器

html = '''
<div>
    <ul>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">同城互助</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
print(doc('li'))

<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">同城互助</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>

URL初始化

from pyquery import PyQuery as pq

doc = pq(url='http://www.baidu.com')
print(doc('head'))

<head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css"/><title>百度一下，你就知道</title></head>

filename文件初始化

from pyquery import PyQuery as pq
doc = pq(filename='hello.html')

print(doc)
print('---' * 10)
print(doc('li'))

<div>
    <ul>
        <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">dfgdd</a></li>
        <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">gdsfeew</a></li>
        <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">kuikuik</a></li>
        <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">qe23rw</a></li>
        <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">fgdfggb</a></li>
    </ul>
</div>
------------------------------
<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">dfgdd</a></li>
        <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">gdsfeew</a></li>
        <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">kuikuik</a></li>
        <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">qe23rw</a></li>
        <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">fgdfggb</a></li>

pyquery找都是找所有 这是跟bs4不同的地方

基本css选择器

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">同城互助</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

print(doc('li'))
print(doc('#container .list li'))
print(doc('#container'))

<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">同城互助</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                
<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">同城互助</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                
<div id="container">
    <ul class="list">
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004">同城互助</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>

查找元素

子元素

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)

items = doc('.list li')
# print(items)

lis = doc.find('li')
# print(lis)

dfg = lis('span')
print(dfg)

<span class="bold">同城互助</span>

items = doc('.list')
print(items)
lis = items.children()
print(lis)

<ul class="list">
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>

<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>

lis = items.children('.active')

print(lis)

<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>

父元素

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)

items = doc('.list')
print(items)
container = items.parent()
print(container)

<ul class="list">
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>

<div id="container">
    <ul class="list">
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>

兄弟元素

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)

li = doc('.list .Sq_leftNav_forum1.active')
print(li)
print(li.siblings())  # 获取兄弟元素

<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    
<li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>

遍历

单个元素

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)

li = doc('.Sq_leftNav_forum1.active')  # 用Sq_leftNav_forum1 active会错
print(li)

<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)

lis = doc('li')
# print(lis)
# for li in lis:
#     print(li)


# 遍历需要添加items,返回一个迭代器，否则只返回内存地址
lis = doc('li').items()
# print(lis)
for li in lis:
    print(li)

<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    
<li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    
<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    
<li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    
<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>

获取信息

attr – 获取属性

很重要，拿图片链接才能保存二进制数据

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)
a = doc('.Sq_leftNav_forum1.active a')
# print(a)
print(a.attr('href'))

/shuo/forum/001004

# 第二种写法
print(a.attr.href)

/shuo/forum/001004

text() --获取文本

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)
a = doc('.Sq_leftNav_forum1.active a')
print(a)

<a href="/shuo/forum/001004"><span class="bold">同城互助</span></a>

print(a.text())

同城互助

DOM操作

addClass,removeClass

能帮我们快速查找或筛选数据

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)
li = doc('.Sq_leftNav_forum1.active')
print(li)

<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>

li.removeClass('active')
print(li)

<li class="Sq_leftNav_forum1"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>

li.addClass('active')
print(li)

<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>

attr,css

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)
li = doc('.Sq_leftNav_forum1.active')

li.attr('name', 'link')
print(li)

li.css('font-size', '14px')
print(li)

<li class="Sq_leftNav_forum1 active" name="link"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    
<li class="Sq_leftNav_forum1 active" name="link" style="font-size: 14px"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>

remove

移除标签以及内容

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)

wrap = doc('.list')
# print(wrap)
# print(wrap.text())
wrap.find('a').remove()
print(wrap)

<ul class="list">
                    <li class="Sq_leftNav_forum1"/>
                    <li class="Sq_leftNav_forum2"/>
                    <li class="Sq_leftNav_forum1 active"/>
                    <li class="Sq_leftNav_forum2"/>
                    <li class="Sq_leftNav_forum1"/>
                </ul>

其他DOM方法

http://pyquery.readthedocs.io/en/latest/api.html

伪类选择器

jQuery所有选择器都适用

html = '''
<div id='container'>
    <ul class='list'>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00B002">找对象</a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/001002">新鲜事</a></li>
                    <li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    <li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                </ul>
</div>
'''
from pyquery import PyQuery
doc = PyQuery(html)

li = doc('li:last')  # li标签最后一个
print(li)

li = doc('li:last-child')  # li标签最后一个孩子
print(li)

li = doc('li:nth-child(3)')  # 从1开始，拿第三个孩子
print(li)

li = doc('li:gt(2)')  # 根据索引值判断，索引从0开始 gt表示大于 lt表示小于
print(li)

li = doc('li:eq(4)')  #eg表等于
print(li)

li = doc('li:contains(虞城)')  # contains包含某内容  主要做内容的筛选
print(li)

<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                
<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                
<li class="Sq_leftNav_forum1 active"><a href="/shuo/forum/001004"><span class="bold">同城互助</span></a></li>
                    
<li class="Sq_leftNav_forum2"><a href="/shuo/forum/007005">同城活动</a></li>
                    <li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                
<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
                
<li class="Sq_leftNav_forum1"><a href="/shuo/forum/00D001">虞城有爱</a></li>
小刘私坊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫学习笔记之pyquery模块基本用法详解
09-17
主要介绍了python爬虫学习笔记之pyquery模块基本用法,结合实例形式详细分析了python爬虫pyquery模块基本功能、用法及操作注意事项,需要的朋友可以参考下
个人python学习笔记
05-16
本资源“个人python学习笔记”是一份全面的Python学习资料，覆盖了从基础到进阶的多个主题。 一、基础语法 Python的基础语法包括变量定义、数据类型（如整型、浮点型、字符串、布尔型、列表、元组、字典等）、流程...
爬虫学习：pyquery的使用
北天的博客
08-31 546
pyquery：一个类似jquery的python库，pyquery 允许我们对 xml 文档进行 jquery 查询。API 尽可能地类似于 jquery。pyquery 使用 lxml 进行快速 xml 和 html 操作，熟悉jquery的朋友快来学习python中的pyquery。
pyquery学习笔记
04-13 102
很早就听说了pyquery的强大。写了个简单的测试程序实验下。 思路是找个动态网页，先用PhantomJS加载，然后用PYQUERY解析。 1、随便找了个带表格的股票网页，里面有大量的股票数据，测试的目的就是抓取表格中的数据。 链接如下 http://quote.eastmoney.com/center/BKList.html#notion_0_0?sortRule=0 2、...
Python爬虫：PyQuery详细学习笔记！
weixin_45038034的博客
05-27 165
1、初始化 1.2、URL初始化 1.3、文件的初始化 2、基本的CSS选择器 3、查找元素 3.1、子元素 3.2、父元素 3.3、兄弟元素 4、遍历 4.1、单个元素 4.2、多个元素 5、获取信息 5.2、获取文本 5.3、获取HTML 6、DOM操作 6.1、addClass、removeClass 6.2、attr、css 6.3、remove 6.4、其...
PyQuery库学习笔记
qq_43235247的博客
12-29 152
PyQuery库学习笔记 一个强大又灵活的网页解析库。正则太麻烦，BeautifulSoup语法太难记，如果熟悉 jQuery 语法，那么PyQuery就是最好的选择。 初始化 字符串初始化 html = ''' <div> <ul> <li class="item-0">first item</li> ...
学习笔记：PyQuery
herro's的博客
11-30 300
学习笔记在匹配格式较规范或者结构较简单的网页是，个人感觉pyquary比正则表达式更方便。html = ''' <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second it
PyQuery 库学习笔记
浅汐
10-07 205
1、初始化 1.1、字符串初始化 from pyquery import PyQuery as py html = ''' first item second item <span class="bold">third item fourth item fifth item ''' doc = py(html) print(
python爬虫学习笔记
weixin_50910770的博客
04-17 1709
检测模块的主要检测方法：分别将代理IP加上的前后去检测IP的网站判断IP是否加上，另外一种是判断加上的代理IP是不是请求的代理IP，如果成功的话，在百度上面测试一下看看这个状态码是不是200、300。：古早的方式是从各个免费的代理IP网站获取代理IP，就是在代理网站上面做爬虫，爬的内容就是各个代理IP，将爬下来的代理IP存入到redis数据库中，存储的方式是有序集合。2、自己定义的函数，函数内部定义了很多发请求的操作，用到await关键字，在调用这个函数的时候，你需要在函数前面加上await。
爬虫学习笔记
weixin_45839321的博客
12-27 1029
P6笔记 文章目录@[toc]1.虚拟环境1.1 虚拟环境管理模块1.2 环境一致性1.3 查看包的详细信息1.4 打包2.爬虫2.1 爬虫的概念2.1.1 `pyinstaller`2.2 通用爬虫2.3 robots协议2.4 聚焦爬虫2.5 requests模块2.6 OSI七层模型2.7 TCP/IP五层模型2.8 TCP和UDP2.9 ARP协议2.9.1 ssh2.9.2 服务器创建的默认端口2.9.3 `http`与`HTTPS`协议的区别3.请求3.1 .
Python爬虫学习笔记(pyquery)
qq_33360009的博客
02-09 280
from pyquery import PyQuery as pq html =''' <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href＝"link2.html">sec...
网络爬虫基础 个人学习笔记
04-04
这篇个人学习笔记主要涵盖了数据的采集、存储以及Scrapy爬虫框架三个核心部分。 **一、数据的采集** 1. **HTTP协议**：网络爬虫的基础是HTTP协议，理解请求和响应的工作原理至关重要。GET和POST是最常见的两种请求...
Python网络爬虫与信息提取-学习笔记.zip
02-21
本学习笔记将深入探讨Python在爬虫领域的应用，帮助读者掌握从抓取网页到提取信息的全过程。 一、Python基础 Python是爬虫开发的首选语言，其简洁的语法和丰富的库支持使得爬虫编写变得高效。你需要了解Python的...
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 624
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
kubernetes学习日志（七）
qq_47037022的博客
07-18 373
本文记录了service管理，ingress管理，Dashboard管理插件，集群鉴权策略，角色与全局角色，赋权与全局角色赋权。
NumPy库学习之np.random.rand函数
qq_46396470的博客
07-15 306
是 NumPy 库中的一个函数，用于生成随机数。这些随机数是从均匀分布 [0, 1) 中抽取的，即每个数都在0到1之间，但不包括1。
手写简易版Spring IOC容器02【学习】
最新发布
weixin_44794897的博客
07-19 339
其中applyPropertyValues用于从beanDefinition中读取属性的配置信息然后通过BeanUtil(hutool-all中提供的类)为其赋值@Overridetry {// 创建bean实例Class<?if (null!break;// 设置属性值try {// 从beanDefinition中获取property通过Resource获取文件流。
博客前端项目学习day03——框架页
qq_53237241的博客
07-19 178
【代码】博客前端项目学习day03——框架页。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小刘私坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值