python爬虫简单入门（爬网页文本信息）

环境

python 3.8.2 Shell
也可以使用PyCharm

一、爬网页文本基本步骤

1、请求目标网页，用requests请求，如果还没有安装，打开cmd，输入下面命令进行安装

pip install requests

通过requests.get（url）请求网页信息，.text可以获得网页文本内容，但还有标签。
2、用BeautifulSoup解析请求到的网页内容，如果还没有安装，打开cmd，输入下面命令进行安装

pip install BeautifulSoup4

通过BeautifulSoup(texts,‘lxml’)可以对请求到的网页文本进行解析。
注意：texts是文本信息，lxml是一个解析器（安装参考），也可以使用html.parser解析器。

二、python代码

from bs4 import BeautifulSoup#解析requests请求到的HTML页面
#from w3lib.html import remove_tags_with_content
import requests#请求目标网页
url = 'https://www.bequgexs.com/8/8154/303304.html'
con = requests.get(url)
con.encoding = 'utf-8'
texts = con.text
print(con)
print(texts)
result = BeautifulSoup(texts,'lxml')#html.parser
#print(result)
div1 = result.find('div',attrs={'class':'bookname'})
div_zj = div1.find('h1')
print(div_zj.text)
div2 = result.find('div',attrs={'id':'content'})
#print(div2)
   
div_nr = div2.text.replace('\xa0'*4,'\n\n\xa0\xa0')
div_nr = div_nr.replace('(《》)','')

f = open("赘婿第一章.doc",mode="a",encoding="utf-8")
#a:把之前爬取的数据保存下来
#在windows下面，新文件的默认编码是gbk,而前面我们设置了utf-8
f.write(div_nr)
#div_nr = div_nr.replace('天才一秒记住本站地址：[笔趣阁]','')
#div_nr = div_nr.replace('https://www.bequgexs.com/最快更新！无广告！','')
print(div_nr)

结果

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，Python自动化测试学习等教程。带你从零基础系统性的学好Python！

👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）

一、Python大礼包

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、 Python电子书

三、入门学习视频

四、 Python爬虫秘笈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、 数据分析全套资源

六、python副业兼职与全职路线

上述这份完整版的Python全套学习资料已经上传CSDN官方，如果需要可以微信扫描下方CSDN官方认证二维码 即可领取

👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）