用python爬虫带你爬取4399小游戏

使用python爬虫爬取4399小游戏

准备环境：

python环境，pycharm，requests库，csv库，lxml库

教程：

打开4399网站，打开开发者模式，搜索关键字，

观察发现所有的东西都在页面源代码中

每一个游戏对应着每一个ul标签下的li下

思路：

拿到页面源码，提取出li标签的数据，再二次提取

上代码：

访问网站

url = 'https://www.4399.com/'

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.63'
}

response = requests.get(url=url,headers=headers)

可以看到这个页面使用的是gb2312编码格式

所以我们也改成gb2312

然后用xpath来提取出每一个li标签

response = requests.get(url=url,headers=headers)
response.encoding='gb2312'
page = response.text
html = etree.HTML(page)

lis = html.xpath('//*[@id="skinbody"]/div[10]/div[1]/div[1]/ul/li')

for循环每一个li标签，二次提取出游戏名字和游戏地址

for li in lis:
    href = ''.join(li.xpath('./a/@href'))
    dit['游戏地址'] = 'https://www.4399.com/'+href
    dit['游戏名'] = ''.join(li.xpath('./a/text()'))
    w_header.writerow(dit)
    print(dit,'已保存！')

并且保存到csv

看效果：

Python经验分享

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

Python学习路线

这里把Python常用的技术点做了整理，有各个领域的知识点汇总，可以按照上面的知识点找对应的学习资源。

学习软件

Python常用的开发软件，会给大家节省很多时间。

学习视频

编程学习一定要多多看视频，书籍和视频结合起来学习才能事半功倍。

100道练习题

实战案例

光学理论是没用的，学习编程切忌纸上谈兵，一定要动手实操，将自己学到的知识运用到实际当中。

最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。