4399小游戏童年的乐趣，python爬取4399全站小游戏_4399游戏代码

本文链接：https://blog.csdn.net/m0_60707221/article/details/138236650

网址：4399小游戏
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zo8j9Qpv-1640778179102)(./imgs/1.jpg)]

工具准备

开发工具：pycharm
开发环境：python3.7， Windows10
使用工具包：requests、csv

效果展示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fid36rQ5-1640778179104)(./imgs/5.jpg)]

项目思路解析

第一步获取到目标数据的地址，分析页面的数据加载规则，数据分为两种，一种是静态数据，另外一种是动态数据，判断数据加载可以通过源码分析，查看当前源代码，要是源代码是能搜索出你想要的数据就是静态的，反之就是动态数据，当前网页数据是静态数据
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J1yLyAjh-1640778179105)(./imgs/2.jpg)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bB60HEdo-1640778179108)(./imgs/3.jpg)]

明确数据后对网址发送请求，获取网页数据，获取到数据后，通过特定的方法提取数据信息，（提取数据的方法有正则、xpath、bs4、选择器），根据自己掌握的技术选取相对应的数据规则，需要获取到网页的游戏标题以及游戏详细地址
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QXiD4LnT-1640778179109)(./imgs/4.jpg)]

获取到数据后进行数据的储存，大部分情况数据是保存在数据库的，今天的数据储存在csv的表格文件

简易源码分享

import requests
# import parsel
import csv
from lxml import etree


f = open('4399游戏.csv', mode='a', encoding='utf-8', newline='')

csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
csv_writer.writeheader()
for page in range(1, 106):
    url = 'http://www.4399.com/flash\_fl/5\_{}.htm'.format(page)
    headers = {
        'User-Agent': ''
    }
    response = requests.get(url=url, headers=headers).content.decode('gb2312')
    # print(response)
    html_data = etree.HTML(response)

    lis = html_data.xpath('//div[@class="bre m15"]//ul/li')
    # lis = selector.css('#classic li')
    for li in lis:

        data_url = 'http://www.4399.com' + li.xpath('./a/@href')[0]
        print(data_url)
        title = li.xpath('./a/text()')[0]


**一、Python所有方向的学习路线**

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

![img](https://img-blog.csdnimg.cn/1d40facda2b84990b8e1743f5487d455.png)  
![img](https://img-blog.csdnimg.cn/0fc11d4a31bd431dbf124f67f1749046.png)

**二、Python必备开发工具**

工具都帮大家整理好了，安装就可直接上手！![img](https://img-blog.csdnimg.cn/ff266f529c6a46c4bc28e5f895dec647.gif#pic_center)

**三、最新Python学习笔记**

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

![img](https://img-blog.csdnimg.cn/6d414e9f494742db8bcc3fa312200539.png)

**四、Python视频合集**

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

![img](https://img-blog.csdnimg.cn/a806d9b941c645858c61d161aec43789.png)

**五、实战案例**

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。![img](https://img-blog.csdnimg.cn/a353983317b14d3c8856824a0d6186c1.png)

**六、面试宝典**

![在这里插入图片描述](https://img-blog.csdnimg.cn/97c454a3e5b4439b8600b50011cc8fe4.png)

![在这里插入图片描述](https://img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)

###### **简历模板**![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**