python&逆向爬虫
文章平均质量分 53
不停歇向前^-^蜗牛
初来乍道,请多多指教
展开
-
Scrapy&&案例
网址:http://www.4399.com/flash/新建Scrapy后,会有自定义取好的名字用我们最熟悉的方式: xpath提取游戏名称, 游戏类别, 发布时间,链接等信息注意:运行: scrapy crawl 爬虫名字实例:scrapy crawl xiaoyouxi编写pipeline.对数据进行简单的保存数据传递到pipeline, 我们先看一下在pipeline中的样子.首先修改settings.py文件中的pipeline信息```pythonITEM_PIPELIN原创 2022-04-06 22:02:29 · 555 阅读 · 1 评论 -
python 安装Scrapy库和创建Scrapy项目过程及文件含义及Scrapy介绍及使用
安装Scrapy库pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy安装Scrapy库其它情况出现如果安装成功, 直接去创建项目即可. 如果报错可能需要安装VC++14.0库才可以. 安装的时候一定不要死记安装步骤, 要观察报错信息. 根据报错信息进行一点点的调整, 多试几次pip. 直至success.总共有五种安装Scrapy库方法安装wheelpip install wheel下载twisted安装包,原创 2022-04-06 17:53:37 · 627 阅读 · 0 评论 -
python&[aiohttp , aiofiles]案例
aiohttp , aiofiles 安装网址图片链接# aiohttp , aiofilesimport asyncioimport aiohttpimport aiofiles"""复制图片地址'https://img2.baidu.com/it/u=1395158804,2693158229&fm=253&fmt=auto&app=138&f=JPEG?w=775&h=500','https://img0.baidu.com/it原创 2022-02-11 10:57:47 · 1702 阅读 · 0 评论 -
python&协程综合
协程语法"""该函数执行时得到的是一个协程对象"""import asyncioasync def func(): print("我是函数")def gen(): yield 1if __name__ == '__main__': # 程序入口 # 协程对象想要执行,必须借助于 event_loop # f = func() # print(f) f = func() # 协程对象想要执行,必须借助于 event_loop # #原创 2022-02-11 10:39:26 · 568 阅读 · 0 评论