爬虫
关注
分享
扫一扫
文章平均质量分 92
神笔小新
heyup. cn
展开
-
scrapy学习笔记（一）
scrapy学习笔记scrapy简介scrapy结构各组件介绍window下安装方法第一个scrapy项目1、创建项目：目录结构说明创建爬虫items.py声明变量爬虫代码设置settings设置piplines.py爬取多个页面预告scrapy简介Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，...原创 2020-05-03 23:22:10 · 592 阅读 · 0 评论 -
使用python实现微信小程序自动签到2.0
微信小程序自动签到功能描述目标输出包管理程序的结构设计步骤1步骤2步骤3步骤4代码实现使用findler抓包工具查看请求类型再次使用findler抓包，查看请求内容使用多线程完成多用户提交的功能使用itchat第三方库实现微信自动回复将程序部署到服务器中使用scp命令将程序发送到 远程 家目录下的 Documents使用ssh命令打开远程服务器设置程序后台运行功能描述目标完成多账号微信小程序...原创 2020-04-26 11:53:03 · 23023 阅读 · 21 评论 -
使用Python第三方库requests和bs4 爬取必应首页的图片，并存储到系统对应位置
这是一个Python爬虫的案例使用requests库爬取bing首页的图片首先查看bing源代码，找到对应图片的链接分析这个div标签开始写python程序代码实现使用requests库爬取bing首页的图片必应首页每天都会更新一张美丽的照片，那么怎么用爬虫爬取这些图片呢附 必应url：“https://cn.bing.com”首先查看bing源代码，找到对应图片的链接进入bing首页，...原创 2020-04-04 18:05:46 · 771 阅读 · 0 评论 -
使用python爬虫爬取爱看的小说
使用python爬虫爬取爱看的小说平时在看小说的时，由于网络原因导致每次加载下一章会等很长时间，为了能够连贯的看完整本小说，可以预先使用爬虫将整本小说存到手机里。ps 本代码没有对小说进行排版（因为懒得做）# 1.获取小说网页的内容# 2.将网页内容中的小说内容存到text中import reimport requestsfrom bs4 import BeautifulSoup...原创 2019-11-25 11:13:58 · 889 阅读 · 0 评论 -
使用Python爬虫获取上交所和深交所所有股票的名称和交易信息
使用Python爬虫获取上交所和深交所所有股票的名称和交易信息功能描述目标获取上交所和深交所所有股票的名称和交易信息输出保存到文件中技术路线requests-bs4-re候选数据网站的选择``网易财经：https://money.163.com/stock/新浪股票：http://finance.sina.com.cn/stock选取原则股票信息静态存在HTML页面中，非j...原创 2019-11-23 17:27:37 · 2817 阅读 · 0 评论