- 博客(16)
- 收藏
- 关注
RSS订阅原创 selenium 框架
selenium是浏览器自动化测试工具使用方法截取图片使用time.sleep()方法，等待浏览器加载完元素定位切换窗口自动登陆find_element_by_id() 返回对象find_elements_by_id() #返回...
2020-02-13 12:34:06
313
原创 CrawlSpider/微信小程序社区/爬虫/实例
CrawlSpider创建CrawlSpider项目创建爬虫使用命令：”scrapy genspider -t crawl wxapp_spider 'wxapp-union.com' "注意事项需要使用 “ LinkExtractor" 和 “Rule” , 这两个东西决定爬虫的具体走向 allow 设置规则的方式，需能够限制在我们想要的url上面，不要跟其他的url...
2020-02-09 16:53:21
292
原创 百思不得姐网站 Scrapy爬虫笔记
目录机器人协议下载速度请求头ITEM_PIPELINESpipelines.pyJsonItemExpoter 和 JsonLinesItemExpoterstart.pyGithubsettings.py文件设置机器人协议ROBOTSTXT_OBEY = False#遵守机器人协议,默认是True,改为False即可下载速度DOWNLOA...
2020-02-08 23:36:59
162
原创 Scrapy 学习笔记
创建项目创建项目：scrapy startproject [项目名] 创建爬虫：进入到项目所在文件夹，执行命令：scrapy genspider [爬虫名] [爬虫域名]**爬虫名和项目名不能相同！**项目目录结构items.py：存放爬虫爬取下来的数据模型 middlewares.py：存放各种中间件 pipelines.py：将items的模型存储到本地磁盘...
2020-02-08 22:59:21
116
原创 爬虫实例
保存网页视频或图片import requestsimport osurl = "http://sp.jzsc.net/upload/video/2019-05-29/a91a6577-b330-4f37-8509-35e40f28e5bd.mp4"root = "D://pics//"path = root + url.split('/')[-1]try: if not o...
2020-01-19 00:10:58
101
原创 Robots 协议
Robots协议Robots Exclusion Standard 网络爬虫排除标准作用：网站告知网络爬虫可爬取页面形式：在网站更目录下robots.txt下
2020-01-16 18:48:20
155
原创 Requests 基础知识
requestsget()方法r = requests.get(url)返回一个包含服务器资源的Response对象 构造一个向服务器请求资源的Request对象Response对象r.encoding : 如果header中不存在charset，则认为编码为ISO-8859-1r.apparent_encoding:根据网页内容分析出编码方式HTTP协议Req...
2020-01-16 18:31:17
213
原创 简易人事管理系统（pyqt5+mysql）
目录前言1 系统概述2 相关技术3 系统分析3.1需求分析 3.2数据库设计 3.2.1数据库概念模型3.2.2数据库逻辑模型3.2.3数据库物理模型4 系统功能设计5 系统主界面 前言最近和同学合作完成了数据库实习，数据库题目是人事管理系统。我们做的功能比较简单，还有很多未能完善的。不过这也算是一次创新，之前做的都是网页，这一次尝试...
2020-01-16 17:02:45
20107
21
原创 简易电影购票APP(jquery mobile+json+web mysql)
目录界面截图：使用技术架构设计总结1.数据库设计总结2.页面设计总计 大一的暑期实习用js和css做了一个简单的图书网站，大二的暑期实习老师在基于大一学习的知识上又新增加了一些知识。 趁着最近数据库刚实习完，记录一下暑期实习，以下是关于暑期实习的记录和心得。注：数据是用json文件预存的，因为暑期实习教了json，这个项目也算是实战了。其中有使用高德地...
2018-09-11 18:59:30
2967
2
原创 Python学习---列表
1.列表是什么列表由一系列按特定顺序排列的元素组成元素之间没有任何关系用 [ ] 表示列表，并用 ，号分隔其中的元素1.1访问列表元素可直接通过该元素的位置和索引访问 str = ['a','b','c']print(str[0])索引从0开始索引为-1时访问列表最后一个元素2.修改，添加和删除元素2.1修改列表元素直接用索引修改str...
2018-07-22 13:42:09
160
原创 Python学习---字符串和数字
字符串1.使用方法修改字符串大小写title() 以首字母大写的方式显示每个单词upper() 将字符串改为全部大写lower() 将字符串改为全部小写2.使用制表符或换行符添加空白换行符 \n制表符 \t3.删除空白rstrip() 删除字符串末尾空白lstrip() 删除字符串开头空白strip() 删除字符串两端空白4.合并字...
2018-07-21 11:57:51
215
原创 jquery实现页面弹球
像windows屏保一样，实现小球在页面中的弹跳，并且随着页面的改变而改变如下图:源码<!doctype html><html><head><meta charset="utf-8"><title>无标题文档</title></head><style
2018-07-19 22:40:52
1018
原创 jquery实现图片轮播和滑动
实习做了一个简易的图片轮播效果 下图是做出来的效果源码html 和 js部分<!doctype html><html><head><meta charset="utf-8"><title>无标题文档</title><link type="text/css"
2018-07-19 22:26:32
623
原创 Python学习笔记(一) —— 高级特性
写学习笔记之前对python的基础语法已经有了基本的了解，在此不冗余的叙述。直接从其高级特性开始。python的学习材料或网站:廖雪峰老师的python教程高级特性切片切片是对list和tuple的常见操作。以list来举例，先创建一个0-99的数列：L = list(range(100))前十个数:L[0:10]L[:10]索引从0开始，且0可以省略后十个数L[-10:]前11-20个数L[10...
2018-06-23 13:43:58
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人