- 博客(47)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 利用scrapy爬取itcast的老师信息的超级详细步骤
建包对于网络爬虫，我们首先要做的便是利用命令行创建文本包，本文命名为castscrapy startproject castcd castscrapy genspider ast itcast.cn具体步骤如下图：屏幕快照 2019-05-12 下午09.47.06 上午.png对生成的item文件进行编写：import scrapy...
2019-05-12 11:54:17
482
原创 正则表达式
基本的用法5b7b8620-3c65-4074-b4b9-f74cd6d18a09.png校验数字的表达式数字：^[0-9]*$n位的数字：^\d{n}$至少n位的数字：^\d{n,}$m-n位的数字：^\d{m,n}$零和非零开头的数字：^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1...
2019-05-09 16:19:33
97
原创 user-agent大全
移动端：user_agent_list_3 = [ # IPhone "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/...
2019-05-09 11:21:47
135
1
原创 XPATH常用知识点整理
xpath相关符号以及意义介绍屏幕快照 2019-05-02 上午11.38.57.pngXPATH选择器nodeName 选取此节点的所有节点/ 从根节点选取// 从匹配选择的当前节点选择文档中的节点，不考虑它们的位置. 选择当前节点.. 选取当前节点的父节点@ 选取属性匹配任何元素节点@* 匹配任何属性节点Node() ...
2019-05-02 11:39:51
282
原创 利用scrapy制作网页爬虫
简单说明name 定义爬虫名字，我们通过命令启动的时候用的就是这个名字，这个名字必须是唯一的allowed_domains 包含了spider允许爬取的域名列表。当offsiteMiddleware启用时，域名不在列表中URL不会被访问，所以在爬虫文件中，每次生成Request请求时都会进行和这里的域名进行判断start_urls 起始的url列表，这里会通过spid...
2019-04-28 16:19:50
245
原创 常识----sql的常见用法总结
选择操作连接操作并发控制的单位：事务事务的四种属性：原子性，一致性，隔离性，持久性SQL-92四种隔离级别 脏读。 读提交。 可重复读 可串行化DM中的锁：表锁，行锁（共享锁，排他锁），键范围锁死锁处理：预防死锁，检测死锁，避免死锁分布式数据库：适应部门分布的组织机构，降低费用；提高系统可靠性和可用性，充分利用数据库资源，逐步扩展处理能力和系统规模数据独立性：数据的逻辑独...
2018-12-07 11:35:13
921
1
原创 安装----利用移动硬盘制作随身Windows系统
wtg软件链接: https://pan.baidu.com/s/1nZiq3ZIhNc6G5hBaVoYnMQ 密码: v3ya
2018-03-14 17:31:47
8926
2
机器学习NG
2017-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人