- 博客(9)
- 收藏
- 关注
RSS订阅转载 设计模式（学习后的记录）转载
简单工厂模式把对象的获取放到工厂中，可以减少依赖。对类进行使用继承。使用父类去获取，在需求变更的时候，需要改变的地方只需要加一个子类和工厂中的逻辑。不会对表现层（客户端）有任何的变更，这无疑降低了依赖关系。对后续的迭代和需求变更可以从容应对。就像是 人（表现层） 超市（工厂） 果园（业务实现）我们要吃的水果只然是果园中生产出来的，但是如果每次想要吃水果都要去果园采摘的话，这无疑是很麻烦...
2019-03-21 11:29:05
169
原创 模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容
丁香园直通车抓取页面链接一.首先利用selenium登录网站，此部分重点：1.切换到账号密码表单登录，我采用了利用style将display值变为block，代码如下： js1 = 'document.querySelector("#j_loginTab1").style.display="none";' browser.execute_script(js1)
2019-03-07 18:41:00
4059
2
原创 学习IP，并构建自己的代理池。
本文主要抓取西刺代理，并构建自己的代理池。西刺代理网址：https://www.xicidaili.com/nn/首先根据BeautifulSoup解析出ip所在标签，并将其提取，其次依次对所提取标签进行验证是否为有效ip，最后将有效ip写入文件整体代码如下# -*- coding:utf-8 -*-import requests, json, re, random,timefrom ...
2019-03-06 18:36:17
897
原创 安装selenium并学习，登录网易邮箱
Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。详细介绍1.使用Selenium需要先声明浏览器对象，Selenium支持IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等多种浏览器；以谷歌浏览器为例：browser = webdriver.Chr...
2019-03-05 18:28:42
1369
原创 学习xpath，使用lxml+xpath提取内容。
什么是 XPath?XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。下面列出了最有用的路径表达式：参考链接：用lxml解析HTML使用xpath提取丁香园论坛的回复内容。丁香园直通点晕厥...
2019-03-04 18:12:41
1610
原创 学习beautifulsoup，并使用beautifulsoup提取内容。
学习beautifulsoup，并使用beautifulsoup提取内容。 使用beautifulsoup提取下面丁香园论坛的特定帖子的所有回复内容，以及回复人的信息。 丁香园直通点：晕厥待查——请教各位同仁关于BeautifulSoup库，通俗来说是【解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库 】官方文档：Beautiful Soup Documentatio...
2019-03-03 20:58:08
768
原创 python爬取豆瓣电影 Top 250里的内容
1.开始分析页面，找到所抓取的文字所在标签，如图所示。2.通过requests.get获取整个页面代码，并通过正则表达式匹配出所需字符。关于正则表达式 https://www.cnblogs.com/chuxiuhong/p/5885073.html经过分析匹配出电影名称，导演等的正则为'<span class="title">(.*?)</sp
2019-03-02 21:18:48
493
原创 python初试，学习get，post请求。
1.学习get，post请求，尝试使用requests或urllib用get方法向 https://www.baidu.com/ 发出一个请求，并将其返回结果输出。过程如图：图一为requests方法；图二为urllib方法；2.当网络断开时，结果如图一直报错，仔细看会提示time out3.了解什么是请求头，如何添加请求头请求头详细解释：https://blog.csdn.net...
2019-03-01 13:51:29
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人