- 博客(6)
- 资源 (4)
- 收藏
- 关注
原创 蓝鲸PAAS平台与钉钉消息通知模块的对接!
一、蓝鲸平台 蓝鲸是一套基于 PaaS 的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。 总的来讲,蓝鲸是一款自动化运维工具,不仅可以提供一个高效、便捷的运维体系,还可以针对企业和自身的需求定制SAAS应用! 二、项目管理系统 项目管理正是是紧紧结合蓝鲸平台而推出的一款SAAS应用,主要目的是为了解决...
2019-03-22 17:18:48 1912
原创 Datawhale爬虫(第5期)入门第五练,使用Selenium模拟登陆163邮箱!
Selenium 是什么? Selenium 是一个用于 Web 应用程序测试的工具。它直接运行在浏览器中,就像真实的用户在操作一样,由于这个性质,Selenium 也是一个强大的网络数据采集工具,它可以让浏览器自动加载页面,这样使用了异步加载技术的网页,也可获取其需要的数据。 Selenium 模块是Python 的第三方库,可以通过 pip 进行安装 pip install selenium ...
2019-03-05 21:58:13 632
原创 Datawhale爬虫(第5期)入门第四练,用lxml+xpath提取丁香园指定帖子的回复!
Lxml 和 Xpath 学习: Lxml库:Lxml库是基于libxml2 这一个XML 解析库的Python 封装。该模块使用C语言编写,解析速度比BeautifulSoup 更快。Lxml库使用Xpath语法解析定位网页数据。 1.Lxml库解析网页数据快,还有一个非常实用的功能就是自动修正 HTML 代码。 2.Lxml 除了直接读取字符串,还支持 从本地文件中提取内容,例如本地编辑的hm...
2019-03-04 21:58:14 395
原创 Datawhale爬虫(第5期)入门第三练||提取丁香园指定帖子的回复!
学习beautifulsoup库: BeautifulSoup 库是一个非常流行的Python模块。通过BeautifulSoup库可以轻松的解析 Requests 库请求的网页,并把网页源代码解析为 Soup 文档,以便过滤数据! 小试牛刀:我们赏个简单的学习案例说话 import requests from bs4 import BeautifulSoup headers = { '...
2019-03-03 22:00:03 330
原创 Datawhale爬虫(第5期)入门第二练||豆瓣电影TOP250的内容
python正则表达式: 正则表达式是一个特殊的字符串序列,可以方便的检测字符串是否与某种模式匹配! 1. re.match() 函数 re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,返回None 语法: re.match(pattern, string, falgs=0) 示例: import re print(re.match('www', 'www.xia...
2019-03-01 23:46:59 444
原创 Datawhale爬虫(第5期)入门第一练
首先环境配置 — 因为我司开发用的是python2.7,故我需要配置下环境,纪念以下踩的坑(本次学习,我安装的是python3.4.4)— 大家可以去python官网 python下载对应版本 这里说一下python2 和 python3 共存的问题 对python文件夹做如下更改python.exe ===> python2.exe pythonw.exe ===> pythonw...
2019-03-01 09:36:44 260
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人