![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
weixin_42000301
这个作者很懒,什么都没留下…
展开
-
解析库的安装和环境配置
文章目录1.lxml2.Beautiful Soup3.pyquery4.tesserocr1.lxml支持HTML和XML的解析,支持Xpath解析方式。pip install lxml2.Beautiful Soup拥有强大的API和多样的解析方式pip install beautifulsoup43.pyquery提供了和jQuery类似的语法来解析HTML文档,支持CSS选...原创 2018-11-28 21:25:03 · 134 阅读 · 0 评论 -
web库的安装
文章目录1.Flask2.Tornado爬虫主要使用web服务程序来搭建一些API接口,供爬虫使用,例如维护一个代理池,代理保存在Redis数据库中,我们要将代理池作为一个公共的组件使用,那么如何构建一个方便的平台来供我们获取这些代理呢?通过Web服务提供一个API接口,我们只需要请求接口即可获取新的代理。1.FlaskFlask是一个轻量级的Web服务程序,简单易用,主要用来做一些API服...原创 2018-11-29 16:52:58 · 214 阅读 · 0 评论 -
pip更新失败
如果提示失败如下:You are using pip version 9.0.1, however version 10.0.1 is available.You should consider upgrading via the ‘python -m pip install --upgrade pip’ command.可以用管理员身份运行windows shell 然后输入 :pytho...原创 2018-11-26 16:46:22 · 161 阅读 · 1 评论 -
python安装包和函数查看
pip list 查看已经安装了哪些包用import * 导入所有模块,但并不主张这样的用法,因为这样的通常会导致可读性很差。原创 2018-11-26 17:48:32 · 1037 阅读 · 0 评论 -
正则表达式
常用匹配规则|模式|描述 ||–|--|| \w| 匹配字母、数字及下划线match()我原创 2018-11-27 12:08:34 · 57 阅读 · 0 评论 -
请求库安装和环境配置
1.request2.Selenium简介:Selenium是一个自动化测试工具,利用它可以去驱动浏览器执行特定的工作,如点击、下拉等操作。(对于一些用JavaScript渲染的也米娜来说,这种抓取方式非常有效)3.ChromeDriver简介:Selenium只是一个自动化测试工具,需要浏览器来配合使用。安装ChromeDriver之后才能驱动Chrome浏览器完成相应的操作。官方网站...原创 2018-11-28 15:48:53 · 147 阅读 · 0 评论 -
App相关库
1.Charles(与手机连接失败——暂停)Charles是一个网络抓包工具,变更比Fidder,其功能更为强大,而且跨平台支持更好,所以这里选用它来作为主要的移动端抓包工具。官方网站:http://charlesproxy.com/下载链接:https://www.charlesproxy.com/download2.mitmproxy安装:pip install mitmproxy...原创 2018-12-05 17:26:29 · 107 阅读 · 0 评论 -
python爬虫常用库之requests详解
在使用了urllib库之后,感觉很麻烦,比如获取个cookie都需要分几步,代码又多,这和python的风格好像有点不太像哈,那有没有更加容易点的请求库呢?答案是有的,那就是第三方库requests,这个库的作者是大名鼎鼎的kennethreitz,创作这个库的原因就是想让python开发者更加容易地发起请求,处理请求。里面还有个名字:HTTP for Humans,顾名思义,就是用来请求http...原创 2018-12-20 00:40:56 · 214 阅读 · 0 评论 -
删除str(字符串)中的特定字符
以下代码为删除str(字符串)中的特定字符import stringstring.punctuationtext = "*/@》--【】--12()测试*()"去除字符串中所有的字符,可增加自定义字符def strclear(text,newsign=''): signtext = string.punctuation + newsign signrepl = '@'*...原创 2019-03-02 17:24:18 · 3021 阅读 · 1 评论