python
文章平均质量分 87
超爱喝酸奶
努力奋斗的大学渣
展开
-
python字符串格式化
Python拥有两种字符串格式化类型%和format()1.‘%’格式化语法%[(key)][flags][width].[precision]typecode[]里的都为可选项。key:字典的键flags:符号可以使用' '(空格,不保留正号右对齐)、'+'(保留正号右对齐)、'-'(不保留正号左对齐)、'0'(缺位补零)。(注:flags需要和width配合使用,用来格式化字符串的位置)wid...原创 2018-03-13 08:17:20 · 267 阅读 · 0 评论 -
python-爬虫入门(一)
今天学了Python爬虫,很有意思,写一下博客记录一下学习过程。一.爬虫所需要使用到的库最基本的爬虫仅需要urllib库,re库和chardet库urllib库是Python内置的处理网络请求的库。对于基本的爬虫我们仅仅需要使用他的内部模块urllib.requset。urllib.request中所要使用的函数urllib.request.urlopen(url(网址)) 会返回一个<cl...原创 2018-04-16 21:04:33 · 326 阅读 · 0 评论 -
python-爬虫入门(二)
接上篇python-爬虫入门(一)----------------------------------------------------------------------------------------------今天我们讲如何防反爬虫一.浏览器伪装和爬虫代理所需要使用的库首先需要一个异常处理模块urllib.error,它可以接收urllib产生的异常信息我们要使用的是urllib.er...原创 2018-04-19 21:43:53 · 257 阅读 · 0 评论 -
Scrapy入门(一)
Scrapy入门 首先给出官方中文文档链接——官方文档。遇到什么不懂得,看官方文档是最好的解决办法。 文章基于Windows10操作系统,使用Anaconda——Python3.7,IDE——Pycharm community 2018.3.2 ,Scrapy版本1.5.2 参考书籍:精通Scrapy网络爬虫 刘硕 直接使用Anaconda Prompt中shell指令conda install ...原创 2019-05-03 17:56:46 · 388 阅读 · 1 评论 -
Scrapy入门(二)
爬取Sklearn文档中所有例子 所爬取文件的起始页https://scikit-learn.org/stable/auto_examples/ 创建项目 scrapy startproject sklearnExample 生成模板 cd sklearnExample scrapy genspider example scikit-learn.org 编写Items类 import scrapy...原创 2019-05-04 15:26:28 · 486 阅读 · 0 评论 -
Scrapy入门(三)
Scrapy模拟用户登陆 一般情况下,用户登陆都会使用HTML的<form>元素,每次提交表单后,浏览器会根据<form>元素的内容发送一个Http请求给服务器,其中 <form>的method属性决定了Http请求的方法(get/post) <form>的action属性决定了Http请求的url(‘#’代表当前页面) <form>的...原创 2019-05-06 14:42:09 · 183 阅读 · 0 评论 -
Scrapy入门(四)
Splash渲染引擎 Splash是Scrapy官方推荐的Javascript渲染引擎,使用Webkit开发的轻量级无页面浏览器,提供基于Http接口的Javascript渲染服务,支持 为用户返回经过渲染的HTML页面 并发渲染多个页面 关闭图片加载,加速渲染 在页面中执行用户自定义的Javascript代码 执行用户自定义的渲染脚本(lua) 给出Splash文档地址https://spla...原创 2019-05-06 15:33:58 · 271 阅读 · 0 评论