python爬虫
人间玉京长生剑
没有什么简介
展开
-
爬虫实战之四--urllib库的使用详解
urllib是python 内置的一个http请求库,利用这个库可以实现一些简单的网页扒取。 urllib有4个模块,分别是: Urllib.request 请求模块 Urllib.error 异常处理模块 Urllib.parse url解析模块 Urllib.robotparser robots.txt解析模块 因为学习的是python3,所以原创 2017-09-05 23:27:51 · 447 阅读 · 0 评论 -
爬虫实战之五--requests详解
实例 import requests response=requests.get('http://www.baidu.com/') print(type(response)) print(response.status_code) print(type(response.text)) print(response.text) print(response.cookies) 各种请求原创 2017-09-06 23:25:24 · 358 阅读 · 0 评论 -
爬虫实战之一--python3及pip安装
最近身边的朋友都在玩爬虫,自己突然也有了兴趣,想做些东西看看。把自己学习的过程写下来,一是防止自己以后忘了。二是希望能给其他需要的人一些参考。 先从linux主机的选取开始,由于我的centos主机在安装软件时老是出现莫名其妙的错误,干脆就用阿里云的服务器,用起来方便一些。 先去申请一个centos的主机,然后centos连接。 一、安装python3.5.0 从官网下载安装包: wge原创 2017-08-30 21:56:31 · 772 阅读 · 0 评论 -
爬虫实战之二--mongodb及redis安装
上篇文章介绍了python3.5和pip的安装,这篇主要是mongodb及redis的安装配置 一、mongodb安装 1.下载压缩包: curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.9.tgz 解压压缩包到当前目录: tar -zxvf mongodb-linux-x86_64-3.2.9.tg原创 2017-08-31 21:04:38 · 321 阅读 · 0 评论 -
爬虫实战之三--mysql安装
mysql官网 https://dev.mysql.com/downloads/mysql/ 到官网上下载rpm包,我下载的是这个: MySQL-5.6.37-1.el7.x86_64.rpm-bundle.tar 检查是否已经安装mysql: rpm -qa | grep mysql 如果安装就卸载掉,下面是针对两种安装方式的卸载: 卸载一: 输入: #rpm -q原创 2017-09-03 09:56:43 · 548 阅读 · 0 评论