selenium库

目录 selenium 安装,配置及连接 selenium ChromeDriver GeckoDriver PhantomJS(无界面浏览器,新版selenium中已被弃用) Chrome和Firefox的无界模式 基本使用 声明对象 访问页...

2018-07-30 15:51:00

阅读数 122

评论数 0

requests库+ajax数据分析+多线程爬取头条图集

''' 根据关键字获取今日头条图集 ''' import os import requests from urllib.parse import quote from hashlib import md5 from multiprocessing.pool import Pool base...

2018-07-29 09:12:00

阅读数 127

评论数 0

requests微博爬取Ajax数据+mongoDB存储

import requests from pyquery import PyQuery as pq from pymongo import MongoClient headers = { 'Referer': 'https://m.weibo.cn/u/2830678474', ...

2018-07-28 15:04:00

阅读数 112

评论数 0

redis存储

目录 redis存储 安装,链接与配置 redis python库redis RedisDump redis和StrictRedis 连接Redis 键操作 字符串操作 列表操作 集合操作 有序集合操作 散列操作 RedisDump...

2018-07-28 08:58:00

阅读数 74

评论数 0

pymongo操作MongoDB

目录 pymongo操作MongoDB 安装,启动及链接 MongoDB pymongo 连接MongoDB,指定数据库,指定集合 插入数据 查询 普通查询 条件查询 计数 排序 偏移 更新 删除 其他操作 py...

2018-07-26 15:04:00

阅读数 203

评论数 0

用pymongo连接mongodb,操作时报错

操作时报错:pymongo.errors.OperationFailure: not authorized on test to execute command...: 创建连接对象时,用client = pymongo.MongoClient('mongodb://user:password@...

2018-07-26 12:50:00

阅读数 129

评论数 0

Ubuntu16.04下安装mongodb运行失败解决

原答案:<https://askubuntu.com/questions/770054/mongodb-3-2-doesnt-start-on-lubuntu-16-04-lts-as-a-service/770133#770133 亲测有效,2018.7.25 创建...

2018-07-25 19:44:00

阅读数 420

评论数 0

pymysql操作mysql

目录 pymysql操作mysql 安装,启动及链接 MySQL pymysql 链接数据库 创建表 事务性ACID 插入数据 更新数据 删除数据 查询操作 pymysql操作mysql 安装,启动及链接 返回目标 MySQL 官方网...

2018-07-25 16:47:00

阅读数 151

评论数 0

ubuntu重装mysql

目录 重装mysql 首先删除mysql: 默认安装: 安装5.6(因为5.7版本据说经常出错) 安装完成后查看mysql状态: 重装mysql 首先删除mysql: sudo apt-get remove mysql-* dpkg -l |grep ^rc|awk '{...

2018-07-25 15:01:00

阅读数 216

评论数 0

文件存储

目录 文件存储 TXT文本存储 文件打开模式 JSON文件存储 对象和数组构成的json形式 读写操作 CSV文件存储 写入 读取 文件存储 TXT文本存储 返回目录 文件打开模式 打开模式 详细说明。 r 以只...

2018-07-25 12:24:00

阅读数 29

评论数 0

CSV转化为markdown表格形式

符号分割文本转化为markdown表格形式 写博客,做笔记的时候,有时需要复制表格到markdown文档,数量一多一个个添加格式还是很麻烦,然后就写了一个小工具,先将表格复制粘贴到文本,用工具转换,再复制粘贴到markdown文档.. def to_table(filename='tes...

2018-07-24 17:29:00

阅读数 227

评论数 2

爬取知乎发现页面pyquery+文件存储

# 爬取知乎发现页面,用文件存储 import requests from pyquery import PyQuery as pq def get_html(url): '''根据网址获取html页面 parameter:url目标网址 return:h...

2018-07-24 16:44:00

阅读数 109

评论数 0

pyquery库

目录 pyquery库 初始化 基本CSS选择器 函数操作 查找节点 获取信息 DOM节点操作 伪类选择器 pyquery库 侧重于css选择器,JQuery 安装:pip3 install pyquery GitHub:https://githu...

2018-07-24 14:09:00

阅读数 45

评论数 0

BeautifulSoup库

目录 Beautiful Soup库 解析器 基本用法 节点选择器(速度快) 方法选择器 find_all() 其他方法 CSS选择器 UnicodeDammit Beautiful Soup库 官方文档:https://www.crummy.com/software/Bea...

2018-07-24 10:15:00

阅读数 65

评论数 0

xpath和lxml库

目录 XPath及lxml解析 xpath语法 1.XPath常用路径表达式 2.xpath谓词 3.选取未知节点 4.选取若干路径 5.XPath 轴 lxml 1.实例引入 XPath及lxml解析 安装:pipenv instal...

2018-07-24 08:14:00

阅读数 59

评论数 0

pipenv和autoenv

目录 pipenv 安装 创建环境 常用命令 换源 pipenv 官方文档:https://docs.pipenv.org/#pipenv-usage 安装 pip3 install pipenv 创建环境 创建环境: pipenv --three # 创建py...

2018-07-23 10:24:00

阅读数 160

评论数 0

requests库

目录 request库 1.七个主要方法 2.Request对象(其它方法参数,用法差不多) 3.Response对象的属性 4.requests异常 5.requests其他方法和属性 requests.codes requests.cookies requ...

2018-07-22 14:59:00

阅读数 17

评论数 0

返回码和相应的查询条件

# 信息性状态码 100: ('continue',), 101: ('switching_protocols',), 102: ('processing',), 103: ('checkpoint',), 122: ('uri_too_long', 'request_uri_too_long'...

2018-07-22 10:42:00

阅读数 37

评论数 0

格式化文件转对象

格式化文件转对象 爬虫构造请求头时,需要用到字典,在浏览器F12查看请求头,发现是类字典冒号分割文本,将其直接复制到本地文件,转化为字典对象,可拿来直接使用.代码是具有可扩展性的,需要其他格式转化为对象时,只用增加转化函数,自动提供文件名处理,持久化导入导出功能. 代码如下: ''' 文本...

2018-07-21 13:05:00

阅读数 38

评论数 0

urllib库

目录 urllib库 1.urllib.request(请求模块) urlopen Request urlretrieve(python2的遗留接口) Handler工具和OpenerDirector类 2.response对象 方法 属性 ...

2018-07-21 09:24:00

阅读数 89

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭