- 博客(16)
- 收藏
- 关注
RSS订阅原创 邮箱的发送--plus
1.qq邮箱信息的发布# 用于发送邮件的模块import smtplib# QQ邮箱/163邮箱的邮件发送：py文件发送邮件内容相当于一个第三方的客户端，借助于QQ/163邮箱服务器来发送的邮件。# QQ邮件# 1> 配置邮箱SMTP服务器的主机地址，将来使用这个服务器收发邮件。HOST = 'smtp.qq.com'# 2> 配置服务的端口，默...
2018-07-11 17:56:41
1292
原创 如何切换Python版本--基于window10系统
1.如果你的电脑上装的是Python3.6.0和Python3.7.0,并且你先装的Python3.6.0,后装的Python3.7.0;那么它将默认的是Python3.7.0在cmd中输入命令: where python 可以查看python安装的位置以及版本号 python 查看默认使用的p...
2018-07-09 21:40:03
27466
3
原创 scrapy---将数据json化保存---mongo数据库---mysql数据库---excel里--下载图片(分类)----下载文件
json方法一:通过在cmd中输命令来实现scrapy crawl novel -o novel.json -s FEED_EXPORT_ENCIDING=UTF-8novel为爬虫名称(name)scrapy将数据保存为csv文件: scrapy crawl novel -o novel.csv -s FEED_EXPOR...
2018-07-07 11:37:59
325
原创 爬虫实战项目--优信二手车--天眼
import requests, time, randomfrom fake_useragent import UserAgentfrom lxml.html import etree, HTMLParserfrom requests.packages.urllib3.exceptions import InsecureRequestWarning, InsecurePlatformWar...
2018-07-03 10:50:21
9770
原创 安装--redis 数据库--配置代理池
1. # 代理ip# 默认爬虫是使用的是真实IP,为了伪装真实IP,使用代理IP(代理IP会一直在变)# redis 数据库是内存型数据库,既支持将数据存储到内存,也可以将数据进行持久化的本地存储# redis 非常适合做数据的缓存2. 34....
2018-07-03 10:49:17
882
1
原创 安装--proxypool--配置
搜索: github 搜索 proxy_pool下载 2解压到指定的位置3如果没有安装,在cmd命令框里进行安装,,pip install APScheduler==3.2.0werkzeug==0.11.15等等4.
2018-07-03 10:48:45
2113
原创 安装--pyspider
1. 官网下载2.找到下载并解压之后的文件 进行复制phantomjs.exe3. 查看python路径, 将phantomjs.exe和python.exe放在同一目录下4.
2018-07-03 10:48:29
1743
原创 爬虫知识点---微信搜狗---xpath--pyquery--csselect--正则--bs4
1. 微信搜狗 大神的代码 import requests, re, pymongo, timefrom fake_useragent import UserAgentfrom urllib.parse import urlencodefrom pyquery import PyQueryfrom requests.exceptions import C...
2018-07-03 10:48:05
1694
原创 安装--mongo数据库
安装xlwt的方法(爬虫) 或者是在cmd里面直接敲命令:pip install xlwt 安装即可 MOngo数据库安装(爬虫)Custom 是选择安装的路径 需要在创建的data\db中敲命令: mongod --dbpath “\data\db的路径” 保持命令行的黑窗口处于打开的状态,然后在浏览器上进行访问在浏览器中进行访问:127.0.0.1:27017 安装服务为自动启动的状态命令...
2018-07-03 10:47:45
186
原创 爬虫--爬取网页图片--bs4
1. 爬虫网络请求方式: urllib(模块),requests(库), scrapy , pyspider (框架)2. 爬虫数据提取方式: 正则表达是, bs4, lxml, xpath, css# 参数1：序列化的html源代码字符串，将其序列化成一个文档树对象。# 参数2：将采用 lxml 这个解析库来序列化 html 源代码html = BeautifulSoup(op...
2018-07-03 10:46:30
2197
原创 selenium--安装--知识点--base--元素等待
安装1. 火狐浏览器: 下载geckodriver.exe把这个文件放在和python.exe相同的路径下geckodriver.exe: 是selenium用来打开火狐浏览器的驱动。需要将它和python.exe放在一起2. 下载的位置:https://github.com/mozilla/geckodriver/releases最新版火狐浏览器驱动geckodriver的地址。知识点:s...
2018-07-03 10:46:09
389
原创 scrapy---安装配置虚拟环境--爬虫--知识点--配置cookiespool
Python虚拟环境的安装和配置(windows)1.先在电脑上将python2.7和python3.5版本安装完成，并记清楚安装路径,统一安装在D盘2.配置系统环境变量中的path路径，添加路径的版本即为默认使用版本 3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时，经常会出现超时等情况，可以使用国内镜像提高下载速度，例如豆瓣...
2018-07-03 10:45:49
702
1
原创 安装--charles--抓包工具
1. 搜索安装 charles 安装 创建快捷键到桌面2. 3.4.5.6.7.8.安装证书完毕 !!!!!!!!!
2018-06-09 17:33:08
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人