- 博客(16)
- 收藏
- 关注
RSS订阅原创 scrapy框架的使用
1.创建项目scrapy startproject testspider2 明确目标（items.py）3 制作爬虫程序 xxx/spiders: scrapy genspider 文件名 域名4 处理数据 （pipelines.py）5 配置settings.py 关闭robots协议 添加headers6 运行爬虫项目 scrap...
2019-09-23 16:24:49
402
原创 启动elasticsearch
1.启动之前查看jdk版本：java -version (确保jdk为1.8版本)2.启动elasticsearch命令：注意要切换到目录下sh ./bin/elasticsearch注：出现starting与started表示启动成功，出现127.0.0.1:9200表示默认监听端口9200...
2019-09-22 16:51:37
410
原创 raise ReadTimeoutError(self._pool, None, 'Read timed out.') pip._vendor.urllib3.exceptions.ReadTimeo
python 安装第三方库，超时报错--Read timed out.Traceback (most recent call last):File "/home/xiaoduc/.pyenv/versions/3.5.0/lib/python3.5/site-packages/pip/_vendor/requests/packages/urllib3/response.py", line 2...
2019-09-22 10:39:34
3303
原创 mac selenium.common.exceptions.WebDriverException: Message: Can not connect to the Service chromedri
解决办法ping localhost1. 确保你的webdriver(如safaridriver、phantomjs等)已经下载并解压存放在你的环境变量目录下我的存放目录：/usr/bin/chromedriver检查方式：terminal中输入which chromedriver2.如果仍然不行，请尝试 ping localhost在缺失127.0....
2019-09-19 14:38:31
3937
1
原创 FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'
是因为没有 安装chromedriver Mac 版本下面是安装步骤有两个下载地址：1、http://chromedriver.storage.googleapis.com/index.html2、https://npm.taobao.org/mirrors/chromedriver/当然，你首先需要查看你的Chrome版本，在浏览器中输入chrome://version/...
2019-09-18 14:41:08
8139
5
原创 json 与 python 数据转换
json.loads json格式-->python数据类型json python对象 字典数组 列表json.dumps() python数据类型 -->json格式python json字典 对象列表 数组元组 数组注意 json.dumps()默认使用ascii编码 ...
2019-09-17 09:25:00
151
原创 mangodb 数据库操作
启动 mongo服务 到mongo 目录/usr/local/mongodb/bin 注意 必须在根目录下创建一个data目录 然后在data目录下创建一个db目录 然后 开两个终端窗口一个执行sudo ./mongod 一个执行sudo ./mongo一定要用sudo 不然会报错"""pymongo 回顾"""import pymon...
2019-09-09 13:32:55
971
原创 OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ([Errno 8] nodename nor servn
在MySQL Server 已经安装好的情况下， Python 3 使用 pymysql 进行连接数据库操作时，源代码是 db = pymysql.connect("localhost","root","",charset="utf8")解决办法貌似并不规范，我对代码进行了更改，添加了键，如下：# 连接数据库db = pymysql.connect(host=...
2019-09-09 09:27:25
1258
原创 AttributeError: 'NoneType' object has no attribute 'encoding'
原因 数据库连接语句哟噗问题db = pymysql.connect("localhost","root","",charset="utf8")注意这里是utf8 而不是utf-8
2019-09-09 09:18:56
1623
原创 csv模块使用流程
1 打开csv文件 with open("测试.csv,"a") as f:2 初始化写入对象 writer = csv.writer(f)3 写入数据 writer.writerow(列表)
2019-09-05 15:21:31
171
原创 正则表达式
2 正则表达式re 1使用流程 1 创建编译对象 ：p=re.compile("正则表达式") 2 对字符串匹配 r=p.match("字符串") 3 获取匹配结果 print(r.group()) 2 常用方法 1 match(s) 字符串开头的第一个，返回对象 2 search(s) ...
2019-09-04 16:23:53
148
原创 爬虫请求模块
1 版本python2 : urllib urllib2python3 : 把urllib 和 urllib2合并，urllib.request2 常用方法2.1urllib.request.urlopen("网址") 向网站发起一个请求并获取响应 2.1.1字节流 = response.read() 字符串 = response.read...
2019-09-02 16:31:54
155
原创 switchyomega设置浏览器代理
proxy switchomega ->选项 -> 新建情景模式 -> HTTP 127.0.0.1 8888 ->应用选项浏览器右上角图标 -> AID1806 -> 访问百度-->看抓包工具有没有抓到...
2019-09-02 15:05:48
3110
原创 fiddler 抓包工具的设置
1、 Tools-->options->HTTPS-> ....from browers only2 connections 设置端口号 8888点击ok 重启
2019-09-02 14:59:19
132
原创 mac下使用mono运行Fiddler！！
1.MAC安装mono从Mono 官网https://www.mono-project.com/download/stable/下载下载时页面会展示有相应的版本号，记住版本号，我下载的是5.16.0，所以接下来的<Mono Version>全都替换成5.16.0安装完之后执行/Library/Frameworks/Mono.framework/Version...
2019-09-02 14:44:10
1059
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人