爬虫
skalpat
这个作者很懒,什么都没留下…
展开
-
fiddler 抓包工具的设置
1、 Tools-->options->HTTPS-> ....from browers only2 connections 设置端口号 8888点击ok 重启原创 2019-09-02 14:59:19 · 132 阅读 · 0 评论 -
启动elasticsearch
1.启动之前查看jdk版本:java -version (确保jdk为1.8版本)2.启动elasticsearch命令:注意要切换到目录下sh ./bin/elasticsearch注:出现starting与started表示启动成功,出现127.0.0.1:9200表示默认监听端口9200...原创 2019-09-22 16:51:37 · 410 阅读 · 0 评论 -
raise ReadTimeoutError(self._pool, None, 'Read timed out.') pip._vendor.urllib3.exceptions.ReadTimeo
python 安装第三方库,超时报错--Read timed out.Traceback (most recent call last):File "/home/xiaoduc/.pyenv/versions/3.5.0/lib/python3.5/site-packages/pip/_vendor/requests/packages/urllib3/response.py", line 2...原创 2019-09-22 10:39:34 · 3312 阅读 · 0 评论 -
mac selenium.common.exceptions.WebDriverException: Message: Can not connect to the Service chromedri
解决办法ping localhost1. 确保你的webdriver(如safaridriver、phantomjs等)已经下载并解压存放在你的环境变量目录下我的存放目录:/usr/bin/chromedriver检查方式:terminal中输入which chromedriver2.如果仍然不行,请尝试 ping localhost在缺失127.0....原创 2019-09-19 14:38:31 · 3937 阅读 · 1 评论 -
FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'
是因为没有 安装chromedriver Mac 版本下面是安装步骤有两个下载地址:1、http://chromedriver.storage.googleapis.com/index.html2、https://npm.taobao.org/mirrors/chromedriver/当然,你首先需要查看你的Chrome版本,在浏览器中输入chrome://version/...原创 2019-09-18 14:41:08 · 8142 阅读 · 5 评论 -
phantomjs 截图是空白,源代码也是空白
通常这种情况伴随着qq图片页加载不出来解决办法原创 2019-09-18 13:35:44 · 2161 阅读 · 0 评论 -
json 与 python 数据转换
json.loads json格式-->python数据类型json python对象 字典数组 列表json.dumps() python数据类型 -->json格式python json字典 对象列表 数组元组 数组注意 json.dumps()默认使用ascii编码 ...原创 2019-09-17 09:25:00 · 151 阅读 · 0 评论 -
OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ([Errno 8] nodename nor servn
在MySQL Server 已经安装好的情况下, Python 3 使用 pymysql 进行连接数据库操作时,源代码是 db = pymysql.connect("localhost","root","",charset="utf8")解决办法貌似并不规范,我对代码进行了更改,添加了键,如下:# 连接数据库db = pymysql.connect(host=...原创 2019-09-09 09:27:25 · 1258 阅读 · 0 评论 -
AttributeError: 'NoneType' object has no attribute 'encoding'
原因 数据库连接语句哟噗问题db = pymysql.connect("localhost","root","",charset="utf8")注意这里是utf8 而不是utf-8原创 2019-09-09 09:18:56 · 1623 阅读 · 0 评论 -
csv模块使用流程
1 打开csv文件 with open("测试.csv,"a") as f:2 初始化写入对象 writer = csv.writer(f)3 写入数据 writer.writerow(列表)原创 2019-09-05 15:21:31 · 171 阅读 · 0 评论 -
正则表达式
2 正则表达式re 1使用流程 1 创建编译对象 :p=re.compile("正则表达式") 2 对字符串匹配 r=p.match("字符串") 3 获取匹配结果 print(r.group()) 2 常用方法 1 match(s) 字符串开头的第一个,返回对象 2 search(s) ...原创 2019-09-04 16:23:53 · 149 阅读 · 0 评论 -
爬虫请求模块
1 版本python2 : urllib urllib2python3 : 把urllib 和 urllib2合并,urllib.request2 常用方法2.1urllib.request.urlopen("网址") 向网站发起一个请求并获取响应 2.1.1字节流 = response.read() 字符串 = response.read...原创 2019-09-02 16:31:54 · 155 阅读 · 0 评论 -
switchyomega设置浏览器代理
proxy switchomega ->选项 -> 新建情景模式 -> HTTP 127.0.0.1 8888 ->应用选项浏览器右上角图标 -> AID1806 -> 访问百度-->看抓包工具有没有抓到...原创 2019-09-02 15:05:48 · 3111 阅读 · 0 评论 -
spyder mac 常用快捷键
注释与取消注释 command + 1保存:command + s运行程序:f5自动补全: tab原创 2019-08-31 16:50:09 · 2432 阅读 · 1 评论 -
mac下使用mono运行Fiddler!!
1.MAC安装mono从Mono 官网https://www.mono-project.com/download/stable/下载下载时页面会展示有相应的版本号,记住版本号,我下载的是5.16.0,所以接下来的<Mono Version>全都替换成5.16.0安装完之后执行/Library/Frameworks/Mono.framework/Version...原创 2019-09-02 14:44:10 · 1060 阅读 · 0 评论 -
scrapy框架的使用
1.创建项目scrapy startproject testspider2 明确目标(items.py)3 制作爬虫程序 xxx/spiders: scrapy genspider 文件名 域名4 处理数据 (pipelines.py)5 配置settings.py 关闭robots协议 添加headers6 运行爬虫项目 scrap...原创 2019-09-23 16:24:49 · 402 阅读 · 0 评论