2017年11月_py_tester

原创 python去utf文件的BOM头部

在window的环境下，保存的文本文档会加上三个字符0xEF 0xBB 0xBF的头部，这三个字符可能会影响对文本的读取，形成乱码，在这里记录下如何避免。（1）首先发现直接保存为ASCII的文本文件是不包含BOM头部的（2）若保存成UTF-8会有这三个字符，所以像notepad++保存会有一个选项叫做UTF-8无bom，是因为windows下默认的UTF-8会有这三个字符解决方法：

2017-11-28 20:46:30 1509

原创 python发邮件smtplib+mail

python3.6中mail不是内置模块，所以需要手动安装，用下面的命令： pip3 install mail却总是报错： Command “python setup.py egg_info” failed with error code 1 in /private/tmp/pip-build-gg3k8x43/email/ 解决方法：百度进入pypi搜索：下载 https://pypi.p

2017-11-28 01:49:18 6825 5

转载 pip3安装django报certificate verify failed的解决方法

1.用pip3安装django模块时用pip3 install django和pip3 install -i https://pypi.douban.com/simple/ django=1.11.7都报下面的错误：解决方法一： pip3 –trusted-host pypi.python.org install django解决方法二：下载Django-1.11.7-py2.py3-none

2017-11-25 12:45:59 782

原创抓包工具Charles

去官网下载Charles Proxy 4.2.1版本在这个网站(http://charles.iiilab.com/)下载破解文件 charles.jar替换掉原文件夹里的charles.jar Mac: /Applications/Charles.app/Contents/Java/charles.jar Windows: C:\Program Files\Charles\lib\char

2017-11-23 14:34:28 315

什么是cookie 在爬虫的使用中，如果涉及到登录等操作经常会用到cookie，简单地说，我们访问的每一个互联网页面，都是通过http协议运行的，而http协议是一个无状态的协议：无法保存、维持会话之间的状态，如使用http成功登录一个网站，但是当我们访问该网站其他网页的时候，该登录状态会消失，此时还需要重新再登录一次，只要涉及到页面的更新都需要重新登录，这很不方便，所以我们就需要保存登录信息：c

2017-11-19 21:45:24 303

原创测试有道之浏览器的模拟--Headers属性

有时候我们爬一些网页的时候会出现403错误(urllib.error.HTTPError:HTTP Error 403:Forbidden),因为这些网站为了防止别人恶意采集信息进行了一些反爬虫的设置，解决方法：将爬虫伪装成浏览器方法一：使用build_opener()修改报头 (1)首先，定义一个变量url存储要爬取得网址，然后又定义一个变量存储UA信息，格式为一个元组(“User-Agent

2017-11-19 17:20:34 430

原创 Mac下安装brew及其他工具

进入homebrew官网https://brew.sh/index_zh-cn.html 按照官网提示在命令行执行ruby脚本（mac自带ruby）brew 使用方法在命令行输入brew回车，或者man brew 安装：brew install telnet 卸载：brew uninstall telnet 列出已安装的软件：brew list 更新brew：brew updat

2017-11-17 15:41:37 8127

原创 shell之echo用法和有色输出

语法：echo [-ne][字符串] / echo [–help][–version]描述：echo会将输入的字符串送往标准输出。输出的字符串间以空白字符隔开, 并在最后加上换行号。参数 -n 不要在最后自动换行； -e 打开反斜杠ESC转义。 -E 取消反斜杠ESC转义 (默认)转特殊字符 \a 发出警告声； \b 删除前一个字符； \c 最后不加上换行符号； \f 换行

2017-11-14 15:59:12 1299

转载 Python时间模块之time

Python的time模块

2017-11-09 17:44:36 1032

原创 shell输入输出重定向(不存在文件会自动创建)

1.覆盖式输出重定向：> cat for.sh > 1.txt cat for.sh > 1.txt cat for.sh > 1.txt 只写了一次，每次都先清除之前的内容（注意不只是覆盖，而是清空原文件内容），然后再写入下一次结果2.追加式输出重定向：>> cat for.sh > 1.txt cat for.sh > 1.txt cat for.sh > 1.txt 追加式，将

2017-11-08 22:00:51 13306

原创快速执行linux/Mac历史命令

history+!n然后回车

2017-11-08 20:06:27 1367

py_tester的博客