2017年10月_mycar001

转载 Python中Http的GET或POST请求支持Gzip压缩

【问题】在用python抓取网页的时候，很多网页返回的html的数据量比较大，比如好几十KB，希望在提交http的请求的时候，支持Gzip压缩，已减少数据量传输。【解决过程】 1.参考 http://flyash.itcao.com/post_1117.html 中说的，只需要在header中添加accept-encoding就可以了。去试试。 2.

2017-10-30 11:03:19 3498

转载设置Accept-Encoding为gzip,deflate，返回的网页是乱码

用C#写代码去获取网页内容。其中request的header中，设置Accept-Encoding为gzip,deflate：req = (HttpWebRequest)WebRequest.Create(gSkydriveUrl);req.Headers.Add("Accept-Encoding", "gzip,deflate");结果始终返回是乱码：

2017-10-30 10:59:35 43712 6

转载【经验总结】Http，网页访问，HttpRequest，HttpResponse相关的知识

以下记录自己在用C#语言，实现网页内容抓取，模拟登陆网页等过程中，所从无到有，一点点知道的一些知识，记录下来，以供参考（高手不要笑哈）： 1.Host不是自己指定/设置的，而是http请求会自动去设置用C#写http请求的header中，开始以为Host也是自己设置的：req.Headers.Add(“Host”, “login.live.com”);结果发

2017-10-30 10:43:45 525

转载 Python 2.x中常见字符编码和解码方面的错误及其解决办法

Python 2.x中的字符编码，设计的的确不好，导致初学者，甚至是即使用Python很长时间的人，都会经常遇到字符编解码方面的错误。下面就把一些常见情，尽量的都整理出来，并给出相应的解决办法。看此文之前Python中字符编码所涉及的背后逻辑（从你输入字符，到终端显示字符的背后过程）在去了解Python编码解码之前，还有个更加重要，但是很多时候却被其他解释相关知

2017-10-27 16:35:18 300

转载 Python 2.x中的和编码相关的常见问题和注意事项

声明：1.本文不再更新。2.本人内容，已合并到：【总结】Python中常见字符编码和解码方面的错误及其解决办法新帖子总结的更加全面，并且分析了原因，和总结了解决办法，还给出了示例代码。3.这方面的内容，如有更新，也只会更新到上述新帖子中。Python 2.x中，的确是，经常性地，容易出现字符编码相关的错误。即便像我这样的，算是在字符编码折

2017-10-27 16:18:01 208

转载【整理】Python的字符编码检测库：charade和chardet的区别

【背景】之前用过Python的chardet：https://pypi.python.org/pypi/chardet（代码下载在：https://github.com/dcramer/chardet）现在，在看Requests的编码方式时，看到有个新的字符编码检测库：charadehttps://pypi.python.org/pypi/chara

2017-10-27 16:15:24 480

转载【教程】如何用Python中的chardet去检测字符编码类型

【背景】之前已经使用过chardet了，也算用了不少次了。之前也写过和chardet相关的：【已解决】windows下，安装python的chardet【问题】Python中用Chardet检测出来从Windows的cmd中输入的字符串的编码是KOI8-R，而不是所希望的GBK或GB2312【整理】Python的字符编码检测库：charade和chardet

2017-10-27 16:13:19 819

转载 str字符和unicode字符的区别

实际情况是，beautifulsoup处理后的网页，的确是utf-8的。而utf-8和unicode，本身就不相等。首先，字符串分两种，一种是str字符，一种是unicode字符。str字符，就是普通字符，某种编码的字符，包括ANSI，GBK，UTF-8等，而Unicode就是原始的unicode，未经过encode编码的unicode，而进过某种编码，比如utf-8，gbk等编码后的unic

2017-10-27 14:12:56 4008

转载 Win7中的Cmd命令行的使用技巧

对于Windows系统中的cmd工具，很多人都知道和使用过。我之前也用过，但是后来看到了这个：Windows7 CMD提示的5个技巧，才发现，原来还有更多的一些小技巧，是之前不知道的。所以现在来总结一下：【win7中cmd的一些高级的使用技巧】先说说我之前不知道的一些功能：1.cmd中按F7，可以调出（之前所输入的）命令的历史列表上图：用法是

2017-10-26 17:52:37 10043

转载 Python 抓取网页学习系列之一（网页编码格式

第一步：你需要知道你所抓取的网页编码格式，方法：右键查看网页编码，ctrl +F ，搜索：charset会看到：gbk" />，OK确定是gbk编码格式了；为什么会提到编码，这里大概讲讲原理：我们看到的所有字符，在计算机里面都是用01010101二进制编码，然后你要想在屏幕上看到ABCD，计算机需要指定某个特定的二进制串来对应ABCD，比如A是011，0100是B等，每个字母都

2017-10-20 16:15:46 943

转载自学Python八爬虫大坑之网页乱码

Bug有时候破坏的你的兴致，阻挠了保持到现在的渴望。可是，自己又非常明白，它是一种激励，是注定要被你踩在脚下的垫脚石！　　python2.7中最头疼的可能莫过于编码问题了，尤其还是在window环境下，有时候总是出现莫名其妙的问题，有时候明明昨天还好好的，今天却突然。。。遇到这种问题真的是一肚子的火。。。fuck！　　首先，在我们编写python代码的时候就要注意一些编码的规范。

2017-10-20 16:10:34 285

转载 github使用入门之GIT GUI Windows版

申明下是原创。这二天网上也看了不少关于github使用的文章，github对代码管理也开始用起来了。这篇给github新手看，大牛们请跳过。github说白了就是版本管理库，最常用的就是程序代码管理了。不过我也在github上看到有人在用它作为书本编辑，确实很强大。本篇内容包括github基础安装github提交一个版本github删除版本库

2017-10-17 11:11:03 398

转载 window下配置SSH连接GitHub、GitHub配置ssh key

遇到了github上无法增加ssh的问题，在setting中重新载入ssh and GPG keys页面。然后在git bash中当前路劲进入到c盘下的ssh页面，重新生成ssh keys。按一下步骤修改，最后成功！第一部分介绍：在windows下通过msysGit（Git for windows、Git Bash）配置SSH Keys连接GitHub。第二部分介绍

2017-10-17 10:56:52 396

转载 shell脚本命令运行python文件&python命令行运行python代码

单独的python文件运行的时候报错：在shell脚本中，运行shell脚本命令；在Python命令行中，运行Python代码。然而，“python hello.py”是一个脚本命令，不是python代码。因此，退出python命令行，直接cd到hello.py所在目录，运行python hello.py，即可。若是非要在python命令

2017-10-13 11:38:48 3788

转载 windows环境下pip安装python的包时候提示invalid syntax

刚学python，用pip安装出错，如下图：检查了一下环境变量，然而并没没问题。在stackowerflow上逛了一圈，找到了解决方法：在命令行下cd 进对应python的script文件目录，再执行pip指令即可。

2017-10-11 14:21:18 17766 3

转载 Python的hasattr() getattr() setattr() 函数使用方法详解

Python的hasattr() getattr() setattr() 函数使用方法详解hasattr(object, name)判断一个对象里面是否有name属性或者name方法，返回BOOL值，有name特性返回True，否则返回False。需要注意的是name要用括号括起来 1 >>> class test(): 2 ... name="

2017-10-11 09:30:27 359

转载 Python补充05 字符串格式化 (%操作符)

Python补充05 字符串格式化 (%操作符)作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！在许多编程语言中都包含有格式化字符串的功能，比如C和Fortran语言中的格式化输入输出。Python中内置有对字符串进行格式化的操作%。模板格式化字符串时，Python使用一个字符串作为

2017-10-07 16:16:20 226

mycar001的博客