python程序乱码解决

原创 2016年05月30日 16:15:40

安装好python后的牛刀小试

问题1: 在应用python 模块 chardet 运行程序时,若出现ImportError: No module named
chardet

问题2: UE没有python高亮着色

问题3:UserAgent获取

问题4:python程序出现乱码解决


代码片段 1

# coding:utf-8
#    '''
#    贴吧代码拉取
#    '''

import urllib2
import sys
import chardet

def load_page(url):
      '''
          根据url 加载页面
      '''

      user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"

      headers = {"User-Agent": user_agent}

      requ = urllib2.Request(url,headers = headers)

      response = urllib2.urlopen(requ)

      html = response.read()

      return html

代码片段 2

def tieba (url,page_begin,page_end):
    '''
        range(1,4)
        http://tieba.baidu.com/f?kw=%E5%AE%8C%E7%BE%8E%E4%B8%96%E7%95%8C&ie=utf-8&pn=50
    '''
    f = open('nihao.txt','w')
    for i in range(page_begin,page_end+1):
        pn = 50 * ( i - 1)

        myUrl = url + str(pn)

        print myUrl

        html =  load_page(myUrl)


        f.write("==========第%d页=========" %(i))
        f.write(html)
        if i == page_end+1 :
              f.close()




url = raw_input("请输入贴吧地址:")
page_begin = int(raw_input("请输入起始页码:"))
page_end = int(raw_input("请输入终止页码:"))
tieba (url,page_begin,page_end)

运行程序后发现,拉取的信息是乱码的。
解决方案:
更改代码片段 1

# coding:utf-8
#    '''
#    贴吧代码拉取
#    '''

import urllib2
import sys
import chardet

def load_page(url):
      '''
          根据url 加载页面
      '''

      user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"

      headers = {"User-Agent": user_agent}

      requ = urllib2.Request(url,headers = headers)

      response = urllib2.urlopen(requ)

      html = response.read()

      typeEncode = sys.getfilesystemencoding()

      infoencode = chardet.detect(html).get('encoding','utf-8')

      info = html.decode(infoencode,'ignore').encode(typeEncode)

      return info

添加代码

typeEncode = sys.getfilesystemencoding()

infoencode = chardet.detect(html).get(‘encoding’,’utf-8’)

info = html.decode(infoencode,’ignore’).encode(typeEncode)


完整代码:

# coding:utf-8
#    '''
#    贴吧代码拉取
#    '''

import urllib2
import sys
import chardet

def load_page(url):
      '''
          根据url 加载页面
      '''

      user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"

      headers = {"User-Agent": user_agent}

      requ = urllib2.Request(url,headers = headers)

      response = urllib2.urlopen(requ)

      html = response.read()

      typeEncode = sys.getfilesystemencoding()

      infoencode = chardet.detect(html).get('encoding','utf-8')

      info = html.decode(infoencode,'ignore').encode(typeEncode)

      return info


def tieba (url,page_begin,page_end):
    '''
        range(1,4)
        http://tieba.baidu.com/f?kw=%E5%AE%8C%E7%BE%8E%E4%B8%96%E7%95%8C&ie=utf-8&pn=50
    '''
    f = open('nihao.txt','w')
    for i in range(page_begin,page_end+1):
        pn = 50 * ( i - 1)

        myUrl = url + str(pn)

        print myUrl

        html =  load_page(myUrl)


        f.write("==========第%d页=========" %(i))
        f.write(html)
        if i == page_end+1 :
              f.close()




url = raw_input("请输入贴吧地址:")
page_begin = int(raw_input("请输入起始页码:"))
page_end = int(raw_input("请输入终止页码:"))
tieba (url,page_begin,page_end)

在编写这段代码出现的问题小结:

问题1: 在应用python 模块 chardet 运行程序时,若出现

Traceback (most recent call last):
File “tieba.py”, line 8, in
import chardet
ImportError: No module named chardet

解决方案:window下的python
由于下载的python并没有chardet模块导致的。
这个时候需要下载 chardet下载方式,点击chardet即可下载
下载后 解压缩 ,提取 chardet目录所有文件
将其所有内容copy放入\Python27\Lib\site-packages 新建chardet文件夹下

问题2: UE没有python高亮着色
解决方案:
下载对应的python着色 Python 2.6 & 3.0 (python26.uew)
http://www.ultraedit.com/downloads/extras/wordfiles.html

下载后将python26.uew 放到UE的workfile文件夹下,
workfile文件夹目录获取:
UE 选项卡 –>选择高级–>配置–>查找输入框输入 || 语法着色–>文档的完整目录名称就是 workfile的 path了,让后将下载的uew文件copy进去,重启UE,发现py文件的内容着色了,自动匹配查看方式。

问题3:UserAgent获取

<html>

<body>
<script type="text/javascript">
    document.write("<p>UserAgent: ")
    document.write(navigator.userAgent + "</p>")
</script>
</body>

</html>
版权声明:本文为博主原创文章,未经博主允许不得转载。~~~~

相关文章推荐

转:eclipse编写python程序解决中文乱码问题

http://www.cnblogs.com/linzhenjie/articles/2639113.html Eclipse搭建Python开发环境+Python中文处理 ...

一个用来处理手机通讯录乱码的小小小小python程序

从原先的手机导出了原先的通讯录,然后导入新的手机的时候,发现总是出现的是乱码。发现里面关于文件名的部分有问题,而且默认的编码方式有问题:原先的是utf-8,改为ANSI之后,把里面关于显示通讯录名字的...

解决Windows下python中文乱码问题

python解释器的默认编码方式和windows的默认编码方式不一致,如果编程时不注意很可能在处理非ASCII字符时出错

Python2.7操作Mysql数据库及乱码解决方案(附mysqldb win32 py2.7下载)

mysql是一个优秀的开源数据库,它现在的应用非常的广泛,因此很有必要简单的介绍一下用python操作mysql数据库的方法。python操作MySQL数据库需要安装一个第三方的模块,在http://...
  • zm2714
  • zm2714
  • 2012-09-13 14:47
  • 3145
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)