爬虫之代理ip的用法

最新推荐文章于 2024-08-13 10:30:17 发布

chenkan0214

最新推荐文章于 2024-08-13 10:30:17 发布

阅读量161

点赞数

原文链接：https://my.oschina.net/u/3771014/blog/1632925

版权

#coding:utf-8
from urllib import request

url= 'http://www.baidu.com'
# 准备代理ip地址
proxy_ip = {
    'http':'139.224.135.94:80'
}
# 根据代理ip创建代理对象
proxy_handler = request.ProxyHandler(proxy_ip)
# 自己创建一个发送请求的对象
opener = request.build_opener(proxy_handler)
# 挂载opener对象
request.install_opener(opener)
# open()发起请求
# response = opener.open(url)
# print(response.read().decode('utf-8'))


ip_list = [
    '139.224.135.94:80',
    '211.159.171.58:80',
    '180.114.229.48:61234',
    '115.213.203.209:808',
    '119.28.152.208:80',
    '122.72.18.34:80',
    '120.79.184.10:6666',
    '120.92.88.202:10000'
]

for ip in ip_list:
    try:
        proxy_han = request.ProxyHandler({'http:':ip})
        opener = request.build_opener(proxy_han)
        request.install_opener(opener)
        # timeout 设置超时时间
        resp = opener.open('http://www.baidu.com',timeout=0.1)
        print(len(resp.read().decode('utf-8')))
    except Exception as e:
        print(ip,'不可用')
        print(e)
    else:
        print(ip,'可用')

读写excel（xlrd、xlwt）

最近需要从多个excel表里面用各种方式整理一些数据，虽然说原来用过java做这类事情，但是由于最近在学python，所以当然就决定用python尝试一下了。发现python果然简洁很多。这里简单记录一下。（由于是用到什么学什么，所以不算太深入，高手勿喷，欢迎指导）

一、读excel表

读excel要用到xlrd模块，官网安装（http://pypi.python.org/pypi/xlrd）。然后就可以跟着里面的例子稍微试一下就知道怎么用了。大概的流程是这样的：

1、导入模块

import xlrd

2、打开Excel文件读取数据

data = xlrd.open_workbook('excel.xls')

3、获取一个工作表

1  table = data.sheets()[0]          #通过索引顺序获取
2  table = data.sheet_by_index(0) #通过索引顺序获取
3  table = data.sheet_by_name(u'Sheet1')#通过名称获取

4、获取整行和整列的值（返回数组）

table.row_values(i)

table.col_values(i)

5、获取行数和列数　

table.nrows

table.ncols

6、获取单元格

　　table.cell(0,0).value

table.cell(2,3).value

就我自己使用的时候觉得还是获取cell最有用，这就相当于是给了你一个二维数组，余下你就可以想怎么干就怎么干了。得益于这个十分好用的库代码很是简洁。但是还是有若干坑的存在导致话了一定时间探索。现在列出来供后人参考吧：

1、首先就是我的统计是根据姓名统计各个表中的信息的，但是调试发现不同的表中各个名字貌似不能够匹配，开始怀疑过编码问题，不过后来发现是因为　　空格。因为在excel中输入的时候很可能会顺手在一些名字后面加上几个空格或是tab键，这样看起来没什么差别，但是程序处理的时候这就是两个完全　　不同的串了。我的解决方法是给每个获取的字符串都加上strip（）处理一下。效果良好

2、还是字符串的匹配，在判断某个单元格中的字符串（中文）是否等于我所给出的的时候发现无法匹配，并且各种unicode也不太奏效，百度过一些解决　　方案，但是都比较复杂或是没用。最后我采用了一个比较变通的方式：直接从excel中获取我想要的值再进行比较，效果是不错就是通用行不太好，个　　呢不能问题还没解决。

二、写excel表

　　写excel表要用到xlwt模块，官网下载（http://pypi.python.org/pypi/xlwt）。大致使用流程如下：

1、导入模块

　　import xlwt

2、创建workbook（其实就是excel，后来保存一下就行）

　　workbook = xlwt.Workbook(encoding = 'ascii')

3、创建表　　worksheet = workbook.add_sheet('My Worksheet')

4、往单元格内写入内容

　　worksheet.write(0, 0, label = 'Row 0, Column 0 Value')

5、保存

　　workbook.save('Excel_Workbook.xls')

由于我的需求比较简单，所以这上面没遇到什么问题，唯一的就是建议还是用ascii编码，不然可能会有一些诡异的现象。