python
hdu09075340
这个作者很懒,什么都没留下…
展开
-
python常用操作样例-文件处理、代理请求
1、获取指定目录下的文件列表 import os ##读取目录下的所以文件名称 def getdir(url): listdir = os.listdir(url) print("len=",len(listdir)) for arg in listdir: print(arg) if __name__=="__main__": getdir("原创 2017-07-10 09:39:34 · 415 阅读 · 0 评论 -
python实例-通过cookie实现登录csdn获取自己微博的文章列表
在使用python做爬虫的时候,大部分情况都会遇到登录问题,这就涉及到python的cookie的用法。这里参照网上的一些资料实现了获取csdn自己微博的列表 功能目标:获取csdn我的微博入口,查看个人的微博列表 思路:1、首先分析csdn登录需要哪些参数 2、根据需要的参数生产data进行登录,保存cookie信息 3、分析我的微博的路径进行后续访问,通过Beautiful原创 2017-07-04 11:46:43 · 546 阅读 · 0 评论 -
python编写爬虫获取区域代码-递归获取所有子页面
上一篇文章用htmlparser写了一个java的获取区域的爬虫,觉得太笨重。发现python也可以实现这个功能。 这里就简单写一个用python3写的小爬虫例子 功能目标:对指定网站的所有区域信息进行筛选,并保存到文本中 思路:1、定义一个队列,初始向队列中put一个地址 2、判断队列是否为空,不为空调用getURL函数,为空则结束 3、getURL获取URL链接的内容,并原创 2017-07-03 15:33:09 · 6320 阅读 · 1 评论