- 博客(9)
- 资源 (4)
- 收藏
- 关注
翻译 Python的特殊属性和用法
用__dict__把dict转换为对象的属性1 class Messenger:2 def __init__(self, **kwargs):3 self.__dict__ = kwargs4 5 6 m = Messenger(info="some information", b=[’a’, ’list’])7 m.more = 118 prin
2016-06-18 09:15:14 5977 2
原创 python实现爬取千万淘宝商品的方法
本文实例讲述了python实现爬取千万淘宝商品的方法。分享给大家供大家参考。具体实现方法如下:123456789101112131415161718192021222324252627282930313233343536
2016-06-13 12:53:40 7742 1
原创 Python使用Scrapy爬取妹子图
Python Scrapy爬虫,听说妹子图挺火,我整站爬取了,上周一共搞了大概8000多张图片。和大家分享一下。核心爬虫代码123456789101112131415161718192021222324252627282930313
2016-06-13 12:51:49 3152
原创 Python实现爬取知乎神回复简单爬虫代码分享
看知乎的时候发现了一个 “如何正确地吐槽” 收藏夹,里面的一些神回复实在很搞笑,但是一页一页地看又有点麻烦,而且每次都要打开网页,于是想如果全部爬下来到一个文件里面,是不是看起来很爽,并且随时可以看到全部的,于是就开始动手了。工具1.Python 2.72.BeautifulSoup分析网页我们先来看看知乎上该网页的情况网址:,容易看到,网址是有规律的,page慢慢递增,这
2016-06-13 12:49:52 2678
原创 python爬取网站数据保存使用的方法
编码问题因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了。问题要从文字的编码讲起。原本的英文编码只有0~255,刚好是8位1个字节。为了表示各种不同的语言,自然要进行扩充。中文的话有GB系列。可能还听说过Unicode和UTF-8,那么,它们之间是什么关系呢?Unicode是一种编码方案,又称万国码,可见其包含之广。但是具体存储到计算机上,并不用这种编码,
2016-06-13 12:41:04 2799
原创 利用selenium登陆智联招聘,获取cookie
# -*- coding: utf-8 -*-import timeimport requestsfrom pandas import Series, DataFrameimport sysreload(sys)from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import We
2016-06-08 15:33:25 5119
原创 python实现自动化登陆不需要密码
比如我下面这段给出的example,可以完成你的需求,模拟登录人人# -*- coding:utf-8 -*-from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_cond
2016-06-08 11:00:31 3296
原创 python利用selenium获取cookie实现免登陆
目录安装selenium package引入selenium package 建立webdriver对象打开设定的url并等待response通过xpath找到登录框并填入相应帐号密码模拟点击登录验证登录成功与否若currenturl发生变化则认为登录成功通过对象的方法获取当前访问网站的session cookie得到cookie之后就可以通过urllib2访问相应的网站并可实现网页爬取
2016-06-08 10:37:56 44592 5
原创 Selenium Webdriver元素定位的八种常用方式
在使用selenium webdriver进行元素定位时,通常使用findElement或findElements方法结合By类返回的元素句柄来定位元素。其中By类的常用定位方式共八种,现分别介绍如下。1. By.name()假设我们要测试的页面源码如下:button id="gbqfba" aria-label="Google Search" name="btnK" class=
2016-06-07 08:42:20 1781
推荐系统实践-项亮
2017-08-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人