python
文章平均质量分 50
fengzhizi76506
这个作者很懒,什么都没留下…
展开
-
python3中的map,filter,reduce函数解析
filter函数:filter()为已知的序列的每个元素调用给定的布尔函数,调用中,返回值为非零的元素将被添加至一个列表中[python] view plain copyprint?>>> def f1(x): if x > 20: return True else: return False >>> l1 = [ 1, 2,转载 2017-02-27 19:49:35 · 501 阅读 · 0 评论 -
python3中使用builtwith的方法(很详细)
1. 首先通过pip install builtwith安装builtwith[plain] view plain copyprint?C:\Users\Administrator>pip install builtwith Collecting builtwith Downloading builtwith-1.3.2.tar.gz Inst转载 2017-03-12 14:11:30 · 10295 阅读 · 9 评论 -
同时安装python2和python3的pip使用问题
同时装了2和3会涉及很多问题,比如pip.exe使用时会默认使用哪一个。今天下午我在用python2.7版本的pip安装模块时就遇到了很多问题。首先引用一下知乎上某大神的回答:作者:匿名用户链接:https://www.zhihu.com/question/21653286/answer/95532074来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载原创 2017-03-12 15:27:35 · 6431 阅读 · 1 评论 -
python3爬虫实战(3)
今天心血来潮去爬取了一下招聘网站的实时招聘信息。网址是http://xiaoyuan.zhaopin.com选的条件是北京,实习生,计算机软件。分析代码之后发现还是很容易的,不过过程中出了不少小问题,在这里分享一下。想要爬取的是类似的表单内容。是在ul的li里。用BeautifulSoup解析之后,tem_ul = bsoj.find("ul",{"class":"terminal原创 2017-04-07 20:07:54 · 527 阅读 · 0 评论 -
python3.6安装pyspider出现的问题
使用pip install pyspider 发现安装失败图片一于是上网查了一下原因是因为安装pyspider之前需要安装lxml 和 pycurl ,但是在安装pycurl的过程中遇到了同样的错误解决方案是安装wheel 和到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl 这个网址下载相应版本的pycurl ,如果是64位的就用转载 2017-04-14 09:21:39 · 3909 阅读 · 0 评论 -
python3.6安装scrapy
转载自:http://blog.csdn.net/liuweiyuxiang/article/details/68929999 (先膜大佬一发,早就想安装却一直出问题,今天终于解决了)首先考虑使用最简单的方法安装[plain] view plain copyprint?pip install scrapy pip i转载 2017-04-14 09:31:14 · 2757 阅读 · 1 评论 -
pyspider遇到的SSL问题
第一次使用pyspider,发现 run之后运行左边的follow后会出现以下报错:[E 170414 21:02:52 base_handler:203] HTTP 599: SSL certificate problem: unable to get local issuer certificate Traceback (most recent call last):原创 2017-04-14 21:08:52 · 4500 阅读 · 6 评论 -
python3+selenium实现自动进熊猫直播间发弹幕的脚本
学完python+selenium后突然觉得进入主播的直播间刷一波弹幕是个不错的想法(虽然这样的做法不是很好,但是完全可以证明自己的技术)这里进入熊猫直播间的秋日房间(你们被封号了我不管)# coding = utf-8from selenium import webdriverimport timedr = webdriver.Chrome(executable_原创 2017-04-15 20:01:37 · 5736 阅读 · 1 评论 -
python+selenium用法小结
元素定位:find_element_by_id() //根据id属性定位find_element_by_name() //根据name属性定位find_element_by_class_name() //根据class属性定位find_element_by_link_text() //根据文字链接find_element_by_partial_link原创 2017-04-16 11:31:33 · 1459 阅读 · 0 评论 -
python3的爬虫算法(3) 实现自动登陆,签到
学完python不久觉得可以写一个自动签到的东西来省点力气,而且也可以赚取积分。一开始的文章是看的这个:http://blog.csdn.net/u283056051/article/details/49946981上面分析的很清晰,我就不再多说了。不过该博文的代码有些许错误(我猜应该是网站有更改)就是关于令牌(token)的问题。打开fiddle,登录后点开网页对应的reques原创 2017-04-20 08:53:44 · 6095 阅读 · 0 评论 -
python3.6关于tkinter的总结
pack()默认放到上面,依次向下排。接受参数:side:停靠方向:LEFT,TOP,RIGHT,BOTTOMfill: 填充:X,Y,BOTH,NONEexpand: YES,NOipdax,ipady: 内边距的x,y方向padx,pady: 外边距的x,y方向grid()网格布局row,column: 指定行列sticky: N,E,W,S决定组件是从哪个原创 2017-05-11 15:16:20 · 6504 阅读 · 0 评论 -
python3.6的tkinter运行问题
python3.6在运行tkinter时要选择 run as Python unit-test,否则报错ModuleNotFoundError: No module named 'tkinter.ttk'; 'tkinter' is not a package稍微提醒一下各位,仅此而已2333原创 2017-05-14 22:50:51 · 6147 阅读 · 0 评论 -
python写入文件编码问题UnicodeEncodeError
使用Python写文件的时候,或者将网络数据流写入到本地文件的时候,大部分情况下会遇到:UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题,但是无非就是encode,decode相关的,这是导致该问题出现的真正原因吗?不是的。 很多时候,我转载 2017-03-06 14:22:18 · 4078 阅读 · 0 评论 -
python3爬虫的编码问题
from urllib.request import urlopentextPage = urlopen("https://fengshenfeilian.github.io/")print(textPage.read())在非纯英文网页上爬取数据时,总是会出现各种意想不到的乱码。比如上文的代码运行结果含有中文,且所有中文都被替换成乱码。这个问题是因为python默认的把文本读原创 2017-03-05 23:30:08 · 3816 阅读 · 0 评论 -
python中双冒号(::)的用法
Python中::(双冒号)的用法,有需要的朋友可以参考下。1.“没什么首次没有为第二个,跳了三个”。它得到的切片序列的每一个第三个项目。 扩展片是你想要的。新在Python 2.32.Python的序列切片地址可以写成[开始:结束:一步]和任何启动,停止或结束可以被丢弃。a[::3]是每第三个序列。3.seq[::n]是每一个序列n个项的整个序列中。 例如: >>> ra转载 2017-02-27 20:08:43 · 21325 阅读 · 0 评论 -
python中if __name__ == '__main__'
python 中__name__ = '__main__' 的作用,到底干嘛的?有句话经典的概括了这段代码的意义:“Make a script both importable and executable”意思就是说让你写的脚本模块既可以导入到别的模块中用,另外该模块自己也可执行。这句话,可能一开始听的还不是很懂。下面举例说明:先写一个模块:#module.pyde转载 2017-02-27 20:15:14 · 489 阅读 · 0 评论 -
Python网页爬虫提示urllib2.HTTPError: HTTP Error 403: Forbidden 错误
最近写一个Python网页爬虫脚本,提示urllib2.HTTPError: HTTP Error 403:Forbidden,问了度娘,找到了下面的解决方法,解决了问题.出现urllib2.HTTPError: HTTP Error 403: Forbidden错误是由于网站禁止爬虫,可以在请求加上头信息,伪装成浏览器访问#伪装浏览器头headers = {'转载 2017-02-27 23:52:57 · 2342 阅读 · 0 评论 -
python3的爬虫算法(1)--获取网页数据
python3中根据特定的url获取网页数据的功能很强大,对于爬虫的介绍我也不多说。下面来介绍实现方法import urllib.request #python3中urllib的特定库from bs4 import BeautifulSoupimport codecsurl = 'http://day.2345.com/20170228385038.html?top'#此次爬取原创 2017-03-02 00:33:14 · 3072 阅读 · 1 评论 -
python3的爬虫算法(2)--下载图片并保存到指定途径
知道了如何获取网页数据之后,我们来学习一下如何下载图片import urllib.requestimport socketimport reimport sysimport osfrom bs4 import BeautifulSouptargetDir = r"D:\temp\img" #文件保存路径name = 1def destFile(path):原创 2017-03-02 00:53:22 · 2459 阅读 · 2 评论 -
python3的urlretrieve使用方法
urllib模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。urlretrieve(url, filename=None, reporthook=None, data=None)参数filename指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)参数reporthook是一个回调函数,当连接上服务器、以转载 2017-03-02 00:54:00 · 70633 阅读 · 1 评论 -
python爬虫get和post方法的使用以及cookie
首先确定你要爬取的目标网站的表单提交方式,可以通过开发者工具看到。这里推荐使用chrome。这里我用163邮箱为例打开工具后再Network中,在 Name选中想要了解的网站,右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息,cookie是你登录之后产生的存储会话(session)信息的。第一次访问该网页原创 2017-03-07 23:23:19 · 5424 阅读 · 0 评论 -
python爬虫
关联到mysql数据库的爬虫,官方给的模板代码是import pymysqlconn = pymysql.connect(host='127.0.0.1',unix_socekt='/tmp/mysql.sock',user='root',passwd=None,db='mysql')cur = conn.cursor()cur.execute("USE scraping")原创 2017-03-05 15:35:45 · 595 阅读 · 0 评论 -
python3中pymysql中将mysql的编码转换为unicode
在进行网络数据采集时,处理Unicode 字符串是很痛苦的事情。默认情况下,MySQL 也不支持Unicode 字符处理。不过你可以设置这个功能(这么做会增加数据库的占用空间)。因为在维基百科上我们难免会遇到各种各样的字符,所以最好一开始就让你的数据库支持Unicode:ALTER DATABASE scraping CHARACTER SET = utf8mb4 COLLATE原创 2017-03-05 16:45:48 · 3892 阅读 · 0 评论 -
python的时间函数用法
Python time时间模块需要引用了这个其实也叫函数了我们可以使用time时间模块来进行日期时间的显示了,今天我们一起来看看Python time时间模块用法吧,具体的步骤细节如下文介绍。ec(2);看Python time时间模块用法吧,具体的步骤细节如下文介绍。Python提供time时间模块需要单独引入#推迟调用线程的运行,secs指秒数。time.sleep(sec转载 2017-02-26 16:55:00 · 627 阅读 · 0 评论 -
python中format函数的用法
自python2.6开始,新增了一种格式化字符串的函数str.format(),可谓威力十足。那么,他跟之前的%型格式化字符串相比,有什么优越的存在呢?让我们来揭开它羞答答的面纱。语法它通过{}和:来代替%。“映射”示例通过位置123456In [1]:'{0},{1}'.format('kzc',18)转载 2017-02-26 21:32:56 · 994 阅读 · 0 评论 -
Python3.6应用Pyinstaller打包py文件的一些注意事项
打开cmd进入要打包的py文件目录,使用命令Pyinstaller -F -w -p -i myfile.py-F 表示生成单个可执行文件-w 表示去掉控制台窗口,这在GUI界面时非常有用。不过如果是命令行程序的话那就把这个选项删除吧!-p 表示你自己自定义需要加载的类路径,一般情况下用不到-i 表示可执行文件的图标当py文件中含有第三方库时,打包之前要把用到的第三方库文件原创 2017-11-05 16:31:50 · 4192 阅读 · 0 评论