Python
普通网友
这个作者很懒,什么都没留下…
展开
-
python sys模块
里面有个 sys.path属性。他是一个list.默然情况下python导入文件或者模块的话,他会先在sys.path里找模块的路径。如果没有的话,程序就会报错。 所以我们一般自己写程序的话。最好把自己的模块路径给加到当前模块扫描的路径里,eg: sys.path.append(‘你的模块的名称’),这样程序就不会因为找不到模块而报错。原创 2017-03-01 15:08:12 · 1125 阅读 · 0 评论 -
Python爬虫--使用scrapy框架(2)
1.需求介绍上一篇文章中讲的是抓取一个网页的数据,但是如果爬取的一个网站中有很多页,我们又想把每一页的数据都爬取下来怎么办呢,例如我们接下来将要爬取的这个网站,如图红框中的next,点击后会进入下一页: 2.编写代码下面的代码将展示如何爬取多个页面的数据:import scrapyclass QuotesSpider(scrapy.Spider): name ...原创 2018-04-26 23:37:33 · 294 阅读 · 0 评论 -
Python爬虫--使用scrapy框架(1)
1.安装scrapy首先安装Scrapy框架,可以使用pip3 install scrapy,安装scrapy时会自动安装twisted,但是可能会安装不成功,可以下载一个你的python对应版本的twisted(可以去这个网站下载点击下载twisted),使用pip3来安装它,再使用pip3 install scrapy安装scrapy.2.网页源码使用scrapy爬取七月在线网站课...原创 2018-04-25 22:05:12 · 329 阅读 · 0 评论 -
Python爬虫--Beautiful Soup
如果没有安装bs4,使用pip安装bs4。test.html文件如下,注意该文件不是标准的html文件,因为body标签没有闭合,后面会讲到:<html><head><title>The Dormouse's story</title></head><body><p class="title" n原创 2018-04-16 22:49:12 · 244 阅读 · 0 评论 -
Python爬虫--使用cookies登录豆瓣网
用python做网络爬虫时,有时需要登录某些网站。 例如使用requests请求登录豆瓣网的时候需要输入用户密码,可能还需要输入验证码,比较麻烦。 现在在请求豆瓣网链接www.douban.com的时候,使用post加上cookies,可以不用输入账号和密码直接登录。方法如下: 打开浏览器,打开豆瓣的主页,按下键盘上的F12键(打开浏览器的开发者工具),此时输入账号和密码登录豆瓣网。查看...原创 2018-04-19 22:27:10 · 8170 阅读 · 2 评论 -
python操作mysql数据库
转载:http://blog.sina.com.cn/s/blog_7e662b4a01012qgm.htmlpython 操作数据库,要安装一个Python和数据库交互的包MySQL-python-1.2.2.win32-py2.5.exe,然后我们就可以使用MySQLdb这个包进行数据库操作了。 操作步骤如下: 1、建立数据库连接 import M转载 2017-02-14 13:49:11 · 339 阅读 · 0 评论 -
python生成xml文件
转自:http://www.2cto.com/kf/201501/372716.html 本文是一个使用ElementTree有关类库,生成xml文件的例子# *-* coding=utf-8from xml.etree.ElementTree import ElementTreefrom xml.etree.ElementTree import Elementfrom xml.etree.转载 2017-02-14 13:45:06 · 1428 阅读 · 0 评论 -
python中lxml模块生成xml文件
用python自带的xml.etree.ElementTree模块和xml.dom.minidom模块生成xml文件中标签的属性时,属性顺序会按照字典顺序重排,要想按照自己设定顺序来,可以使用lxml模块,lxml模块不是python自带的,需要自己安装,安装方法见上一篇博客。lxml模块用法的例子如下:from lxml import etreeif __name__ == '__main__':原创 2017-02-13 16:07:28 · 8883 阅读 · 0 评论 -
windows下安装python lxml
windows 环境下安装 lxml python1、首先保证你的python 环境安装完善2、把http://peak.telecommunity.com/dist/ez_setup.py 文件下载到电脑上3、打开运行 cmd 执行:python ez_setup.py4、安装完毕 ,PATH环境变量里面添加路径:如:E:\python27\Scripts(E:转载 2017-02-13 15:58:20 · 739 阅读 · 0 评论 -
python3安装web.py和psutil
1.安装web.py安装web.py的python3.x的版本不能直接pip3 install web.py,因为会报一堆错误, 要想用pip3安装可以执行pip3 install web.py==0.40.dev02.安装psutil安装psutil时,直接执行pip3 install psutil, 报错可能如下: building 'psutil._psutil_linux...原创 2018-05-30 21:57:52 · 3630 阅读 · 0 评论