Python
JUNECODE
这个作者很懒,什么都没留下…
展开
-
第三方库手动安装教程(以lxml库为例)
案例前提:已安装Python 已安装pip1、进入官网https://www.lfd.uci.edu/~gohlke/pythonlibs/,搜索lxml库,下载到本地(放到Python目录下的Scripts文件中)2、打开cmd,键入pip install wheel,先安装wheel库了才能安装.whl文件。3、此处根据提示,更新PIP(可不更新...原创 2019-08-03 23:07:04 · 7500 阅读 · 1 评论 -
实例学习——爬取酷狗TOP500数据
酷狗网址:https://www.kugou.com/yy/rank/home/1-8888.html?from=rank环境:eclipse+pydevimport requestsfrom bs4 import BeautifulSoupimport timeheaders ={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0...原创 2019-08-05 15:34:01 · 1228 阅读 · 0 评论 -
实例学习——爬取《斗破苍穹》全文小说
阅读前提:python基本语法 正则表达式开发环境:(Windows)eclipse+pydevhttp://爬取网址:www.doupoxs.com/doupocangqiong/import requestsimport reimport timeheaders ={'User-Agent':'Mozilla/5.0 (Win...原创 2019-08-09 23:57:56 · 522 阅读 · 0 评论 -
实例学习——爬取豆瓣网TOP250数据
开发环境:(Windows)eclipse+pydev 网址:https://book.douban.com/top250?start=0from lxml import etree #解析提取数据import requests #请求网页获取网页数据import csv #存储数据fp = o...原创 2019-08-10 23:33:11 · 347 阅读 · 0 评论 -
非关系型数据库MongoDB初步使用教程
安装:官网(https://www.mongodb.com/)安装难度不大,依序即可1.新建存储文件 完成后,打开MongoDBx下载路径,新建名为data的文件夹,在此新建名为db的文件夹,db文件夹即用于存储数据2.配置文件 在bin路径下输入配置信息——>mongod --dbpathD:\MongoDB\data\db (此处为存储文件路径)...原创 2019-09-03 23:04:56 · 290 阅读 · 0 评论 -
实例学习——爬取豆瓣音乐TOP250数据(数据库存储)
开发环境:(Windows)eclipse+pydev+MongoDB豆瓣TOP网址:https://music.douban.com/top250一、连接数据库打开MongoDBx下载路径,新建名为data的文件夹,在此新建名为db的文件夹,db文件夹即用于存储数据在bin路径下输入配置信息——>mongod --dbpathD:\MongoDB\data\db ...原创 2019-09-04 17:59:41 · 1898 阅读 · 0 评论 -
实例学习——爬取Pexels高清图片(学习异步加载)
近来学习爬取Pexels图片时,发现书上代码会抛出ConnectionError,经查阅资料知,可能是向网页申请过于频繁被禁,可使用time.sleep(),减缓爬取速度,但考虑到爬取数据较多,运行时间过长,所以选择对抛出的异常pass,在此修正。开发环境:(Windows)eclipse+pydev爬取网址:https://www.pexels.com/search/book/1...原创 2019-09-07 09:05:33 · 1134 阅读 · 0 评论 -
实例学习——爬取简书网用户动态(lxml/bs4)
开发环境:(Windows)eclipse+pydev+MongoDB爬取网址:https://www.jianshu.com/u/9104ebf5e177lxml解析:# _*_ coding:utf-8 _*_import requestsfrom lxml import etreeimport pymongoclient = pymongo.MongoCli...原创 2019-09-08 10:26:53 · 378 阅读 · 0 评论