草稿
learn_is_happy
这个作者很懒,什么都没留下…
展开
-
python 爬虫 大众点评美食排名
import requestsfrom bs4 import BeautifulSoupimport redef getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return原创 2017-12-15 20:34:13 · 2433 阅读 · 0 评论 -
python 爬虫scrapy框架 自建IP代理池
1、http://www.xicidaili.com/wt 国内免费代理网站2、利用scrapy爬取该网站内的IP地址与端口,写入txt文档3、编写脚本测试txt文档中的ip地址与端口是否可用4、将可用ip地址与端口输入txt文档———————————————————————— 1、编写Item类 由于我们只需要ip地址与端口,所以只写一个属性即可# -*- coding: utf-8 -*-原创 2017-12-25 15:51:51 · 3500 阅读 · 0 评论 -
python 爬取排行榜小说和文本
# -*- coding: utf-8 -*-import scrapyimport syssys.path.append("D:\\pycodes\\novel")class XiaoshuoSpider(scrapy.Spider): name = 'xiaoshuo' start_urls = ['https://www.qu.la/paihangbang/']原创 2017-12-26 11:18:11 · 1349 阅读 · 0 评论 -
python爬虫 scrapy框架学习
python爬虫 scrapy框架学习一、步骤: 新建项目 (Project):新建一个新的爬虫项目 明确目标(Items):明确你想要抓取的目标 制作爬虫(Spider):制作爬虫开始爬取网页 存储内容(Pipeline):设计管道存储爬取内容1、新建项目 scrapy startproject filename baidu.com2、明确目标 在Scrapy中,i原创 2017-12-19 14:08:32 · 479 阅读 · 0 评论 -
《利用python进行数据分析》学习 numpy库
《利用python进行数据分析》学习 numpy库一、基本概念 Numpy是高性能科学计算和数据分析的基础包,功能如下: 1、ndarray,一个具有矢量算数运算和复杂广播能力的快速且节省空间的多维数组。 2、用于对整组数据进行快速运算的标准数学函数(无需编写循环) 3、用于读写磁盘数据的工具以及用于操作内存映射文件的工具 4、线性代数、随机数生成以及傅里叶变换功能对于大部分数据分析应原创 2017-12-27 20:18:07 · 628 阅读 · 0 评论