![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习总结
文章平均质量分 58
maverick17
这个作者很懒,什么都没留下…
展开
-
Python 几种基本的排序算法
排序算法说明(1)排序的定义:对一序列对象根据某个关键字进行排序;输入:n个数:a1,a2,a3,...,an输出:n个数的排列:a1',a2',a3',...,an',使得a1'<=a2'<=a3'<=...<=an'。(2)对于评述算法优劣术语的说明稳定:如果a原本在b前面,而a=b,排序之后a仍然在b的前面;不稳定:如果a原本在b的前面,而a=b,排序之后a可能会出现...原创 2018-03-11 13:15:33 · 323 阅读 · 0 评论 -
anaconda3的安装Python包的小技巧
虽然anaconda中包含了大部分我们需要的包,但有时候需要导入其中没有的Python包时,我们可以进入anaconda的安装目录的scripts下,按住Shift右键,“在此处打开命令窗口”,然后在这个scripts目录下进行pip安装, 比如我想安装selenium,anaconda3里没有,我就在anaconda安装目录的scripts下进行pip install seleni...原创 2018-04-11 11:11:49 · 3897 阅读 · 2 评论 -
吴军-《数学之美》读书笔记
最近在拜读吴军博士的《数学之美》这本书,大有醍醐灌顶,相见很晚的感觉,故整理下学习笔记,记录启发。 1.搜索引擎的“道”:自动下载尽可能多的网页;简历快速有效的索引;根据相关性对网页进行公平准确的排序。简化其根本是对索引进行布尔运算 2.图论与搜索引擎: 遍历算法有广度优先算法(BFS),深度优先算法(DFS)。网络爬虫使用离散表(哈希表)来记录网页是否下否下载过的信息。决定网...原创 2018-04-16 01:20:16 · 722 阅读 · 0 评论 -
scrapy中设置随机代理
使用fake_useragent来进行伪代理,安装:pip install fake_useragent 首先在middleware.py中写一个随机更换user-agent的classfrom fake_useragent import UserAgent class RandomUserAgentMiddleware(object): # 随机更换useragent ...原创 2018-04-15 09:18:46 · 776 阅读 · 0 评论 -
CSS选择器总结
CSS 指层叠样式表 (Cascading Style Sheets),样式定义如何显示 HTML 元素,样式通常存储在样式表中,多个样式定义可层叠为一。样式表定义如何显示 HTML 元素,就像 HTML 3.2 的字体标签和颜色属性所起的作用那样。样式通常保存在外部的 .css 文件中。通过仅仅编辑一个简单的 CSS 文档,外部样式表使你有能力同时改变站点中所有页面的布局和外观。CSS语...原创 2018-04-09 11:46:55 · 200 阅读 · 0 评论 -
scrapy Item Loaders总结
相比于用item直接存储数据,Item Loaders存储的是添加数据的方法,更便捷,简约和易维护。 In other words, Items provide the container of scraped data, while Item Loaders provide the mechanism for populating that container.Item Loade...原创 2018-04-09 11:22:26 · 214 阅读 · 0 评论 -
形式语言与状态机
学习《统计自然语言处理-宗成庆》这本书时,对理论部分第三章-形式语言与自动机存在许多困惑,因为抽象的概念比较多,而且例子比较少,理解起来比较晦涩,故自己整理下这方面知识,以期巩固知识,加深理解。一.概念梳理 1.正则文法: 正规文法是产生式规则取下述形式的一种形式文法(N, Σ, P, S),又称3型文法:1.A -> a ,此处的A是N中的非终结符号,a是Σ中的终结符号...原创 2018-03-13 23:44:07 · 485 阅读 · 0 评论 -
Xpath 学习整理
学习scrapy的时候需要用到Xpath的知识,故整理下知识点。什么是 XPath?XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath 是一个 W3C 标准 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、...原创 2018-03-19 22:51:22 · 310 阅读 · 0 评论 -
python读取csv、json、xml文件
# 读取csv文件 (数据以逗号分割)import csv csvfile = open('data.csv', 'rb') reader = csv.reader(csvfile) # read接收文件对象,返回数据列表 reader1 = csv.DictReader(csvfile) # 返回数据字典 for row in reader: print(row)# json文件(...原创 2018-04-24 10:00:52 · 368 阅读 · 0 评论