python爬虫学习
文章平均质量分 51
Greepex
复旦大学硕士在读
展开
-
Python工程方面一些问题
Go for it!导入模块的根路径和导入文件的根路径导入模块的根路径和导入文件的根路径经过测试发现,Python导入模块的根路径和导入文件的根路径是不一致的。但是平时由于我们一般会在当前路径下直接运行python代码,这个特殊情况下两者是一致的。比如:C:\>python test.py 这里的导入模块根路径和导入文件根路径都是C:\目录。但是,考虑如下情况:C:\>python Adir/test.py那么,这个时候,导入模块的根路径则是C:\Adir,而导入文件的根路径则为原创 2021-10-20 15:40:29 · 317 阅读 · 0 评论 -
Python3 sorted自定义排序
Python3的sorted函数具有key参数,可以进行自定义的排序,但并不是直接将自定义比较函数赋给key(这一点和C++是不一样的)。在python3中,需要import functools来传递比较函数。注意,在Python3中,自定义比较函数的返回值必须为[1, -1, 0],具体如何使用以下列简单程序为例:from functools import cmp_to_keynums = [1, 3, 2, 4]nums.sort(key=cmp_to_key(lambda a, b: a原创 2021-05-16 19:34:21 · 1025 阅读 · 0 评论 -
经典算法回顾总结
Go for it! 1. 递归(分治)1.1 递归累加问题1.2 第二种问题1. 递归(分治)最近刷到一些递归题目,总结了一下递归的程序编写框架。针对不同问题,递归函数有两种不同的形式:递归累加问题:具有返回值的递归函数;全排列问题:没有返回值,但对某一中间变量进行增删的递归函数。1.1 递归累加问题对于第一种问题的递归函数一般只包含两部分内容:返回的边界条件;递归公式。以斐波那契问题为例,我们可以很容得到斐波那契函数的递归函数:def fib(x): # 定义返回的边界条件原创 2021-05-16 17:14:32 · 310 阅读 · 0 评论 -
Python之lambda&map&reduce&filter
Go for it!1. Python lambda2. map&reduce&filter1. Python lambda之前没怎么看过Python的lambda(匿名函数)的用法,最近抽空记一下。lambda本质是一个可以返回单个值的函数(输入参数则不限)。 其函数形式为:lambda <input1>, <input2>, <input3>:<expression>冒号之前是输入的参数,冒号之后是返回的表达式。比如f(x,y,原创 2021-04-07 16:17:25 · 206 阅读 · 3 评论 -
百度搜索引擎和必应搜索引擎搜索内容简单爬取Python
这个博客用于记录我的计算机学习的路途,本文用于记录Python百度搜索爬虫编写过程。第一步 本程序所用的python库1,requests 用于GET网页返回的信息,这个库比较重要。可以用来模拟浏览器的GET和POST,伪装浏览器,成功爬取内容。比起urllib和urllib2要有很大的简便性。2,lxml中的etree可以通过xpath获取爬取到的内容的特定部分。配合chrome使用原创 2017-05-18 16:40:09 · 13270 阅读 · 0 评论 -
关于Python的一些学习资料总结
Python GIL 相关知识:http://www.cnblogs.com/hainan-zhang/p/6727621.htmlPython多线程相关知识:http://python.jobbole.com/85050/转载 2017-06-27 16:45:59 · 432 阅读 · 0 评论 -
关于tensorflow的学习博客摘录
CNN卷积神经网络 http://blog.csdn.net/u013082989/article/details/53695306 TensorFlow7: 基于RNN生成古诗词 http://blog.csdn.net/u014365862/article/details/53868544CNN卷积神经网络 http://blog.csdn.net/u01436转载 2017-07-01 17:32:51 · 423 阅读 · 0 评论