python
python全栈开发
蔡不蔡
聪明人总是雇用比他更聪明的人。
展开
-
lxml提取多个子节点文本
一开始学习的是beautifulsoup解析库,当时感觉也挺好,使用起来很方便功能也很强。但接触lxml后就一直用lxml库,在提取多节点方面,要是遇到多个子节点,一直没找到方法。用//text()提取出来被分成多个。。今天重新试了一下,用string(.)就好了。import requestsfrom lxml import etreeclass baidu_sosuo: def __init__(self): self.url = 'https://www.baidu.原创 2020-11-25 16:20:00 · 905 阅读 · 1 评论 -
jupyter notebook配置指定目录
打开cmd命令窗口输入jupyter notebook --generate-config 查看配置文件路径去掉#,修改成想要的路径即可 c.NotebookApp.notebook_dir = ‘路径’原创 2020-11-23 23:03:32 · 865 阅读 · 0 评论 -
爬虫数据几小时、几天前的时间处理
x = [str(t) + '小时前' for t in range(1,25)] d = [str(d) + '天前' for d in range(1,8)] if item['arc_time'] in x: item['arc_time'] = datetime.strftime(datetime.today(),'%Y-%m-%d') elif item['arc_time'] in d[0]: ...原创 2020-08-13 19:02:25 · 748 阅读 · 0 评论 -
Python的pip安装源切换为国内阿里云镜像
pip install xxx -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com测试了很多国内镜像源,稍微好用的就是阿里云,一个就够了。原创 2020-08-12 12:39:07 · 2119 阅读 · 1 评论 -
pymsql数据库插入当前时间datetime
def process_item(self, item, spider): sql = 'INSERT INTO article(title,content,collection_time) VALUES (%s,%s,%s)' coolection_time = datetime.datetime.strftime(datetime.datetime.now(), '%Y-%m-%d %H:%M:%S') try: datal...原创 2020-08-12 10:04:14 · 1393 阅读 · 1 评论 -
什么是数据结构?为什么我们需要数据结构?常用的数据结构有哪些?
数据结构是计算机存储、组织数据的方式。对于特定的数据结构(例如数组),有些操作效率很高(读某个数组元素),有些操作效率很低(删除某个数组元素)。程序员的目标是为当前的问题选择最优的数据结构。数据是程序的核心要素,因此数据结构的价值不言而喻。无论在写什么程序,都需要与数据打交道,例如员工工资、股票价格、杂货清单或者电话本。在不同场景下,数据需要以特定的方式存储,我们有不同的数据结构可以满足我们的需求。常用的数据结构有:数组、栈、队列、链表、图、树、前缀树、哈希表。...原创 2020-07-23 13:44:33 · 3865 阅读 · 0 评论 -
Python中re模块函数里面search()和match()函数有何区别?
Python中re模块的几个常用函数match()函数match()函数试图从字符串的起始部分对模式进行匹配。如果匹配成功则返回MatchObject对象实例,如果不是起始位置匹配成功的话,就返回None。search()函数re.search()函数扫描整个字符串并返回第一个成功的匹配,匹配成功re.search方法返回MatchObject对象的实例,否则返回None。compile()函数re.compile()函数用于编译正则表达式,生成一个正则表达式(Pattern)对象,供match原创 2020-06-29 15:31:40 · 5382 阅读 · 0 评论 -
Python常用第三方模块
Requests:Kenneth Reitz写的最富盛名的HTTP库。每个Python程序员都应该有它。Scrapy:如果从事爬虫相关的工作,那么这个库也是必不可少的。wxPython:Python的一个GUI(图形用户界面)工具。Pillow:它是PIL(Python图形库)的一个友好分支。对于用户比PIL更加友好,对于任何在图形领域工作的人是必备的库。SQLAlchemy:一个数据库的库。BeautifulSoup:这个XML和HTML的解析库对于新手非常有用。Twisted:对于网络应用开原创 2020-06-28 20:33:53 · 603 阅读 · 0 评论 -
什么是模块编程?
模块化编程是指将大型、笨拙的编程任务分解为单独的、更小更易于管理的子任务或模块的过程。然后可以像构建块一样拼凑单个模块以创建更大的应用程序。在大型应用程序中模块化代码有以下几个优点。(1)简单性:模块通常只关注问题的一小部分,而不是关注手头的整个问题。如果正在处理单个模块,那么将有一个较小的问题等待解决。这使得开发更容易,更不容易出错。(2)可维护性:模块通常设计为能够在不同的问题域之间实施逻辑边界。如果以最小化相互依赖性的方式编写模块,则对单个模块的修改将对程序的其他部分产生影响的可能性降低(甚至可以原创 2020-06-28 16:27:23 · 6422 阅读 · 0 评论 -
python安装mysqlclient失败解决办法
window下用pip安装pip install mysqlclienthttps://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient下载对应版本下载完成后,切换到文件所在目录。安装完成原创 2020-05-25 11:06:30 · 1162 阅读 · 0 评论 -
Python爬虫:自己写好还是用scrapy框架好?
有人问爬虫是写好点还是使用scrapy好点,今天就谈谈我的经验。首先,好不好不重要,关键是我们使用哪种会更方便一点,如果是零零散散的写一些小爬虫,那边肯定是自己编写方便一点了。(第二种方法)我一开始学的时候记得是先学的scrapy,已经会用scrapy写大多数的项目了,但是离开框架我就不会了。就是因为基础没打好,这种学习方法是错误的,想学习的朋友记住了哈。如果你把基础打好了,在来学习各种库和框架,就会非常简单,容易上手。就比如武侠小说里写的,要练神功,需要有深厚的内力,否则就会走火入魔,就是这个道理。原创 2020-05-22 21:10:56 · 2014 阅读 · 0 评论