Python基础
文章平均质量分 69
sup_sup
这个作者很懒,什么都没留下…
展开
-
python基础 Networkx
Networkx1.介绍“用于复杂网络高生产力软件”的分析模块可以表示各种网络(有向、无向、多图)的数据结构极高的灵活性:节点可以是python中任意对象,边可以包含任意数据图形算法的宝库多平台,易于使用2.安装pip install networkx3.无向图import networkx as nxg = nx.Graph()# 添加结点for i in range(1,6): g.add_node(i)print(g.nodes()) # 输出结点[原创 2022-02-21 15:38:52 · 1141 阅读 · 0 评论 -
python MongoDB
python MongoDB查询# 导入包from pymongo import MongoClient# 建立连接client = MongoClient()# 选择数据库db = client['weibo']# 选择数据表collection = db['weibo']# 查询条件query = {'_is_to_crawled': 1}# 获取指定字段,将需要获取的字段设置为1field = {'user_id': 1}# 获取查询结果,结果是一个字典型的列表# lim原创 2022-02-21 15:36:01 · 544 阅读 · 0 评论 -
python爬虫 scrapy框架
scrapy框架scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。它使用,Twisted这个异步网络库来处理网络通信,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。scrapy原理1. scrapy组件引擎(Engine):用于处理整个系统的数据流,触发事件。调度器(Scheduler):用来接受引擎发过来的请求,并压入队列中,当引擎再次请求的时候返回。相当于一个URL的优先队列。由它来决定下一个要抓取的网址是什么,同时去除重复的网址。下载器(Downloade原创 2022-02-21 15:35:17 · 210 阅读 · 0 评论 -
python 爬虫基础
一、爬虫分类1.通用爬虫常见就是搜索引擎, 无差别的收集数据、存储, 提取关键字, 构建索引库, 给用户提供搜索接口爬取一般流程初始一批URL , 将这些URL放到待爬取队列从队列取出这些URL ,通过DNS解析IP ,对IP对应的站点下载HTML页面,保存到本地服务器中,爬取完的URL放到已爬取队列。分析这些网页内容, 找出网页里面的其他关心的URL 链接, 继续执行第2 步, 直到爬取条件结束。搜索引擎如何获取一个新网站的URL新网站主动提交给搜索引擎通过其它网站页面中设置的外链原创 2022-02-21 15:34:09 · 407 阅读 · 0 评论 -
python (1)数据类型
数据类型一. 数值python数值分为三种:整数、浮点数(小数)、复数整型(1). python中所有的整数都是int类型;(2). 大小没有限制,可以是一个无限大的数;(3). 数字长度过大,可以用下划线作为分隔符。如:c=123_234_789下划线会被自动忽略;(4). 10进制数字不能以 0 开头;(5). 其它进制:其它进制的整数在打印时,一定是以十进制的形式显示的;a. 二进制:以0b开头:如c = 0b10;b. 八进制:以0o开头:如c = 0o10;c. 十原创 2022-02-21 15:20:09 · 222 阅读 · 0 评论 -
python (2)运算符
python学习笔记,运算符原创 2022-02-21 15:23:22 · 337 阅读 · 0 评论 -
python (3) 流程控制语句
流程控制语句python代码在执行时是按照自上向下顺序执行的;通过流程控制语句,可以改变程序的执行顺序,也可以让指定程序反复执行多次;流程控制语句分为:条件判断语句,循环语句;一. 条件判断语句(if语句)1. if(1) 语法:if 条件表达式:语句(2) 流程:如果条件表达式为True,则执行if后面的语句,否则不执行。(3) 默认情况下,if语句只会控制紧随其后的第一条语句,如果希望if可以控制多条语句,则可以在if后跟着一个代码块;代码块:代码块中保存着一组代码,同原创 2022-02-21 15:26:28 · 195 阅读 · 0 评论 -
python (4) 列表(list)
列表(list)列表是python中的一个对象;列表(object)就是内存中专门用来存储数据的一块区域,列表可以保存多个有序区域。一. 创建列表使用[ ]创建列表my_list = [] #创建空列表列表存储的数据,称为元素;一个列表中可以存储多个元素,也可以创建列表时,指定列表中的元素my_list = [10] #创建包含一个元素的列表#多个元素之间使用逗号(,)分隔my_list2 = [10, 20, 30, 40, 50]原创 2022-02-21 15:28:12 · 412 阅读 · 0 评论