- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy常用命令
连接scrapy常用命令1.查看帮助命令scrapy -hscrapy –help2.查看版本信息scrapy versionscrapy version -v3.全局命令和项目命令文档截图4.全局命令a)创建项目（startproject）scrapy startproject testprojectb)创建爬虫，默认模板basic，一个项目可以创建多个蜘蛛(genspider)cd testpeojectscrapy genspider testspider bai
2022-04-21 12:41:55
2309
原创 request方法
Python爬虫request方法**使用方法：requests.request(method,url,kwargs)method：请求方式，对应get/put/post等七种方法；url：拟获取页面的url链接；kwargs：13个控制访问参数，为可选项（**表示可选）：params：字典或字节序列，作为参数增加到url中。data：字典、字节序列或文件对象，作为向服务器提交资源使用。json：JSON格式的数据，作为Request的内容。headers：字典，HTTP定制请求头部信息。
2022-04-21 12:40:24
76
原创 numpy数组
numpy1.创建一维数组：1.数据类型转化2.内置函数np1_arr = np.array([1,2,3,4,5]) # np arr 数据类型 转换 print(np1_arr.dtype) print(np1_arr.itemsize) #调整元素的数据类型 np1_arr1 = np.array([1, 2, 3, 4, 5],dtype=np.int64) print(np1_arr1.dtype) print(np1_arr...
2022-04-17 22:20:46
100
原创 matplotlib:
1.绘图2.图表：属性 线条：颜色、样式、数据点 图表额外：轴标签(x,y)、图例、标题3.有哪些图表： 折线图、柱状图、散点图、饼状图。。。4 matpoltlib 编程模型：1.Figure 画布2.Axes 图表部分代码展示花sin图像x = np.linspace(0, 2 * np.pi, 200) y = np.sin(x) fig, ax = plt.subplots() ax.plot(x, y) ...
2022-04-17 22:18:17
68
原创 爬虫笔记1
.概念理解1.爬虫是通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析2.爬虫是否合法(1)法律允许(2)有法律风险的3.统一规定 【法律界限】robots.txt协议4.爬虫的分类：(1)获取一整张页面 【通用爬虫】(2)获取一整张页面 部分数据 【聚焦爬虫】(3)检查页面更新、获取页面最新的更新的数据 【增量式爬虫】5.爬虫的规则：(1)反爬策略：门户网站 通过 技术手段 防止爬虫程序对页面爬取数据(2)反 反爬策略:爬虫程序 通过 技术手段 对页面爬取数据6.ht
2022-04-17 22:15:34
135
原创 linux
1.Linux，是一种免费使用和自由传播的类UNIX操作系统.java、前端、大数据、算法 =》 app 服务器 =》 linuxLinux的特点（1）完全免费（2）高效、安全、稳定（3）支持多种硬件平台（4）友好的用户界面（5）强大的网络功能（6）支持多任务、多用户2.文件操作系统： 层级式的文件操作系统 linux 最顶层目录：/3.linux版本： 广义 ： ubun...
2022-04-12 21:56:03
469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人