- 博客(6)
- 收藏
- 关注
原创 scrapy常用命令
连接scrapy常用命令1.查看帮助命令scrapy -hscrapy –help2.查看版本信息scrapy versionscrapy version -v3.全局命令和项目命令文档截图4.全局命令a)创建项目(startproject)scrapy startproject testprojectb)创建爬虫,默认模板basic,一个项目可以创建多个蜘蛛(genspider)cd testpeojectscrapy genspider testspider bai
2022-04-21 12:41:55
2309
原创 request方法
Python爬虫request方法**使用方法:requests.request(method,url,kwargs)method:请求方式,对应get/put/post等七种方法;url:拟获取页面的url链接;kwargs:13个控制访问参数,为可选项(**表示可选):params:字典或字节序列,作为参数增加到url中。data:字典、字节序列或文件对象,作为向服务器提交资源使用。json:JSON格式的数据,作为Request的内容。headers:字典,HTTP定制请求头部信息。
2022-04-21 12:40:24
76
原创 numpy数组
numpy1.创建一维数组:1.数据类型转化2.内置函数np1_arr = np.array([1,2,3,4,5]) # np arr 数据类型 转换 print(np1_arr.dtype) print(np1_arr.itemsize) #调整元素的数据类型 np1_arr1 = np.array([1, 2, 3, 4, 5],dtype=np.int64) print(np1_arr1.dtype) print(np1_arr...
2022-04-17 22:20:46
100
原创 matplotlib:
1.绘图2.图表:属性 线条:颜色、样式、数据点 图表额外:轴标签(x,y)、图例、标题3.有哪些图表: 折线图、柱状图、散点图、饼状图。。。4 matpoltlib 编程模型:1.Figure 画布2.Axes 图表部分代码展示花sin图像x = np.linspace(0, 2 * np.pi, 200) y = np.sin(x) fig, ax = plt.subplots() ax.plot(x, y) ...
2022-04-17 22:18:17
68
原创 爬虫笔记1
.概念理解1.爬虫是通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析2.爬虫是否合法(1)法律允许(2)有法律风险的3.统一规定 【法律界限】robots.txt协议4.爬虫的分类:(1)获取一整张页面 【通用爬虫】(2)获取一整张页面 部分数据 【聚焦爬虫】(3)检查页面更新、获取页面最新的更新的数据 【增量式爬虫】5.爬虫的规则:(1)反爬策略:门户网站 通过 技术手段 防止爬虫程序对页面爬取数据(2)反 反爬策略:爬虫程序 通过 技术手段 对页面爬取数据6.ht
2022-04-17 22:15:34
135
原创 linux
1.Linux,是一种免费使用和自由传播的类UNIX操作系统.java、前端、大数据、算法 =》 app 服务器 =》 linuxLinux的特点(1)完全免费(2)高效、安全、稳定(3)支持多种硬件平台(4)友好的用户界面(5)强大的网络功能(6)支持多任务、多用户2.文件操作系统: 层级式的文件操作系统 linux 最顶层目录:/3.linux版本: 广义 : ubun...
2022-04-12 21:56:03
469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人