![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基于python的爬虫技术
简单介绍python内容
各种爬虫案例
美女程序员♀️
不知名精英
展开
-
爬虫框架--scrapy
1.An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式2.安装部署3.基本使用 (1)创建一个项目:scrapy startproject test_scrapy (2)项目目录: scra...原创 2022-04-06 15:56:39 · 612 阅读 · 0 评论 -
爬虫基础内容及技术
1.爬虫:通过代码、模拟浏览器上网,然后抓取数据的过程(数据解析)2.爬虫是否合法? 1.法律允许 2.有法律风险的3.统一规定? 【法律界限】 robots.txt协议4.爬虫的分类: 1.获取一整张页面 【通用爬虫】 2.获取一整张页面 部分数据 【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】5.爬虫的规则: (1)反爬策略: 门户网站 通过 技术手段 防止爬虫程序对页面爬取数据 (...原创 2022-04-06 15:55:14 · 211 阅读 · 0 评论 -
python常用函数及用法
1.函数: python中函数与方法区别不大(scala中有区别) (1)内置函数 (常用类的api:数学相关的在math 包下) print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3])) import math print(math.sqrt(16)) print(math.ceil(3.2)) print(......原创 2022-04-06 15:50:17 · 2298 阅读 · 0 评论 -
Python入门
一、语言特点: 1.开发简洁 2.既支持面向过程、也支持面向对象编程 3.可移植性 4.不需要编译成二进制代码 5.可以直接从源代码运行程序二、使用场景: 1.数据分析:numpy、pandas 2.web开发 3.游戏开发 4.AI(机器学习、深度学习) 5.爬虫三、安装方式与开发环境: 1.安装: (1) python原生的安装包(下载地址:www.python.org) (2) Anaconda中...原创 2022-04-02 16:00:49 · 947 阅读 · 0 评论 -
python语法
一、基本数据类型: 1.数值型:(1) int->整型 n1 = 10 print(n1) print(type(n1)) (2) float->浮点型(小数)n2 = 10.1 print(n2) print(type(n2) (3) complex->复数 2.字符串:str->...原创 2022-04-02 16:09:44 · 936 阅读 · 0 评论